Строительство храма проходило в несколько этапов. В 1779 году на средства помещика, Надворного Советника Андрея Ивановича Хметевского вместо старой деревянной церкви был сооружён одноэтажный тёплый храм в честь Происхождения честных древ Животворящего Креста Господня с придельным престолом во имя Архангела Михаила.
Спустя несколько лет в расположенной неподалёку деревеньке Гридкино случилось чудесное явление Божией Матери. В память об этом событии в 1809 году церковь средствами прихожан обретает второй этаж — холодный храм с престолом во имя иконы Пресвятой Богородицы «Всех скорбящих Радость». Одновременно с этим к храму была пристроена каменная трёхъярусная колокольня.
В первой половине XIX века с южной стороны колокольни двухэтажная сводчатая палатка, а с северной — крытое крыльцо, ведущее в верхнюю церковь.
В 1854 году храм становится четырёхпрестольным — в память первого сельского храма на втором этаже тщанием помещицы Натальи Ивановны Чихачёвой был обустроен придел Святителя и Чудотворца Николая.
Вытянутый равновысокий силуэт здания нарушается лишь четвериком, возвышающимся над абсидой и трапезной на высоту карниза. Оба этажа церкви состоят из практически одинаковых частей: алтаря, непосредственно храма и трапезной. Соответствующие друг другу помещения обоих этажей близки по размерам и практически совпадают в плане, но своды холодного храма существенно выше. На второй этаж ведут два входа: через отдельный вход с северной стороны здания и через помещение нижнего яруса колокольни и трапезной. Для размещения отопительных печей предназначался подвал, расположенный под южной частью трапезной.
В комплекс также входит одноэтажная кирпичная церковная сторожка, расположенная к северо-западу от Скорбященского храма.
Богослужения здесь прекратились в 1937 году, а решением облисполкома от 6 июля 1940 года храм был закрыт и стал использоваться в качестве склада.
Возрождение святыни началось 8 ноября 1998 года освящением престола в честь Казанской иконы Божией Матери на первом этаже храма. К сожалению, страницы истории несколько перепутались, и старинное название во имя иконы «Всех скорбящих Радость» было изменено.
Распоряжением Правительства Ивановской области от 26.01.2001 № 7-рп храмовый комплекс села Берёзовик (Скорбященская церковь и церковная сторожка) включены в единый государственный реестр объектов культурного наследия в качестве ансамбля местного значения.