Здание построили в конце XVIII века — тогда посёлком владел один из графов Паниных, чей род получил Мстёру ещё в 1744 году. В первой половине XIX века дом надстроили вторым этажом и пристроили к дворовому фасаду двухэтажный корпус.

До начала 1860-х годов особняк использовали как жильё и вотчинное правление, затем здесь разместились волостное правление и приходское училище на 80 человек. На втором этаже открыли воскресную рисовальную школу и библиотеку для чтения, которые в 1862 году основал местный иконописец и краевед И.А. Голышев. На их базе позже возникло иконописное училище, относившееся к ведомству императрицы Марии Фёдоровны.

В середине XX века здесь размещалась Мстёрская средняя школа № 11, а затем — дом «Союза художников Мстёры».

21 августа пройдут торги ДОМ.РФ по продаже здания площадью 530,8 м² с участком 0,27 га. Начальная цена лота — 3,86 млн рублей. Заявки на участие принимаются до 17 августа.

Для восстановления объекта инвестор может получить льготное финансирование по ставке 9% годовых, а также 6% — для проектов под гостиницу. В частности, такие кредиты предоставляет Банк ДОМ.PФ.