Здание было построено в 1873–1874 годах купцом Василием Арсеньевичем Первухиным.
В «Раскладочной ведомости налогам с недвижимых имуществ» за 1873 год появилась запись: «Вновь выстроенный каменный двухэтажный дом, при нем полукаменный флигель…», с уточнением: «Старое строение сломано, а новый дом еще не достроен». Пока дом возводился, Первухин с семьей жил в деревянном доме на соседнем дворе — он тоже принадлежал ему.
В 1887 году Василий Арсеньевич умер, особняк остался за наследниками.
В конце 1880-х — начале 1890-х годов здесь снимал квартиру врач В. Загорский. В своих воспоминаниях он рисует историю хозяина и интерьеров:
Квартира и каменный дом принадлежали богатому золотоискателю Первухину, который, напав на чрезвычайно богатую золотую жилу, в течение одного года сколотил огромное состояние. Тогда он построил довольно солидный, по челябинским меркам, дом и обставил свою квартиру с некоторой роскошью. Тем временем золотая жила иссякла, и удача отвернулась от Первухина, который в дальнейших поисках золота растратил весь [свой] капитал. И это так на него повлияло, что он тяжело заболел и вскоре умер, оставив 23-летнему сыну из всего капитала только дом. Молодой Первухин предложил мне, чтобы я занял его квартиру, из которой он оставил за собой три комнаты. Ввиду увеличения моей семьи и количества слуг я уже и раньше думал о том, чтобы снять квартиру побольше, поэтому охотно принял предложение Первухина, тем более что квартира была удобно и весьма красиво меблирована, с зеркалами, портьерами и цветами. В бельэтаже была светлая прихожая, маленькая комната для прислуги, просторный зал, гостиная и кабинет. Из зала можно было выйти в небольшой коридор, лестница из которого вела на второй этаж из трёх комнат — столовой, спальни и детской. Комнаты большие, высокие, с большими окнами, паркетным полом и потолками, украшенными лепниной; стены были оклеены дорогими обоями. В цокольном этаже размещались просторная кухня и две комнаты для слуг. На дворе были амбары, ледник, сенник, каретник, конюшня на четырёх лошадей и непременная баня. За всё это я платил 250 рублей серебром в год.
В конце XIX века, в доме разместилась вновь открывшаяся таможня. Она находилась здесь до 1901 года, пока не переехала в дом инженера Перцева на Южной площади.
В 1901 году вдова купца, Елизавета Васильевна Первухина, продала усадьбу Василию Михайловичу Колбину — одному из самых заметных челябинцев начала века, меценату, предпринимателю и общественному деятелю.
Примерно в то же время появляются первые фотографии особняка. Интересна судьба таинственного мезонина – надстройки над зданием.
Так, по завершении строительства, в 1880-х годах здание описывали так:
Дом каменный двухэтажный, на заднем плане с мезонином. Внизу 4 комнаты и подвал с выходом на двор, вверху 7 комнат, в мезонине 3 комнаты.
В документах за 1901-1916 годы также упоминается надстройка над вторым этажом. Однако на известных фотографиях мезонин совсем не виден, равно как и не обнаруживает себя на рисунке В. Загорского конца XIX века.
Дом Колбина стал одним из значимых общественных пространств дореволюционного Челябинска. Здесь нередко проводился городской бал 31 декабря — по сути, главная светская точка новогодней ночи.
Здание арендовал «Новый клуб», который также занимал территорию Сада-острова; в его стенах собиралась городская публика, обсуждались дела и новости, играла музыка.
В доме работал кинотеатр «Идеал» — один из электротеатров, появление которых означало настоящий бум нового развлечения в городе.
В нулевые годы XX века в доме располагалась квартира временного генерал-губернатора Стельницкого. Таким образом, один и тот же адрес сочетал в себе и частную роскошь, и клубную жизнь, и высшую административную власть.
Параллельно дом все активнее втягивался в орбиту городской администрации.