Двухэтажный каменный дом построен в конце XVIII века. Первоначально он включал в себя комнаты для прислуги и винный погреб на первом этаже, жилые покои хозяев — на втором. Вскоре дом вырос на один этаж и перешел во владение тайного советника Михаила Устинова.

Здание возводилось по проекту талантливого архитектора Виктора Шретера: фасад богато украсили в стиле барокко. Постройка стала походить на особняк, расположенный на ул. Чайковского, 10. Существует версия, что заказчик специально пожелал, чтобы дома были похожи. Первое, что бросается в глаза — интерьер: стены, потолок, пол и лестница — почти все отделано деревом.

С 1857 года до своей смерти в доме Устиновых жил известный писатель Иван Гончаров. Именно здесь, в квартире в первом этаже с окнами на внутренний двор, он написал роман «Обрыв» и другие произведения.

В настоящее время в здании располагается Северо-Западное управление Ростехнадзора.