Этим участком в 1790-1840 году владела купеческая семья, а потом здесь построил особняк Г. А. Боссе — это один из самых талантливых архитекторов города. Фасад дома внимания не привлекает, оформлен с использованием мотива эпохи Ренессанс. Но все не так просто — фасад, выходящий в сад, образует удивительный архитектурный ансамбль — трудно проверить, что это — часть одного дома. Архитектор в доме этом не жил — зато здесь бывали Голицыны.

В 1860 особняком заведовали бароны, а в 1870 он перешел семье сына декабриста М. С. Волконского. В 1849 году здесь временно размещались геологи, которые отвечали за минералы и сырье в стране. Здесь работали лучшие геологи того времени.

После революции в доме размещалась сперва детская библиотека, потом театр, тоже детский, даже филиал заводы и учебный комбинат побывали здесь. С 1990 года это здание известно как концертный зал «Боссе». Планируется создать здесь музей.