Считается, что постройкой этой купеческой усадьбы занимался Баженов, приходившийся зятем будущему хозяину дома Долгову. Как это было распространено на рубеже XVII и XVIII веков, перед главным зданием дома был устроен большой парадный двор, ограждённый решётчатой оградой. Двухэтажный главный дом построен с соблюдением основных принципов архитектурного стиля раннего классицизма. К восточной части дома примыкает белокаменная лестница полукруглой формы. Изначально архитектура здания не отличалась излишествами: никаких лепных украшений, портиков. После знаменитого пожара 1812 года усадьбу в значительной степени перестроили: в центральной части построили портик, стены украсили лепниной, после чего здание приобрело черты московского ампира.

После семейства Долговых владельцем усадьбы стал Иван Жемочкин, мануфактурщик, занимавшийся торговлей кожей. Перед Октябрьской революцией в здании располагалась женская гимназия, в годы Советского Союза дом стал жилым, а затем тут находился Институт востоковедения.