В качестве американской резиденции Спасо-Хаус стал использоваться с 1933 года, а построен особняк в 1915 году для крупнейшего русского банкира Николая Второва (именно поэтому второе название здания — особняк Второва).

Авторы архитектурного проекта этого дома — Владимир Адамович и Владимир Маят. Стиль неоклассицизма распознает даже не слишком разбирающийся в архитектуре человек — центральная полукруглая ротонда украшена ионическими колоннами, внутренний интерьер строго симметричен, как, впрочем, и само здание.

Первым американским послом, который разместился в особняке Второва, стал Уильям Буллит. В это время к основному зданию пристроили специальный зал для торжественных мероприятий и приемов, где выступали многие всемирно известные музыканты, среди них, например, Сергей Прокофьев.

Стены этого дома видели Рейгана, Никсона, Эйзенхауэра. С ним связана одна интересная история: однажды Иосиф Сталин преподнес в подарок американскому послу деревянный герб, который украшал кабинет посла шесть лет, с 1946 по 1952 год. Ходят упорные слухи, что в этом подарке было спрятано прослушивающее устройство.