Из мрамора изготовлены почти все предметы интерьера — барельефы, трофеи и даже орёл с фестонами в клюве. Мраморный зал — одно из самых знаменитых помещений дворца. Его стены облицованы четырьмя видами мрамора и прибайкальским лазуритом.

В разное время здесь жили и умирали известные люди. Строился дворец по проекту Антонио Ринальди для графа Орлова — фаворита Екатерины II, который здесь и скончался в 1783 году. Спустя почти десятилетие тут жил и умер последний король Польши Станислав Понятовский.

В XIX—XX веках дворец был родовым домом Великих князей династии Романовых. В 1992 году он был передан в ведение Русского музея. На сегодняшний день здесь проводят конгрессы и выставки современного искусства с яркими примерами работ иностранных художников.

Имеется и постоянная экспозиция, которую подарили Русскому музею немецкие коллекционеры Петер и Ирене Людвиг. Здесь представлены произведения мастеров второй половины ХХ века.