Владельцы дворца

После убийства царского фаворита Григория Распутина Феликс Юсупов был отправлен в ссылку в свое имение Ракитное Курской губернии. В конце марта 1917 года семья вернулась в Петроград и, вскоре, обе четы Юсуповых  - старшая и молодая покинули тревожную столицу, чтобы найти убежище в своих крымских имениях.

Весной 1919 года войска красных приблизились к Крыму. 13 апреля 1919 года вдовствующая императрица Мария Федоровна и ее близкие, среди которых были и Юсуповы - Ирина, Феликс, их четырехлетняя дочь, Зинаида Николаевна, Феликс Феликсович-старший, покинули родину. Начались долгие годы изгнания, как впоследствии напишет Феликс Юсупов «перипетии и терзания нашей жизни на чужой земле».

Зинаида Николаевна и Феликс Феликсович-старший обосновались в Риме.  Ирина и Феликс Юсуповы поселились сначала в Лондоне, через два года перебрались в Париж, купив небольшой дом в районе Булонь-сюр-Сен. Приобретение оказалось частью некогда обширного владения великолепной Зинаиды Ивановны княгини Юсуповой, прабабки Феликса.

С первых месяцев пребывания на чужбине,  Юсуповы энергично и самоотверженно включились в работу русского отделения Красного Креста, помогавшего беженцам-соотечественникам, оказавшимся в бедственном положении.

В 1928 году скончался Феликс Феликсович князь Юсупов граф Сумароков-Эльстон-старший. Он был похоронен в Риме. Зинаида Николаевна переехала к сыну в Париж. В 1938 году дочь Феликса и Ирины вышла замуж за графа Николая Шереметева. Молодые обосновались в Риме, где жили родители Николая. Там в 1942 году родилась их дочь Ксения.

В 1941 году Юсуповы купили скромный домик на улице Пьер Герен в центре Парижа. Здесь они обустроили себе небольшое уютное жилище, которым до сей поры владеет их внучка Ксения.

В начале 1950-х гг. Феликс Юсупов взялся за написание мемуаров. Его первая книга «Конец Распутина» была опубликована еще в 1927 г. Теперь же он написал два тома «Перед изгнанием.1887-1919» и «В изгнании». Не дождались конца изгнания ни Зинаида Николаевна, ни Феликс Феликсович с Ириной Александровной, ни их дочь Ирина. Все они обрели упокоение на русском кладбище Сент-Женевьев-де-Буа.

Внучка Ксения впервые посетила родину предков в 1991 году. В 2000 году указом Президента Российской Федерации Ксении Николаевне Юсуповой-Шереметевой, в замужестве Сфири, в ответ на ее просьбу, было предоставлено российское гражданство. В 2005 году правнучка Феликса Татьяна также посетила дворец.