В 1741 году, после восшествия на престол Елизаветы Петровны, усадьба была конфискована и передана во владения фаворита царицы графа Алексея Разумовского. При его сыне Алексее Кирилловиче усадьба была перестроена (1803 год) и получила тот вид, в котором пребывает и доныне (по одной версии, перестройку осуществил архитектор М. Ф. Казаков, по другой – Н. А. Львов). Читаем в энциклопедии «Москва в кольце Садовых»:
«Большой дворец стоит в глубине парадного двора, ограниченного по бокам двумя флигелями, выходившими на красную линию улицы (она называлась Гороховой, а в 1939 году стала улицей Казакова.
– Ф. Р.). Центральная часть дворца выделяется богатой обработкой сдвоенными колоннами на выдвинутых вперед портиках и прекрасного рисунка полукруглой лоджией с кессированным полукуполом и дверью в центре, куда ведут два марша лестницы. Эта часть дворца была по желанию владельца построена из дубовых брусьев, поставленных вертикально. Тут, в самой здоровой части дома, и находилась хозяйская спальня, ибо тогда полагали, и вероятно, не без основания, что значительно полезнее для здоровья жить в деревянном, а не в каменном доме.
Дом отделали с необыкновенной даже для тех расточительных времен роскошью, и истратили на него, по некоторым оценкам, более миллиона рублей. Дорогие зеркала, бронза, позолота украшали дворец, стены многих комнат покрывали редчайшие гобелены, а подоконники делались из ляпис-лазури, ценного поделочного камня (отметим, что у графа была обширная библиотека, которая поражала воображение гостей обилием средневековых книг.
Ф. Р.). Жозеф де Местр писал о дворце Разумовского, что он «превосходит все, что можно видеть в этом роде в Европе». По роскоши с дворцом соперничал обширный парк площадью более 28 десятин, раскинувшийся по обоим берегам Яузы, полный редких растений, с беседками, статуями, с целой системой прудов и каналов…»
Во время наполеоновского нашествия в 1812 году по Москве разнесся слух, что усадьба Разумовского была сожжена французами.
Однако слух был ложным – усадьба не пострадала, и в ней в то время располагалась одна из резиденций маршала Иоахима Мюрата, поэтому французы тщательно охраняли дворец от пожара."
"В 1828 году усадьба стала собственностью одесского купца М. Юркова, который не нашел ничего лучше, как начать распродавать богатую коллекцию за бесценок. Спустя пять лет он продал и саму усадьбу – Опекунскому совету.