Место, где сейчас находится усадьба Остафьево, известно по документам начала XVII века. Тогда оно носило название «Климово, Нечаево тож». В 1674 году в этих местах появился владелец «полуголова Московских стрельцов Родион Григорьев сын Остафьев», вероятно, ему будет обязана эта земля своим названием. Под современным названием усадьба стала упоминаться лишь со второй половины XVIII века, когда произошло ее слияние с деревней Остафьево. До этого хозяевами усадьбы были дворяне: Маловы, Пивовы, Минины, Ляпуновы, Львовы, Бартеневы, Голицыны, Апраксины.

Прокопий Ляпунов – политический деятель. В 1610 году вместе со своим братом Захарием Ляпуновым он участвовал в свержении Василия Шуйского, а после занятия Москвы польскими войсками возглавил формирование первого ополчения и был одним из его командующих. Бартеневы – стрелецкий род. Львовы – дьяки, близкие к царскому двору. Петр Апраксин – граф, государственный деятель, сподвижник Петра I, участник русско-шведской войны. Князь Яков Голицын – внук воспитателя Петра I Бориса Голицына. Шли годы, многое изменилось в сельцах и деревнях.

Имя купца Козьмы Матвеевича Матвеева в России известно с первой половины XVIII века. Он предприниматель, фабрикант и промышленник, родом из Тульской губернии, основатель различного вида производств суконного, красочного, сургучного в Москве и других городах.

Петр Иванович Сухарев был гениальный изобретатель-самоучка, открывший секрет изготовления редких красителей, они не уступали по качеству заграничным и были необходимы для расцвечивания отечественных тканей. Купец Козьма Матвеев был не менее талантлив. Он рано заслужил доверие правительства, отдавшего ему в 1742 году на откуп таможенные сборы в Нижнем Новгороде, а с 1747 года и табачный сбор. В Курской губернии у Матвеева была своя суконная фабрика, а на Урале он разделял пай с П.И.Паниным на железоделательный завод. К 1750 году у Матвеев владел сургучной и красильной фабриками в Москве, а затем он стал собственником фабрики, производившей печные изразцы. Ему, как лицу, не принадлежавшему к высшим сословиям, было дано исключительное право на приобретение «деревень» – земли и 500 душ крестьян сельца Климово и деревни Остафьево – это давалось с целью обеспечения мануфактуры рабочей силой на строго оговоренных условиях. В 1754 году Матвеев выслужил звание коллежского советника, приравнявшее его к дворянскому сословию. В 1756 году он становится единственным владельцем и, почувствовав себя «дворянином», взялся за переоборудование усадьбы. На рубеже 1750-1760-х годов он капитально отстраивает Остафьево. И созданный ансамбль определил главные черты пространственной структуры всей будущей композиции усадьбы, старая липовая аллея играла в ней определяющую роль.

Одновременно Матвеев планирует строительство нового храма, но осуществить задуманное не успел. А в 1779 году его вдова Анисья Григорьевна Матвеева обратилась в Синод с прошением о начале строительства церкви в деревне Остафьева, на освященной земле, и о перенесении праха Матвеева и его детей к этой церкви из соседнего сельца Рязаново. Строительство церкви в деревне Остафьево было закончено в 1782 году, ее освятили во имя Святой Троицы с престолом святого великомученика Георгия. И деревня стала называться селом.

Следующий этап в развитии усадьбы будет связан с именитым родом князей Вяземских, при них в Остафьеве будет построен главный дом, разбит парк. С этими именами усадьба приобретет славу «Русского Парнаса».