Изначально, в 1720-х годах, земли эти принадлежали стольнику Фёдору Бутурлину, после кончины которого перешли по наследству Ивану Ивановичу Бутурлину – имение называлось тогда «Бутурлиной дачей». В 1747 году оно переходит во владение действительного тайного советника Алекся Григорьевича Жеребцова, при котором имение и стало называться «Жерновка» – река с таким названием неподалеку впадала в Охту. С 1786 года имение принадлежало семье из дворянского рода Донауровых. В тот период активно велось масштабное каменное строительство – тогда по проекту архитектора Джакомо Кваренги в 1794-1796 годах был возведен главный усадебный дом.
В центральной части усадебного дома были расположены парадные помещения, с особым акцентом на просторный двусветный зал, являвшийся главным украшением – его стены были декорированы под мрамор, что придавало торжественный вид, а в каждом углу стояли большие кафельные печи. По западной стороне от зала находились гостиная и столовая, а восточная часть дома отводилась под бильярдную и спальню. В боковых комнатах потолки были всегда плоскими, без лепнины. Особое внимание в гостиной привлекала настенная роспись, изображавшая Гатчинский дворец с видом на него со стороны Длинного острова. Это украшение казалось вполне уместным, ведь семья Донауровых поддерживала тесные и дружеские отношения с Павлом I, владельцем Гатчинского дворца, что объясняло их особую привязанность к этому месту. Из гостиной открывался проход в летнюю галерею, буфет и кухню, а из спальни двери вели в служебные помещения – комнаты для прислуги с прачечной и цветочную галерею. Усадебный дом изначально не был предназначен для постоянного проживания – отопление обеспечивало тепло только весной и осенью. Жерновка скорее служила дачной резиденцией для кратковременного отдыха на природе. По проекту Кваренги также были построены въездные ворота и павильон-пристань на берегу Охты.
В 1827 году владельцем Жерновки стал купец Севастьян Венедиктович Крамер – ему ее передал император Николай I. В тот период главный дом претерпел значительные изменения. Владельцу удалось извлечь прибыль из собственности – на территории выращивались овощи, фрукты и ягоды на продажу, а также функционировало успешное молочное хозяйство. В марте 1838 года усадьба переходит во владение Екатерины Александровны Сухозанет, дочь которой Анна в 1844 выходит замуж за Николая Александровича Безобразова. Усадьба сменила название на дачу Безобразовых после перехода к новым владельцам, а мыза была названа Екатерининской. Екатерина Александровна в основном проживала за границей, и в 1858 году доверила управление усадьбой зятю – тогда была учреждена школа для крестьянских детей. Анна Безобразова скончалась в Лозанне в 1895 году, а её дочь, М. Н. Безобразова, проживавшая в Ницце и страдавшая душевными расстройствами, оставила управление имением своему опекуну, действительному статскому советнику Александру Михайловичу Безобразову, сдававшему его в аренду под дачи. К началу Первой мировой войны усадьба пришла в упадок.
Во время февральской революции главный дом и сады пострадали от поджогов. В 1917 году здание стало клубом для рабочих, а в 1923-м часть парка отдали под пашню. В 1929 году усадьбу передали 2-му конвойному полку, где организовали конюшню и ветеринарную клинику. С 1931 года она находилась под управлением Наркомпроса, а в 1933-м здесь открыли общежитие для совхоза. В 1938 году дом стал общежитием для Охтинского лесозавода, что привело к перестройке и утрате росписей. С 1950 года усадьба считается памятником государственного значения. Последняя реставрация, начавшаяся в 1973 году под руководством архитектора О. В. Шамраевой, продолжалась десять лет и включала восстановление зала и спальни. С 2001 года усадьба является памятником архитектуры федерального значения.
В данный момент Смольный завершает процедуру передачи здания из федеральной собственности в собственность города.