История этого дома начинается в начале XVIII века – тогда участок дома №53 по Большой Морской улице принадлежал территории Морской слободы, где располагалось большое количество дешевых домов моряков и служителей Адмиралтейства. После разрушительных пожаров 1736 и 1737 годов территорию Морской слободы решили полностью перепланировать – так в 1741 году этот участок получил Яков Лукич Хитрово, советник Адмиралтейств-коллегии. На этом месте он возвел особняк. В 1757 Яков Лукич становится президентом Вотчинной коллегии, а в доме на тот момент уже насчитывалось 18 жилых комнат, пять сеней с кухней, два погреба с ледником, а в глубине двора располагались каретный сарай, конюшня и пара амбаров.
После Якова Лукича Хитрово, в конце XVIII – начале XIX века, особняк перешел во владение жене капитана Преображенского полка Наталье Ивановне Апраксиной – с того времени хозяева участка менялись одним за другим. В разные периоды дом принадлежал купцу Иосифу-Генриху Пишингу, купцу Краузе, тайному советнику Алексею Васильевичу Васильчикову, надворному советнику Потапову, ротмистру Егору Егоровичу Норду и Эвальду Мейснеру. В этот временной промежуток внешний вид дома также подвергался изменениям – в 1840-х годах он был перестроен, в 1860-х на его фасаде добавили кариатиды, а в 1873 году архитектором Платоном Константиновичем Теребенёвым была застроена правая часть участка вдоль Большой Морской улицы, а также украшен фасад фигурами детей, держащих щит с буквами "ГКТ" – инициалами Голенищева Кутузова-Толстого. В 1876 году архитектор Юлий Осипович Дютель также провел значительную перестройку, в ходе которой были надстроены флигели, выходящие на Большую Морскую улицу и Почтамтский переулок.
Постоянная смена хозяев участка продолжалась вплоть до 1878 года, когда дом перешел во владение Петра Алексеевича Бильдерлинга, чьим именем впоследствии и был назван дом. Этот человек известен как выдающийся военный и предприниматель, сыгравший значительную роль в промышленном развитии России. Бильдерлинг занимался организацией образцовой фермы, а также заключил важные контракты на производство оборудования для российской металлургии. После покупки он женится на Софье Вестман и решает привести здание в порядок – тогда для работ был нанят архитектор Людвиг Францевич Шперер, реконструировавший фасадную часть здания, вследствие чего появились фигуры атлантов, заменившие прежние кариатиды, а в руках детских фигурок на щите – буква "В". Это изменение отражало переход особняка к новым владельцам. Сама семья Бильдерлингов поселилась на последнем этаже – другие два тогда сдавались в аренду. К 1912 году особняк уже принадлежал овдовевшей Софье Владимировне, а спустя два года, в 1915 году здесь поселились ее сыновья – Александр, Андрей, Владимир, Николай и Пётр, устроившие в доме лазарет во времена Первой мировой войны. Здание принадлежало Бильдерлингам вплоть до революции.
После революции 1917 года особняк Бильдерлингов, как и многие другие дворянские дома, был национализирован. Здание перешло под государственное управление, и его первоначальные интерьеры, вероятно, были частично утрачены или перестроены для новых нужд. Дом использовался как административное здание или жилой дом, что типично для бывших аристократических особняков того времени.
Сегодня особняк Бильдерлингов является архитектурным памятником Санкт-Петербурга и продолжает привлекать внимание исследователей и любителей истории города. Здание по-прежнему сохраняет черты, заложенные при его перестройках в XIX веке, включая элементы декора, отражающие наследие семей Кутузовых-Толстых и Бильдерлингов.