В 1837 году семья Барятинских получила во владение участок по улице Чайковского. Это был знатный род, занимавший видное положение среди петербургской элиты. Проект сооружения несколько раз переделывался и дополнялся, потому сооружение неоднократно перестраивалось и достраивалось.
Здание расширялось в 1858 году, тогда построили восточную часть. В 1874 построили западную часть, и каждый раз над строительством работали разные архитекторы. В 1861 году была построена домовая церковь имени Марии Магдалины.
Неоднократно менялись также и хозяева особняка, которые затевали новые реставрации. Так, в 1890 хозяевами стали род Ольденбургских, была затеяна очередная перестройка. Сильный след в истории сооружения оставила революция 1917 года — здесь организовали коммунальную квартиру, большая часть оригинальных интерьеров была потеряна. В одной из этих квартир поселился Самуил Маршак. В здании также работала школа.
Начиная с 1980 года здесь велась реконструкция, восстанавливались оригинальные росписи интерьеров. Здесь обосновалась торгово-промышленная палата Санкт-Петербурга. В настоящее время здесь располагаются ряд ведомств, в том числе налоговая инспекция центрального района.