За весь период существования архитектурный комплекс пережил немало изменений. В конце XVIII века было решено перенести архиерейскую кафедру в Ярославль, после чего митрополичий двор остался без внимания. Здание конюшенного двора со временем сильно обветшало. В 1833 году здание перешло во владение городской думы, в 1860−80-х гг. в нём проводилась реставрация на деньги ростовского купечества, но, увы, это не уберегло архитектурный памятник. В итоге в корпусах Конюшенного двора располагались воинские казармы, в советское время — вновь склады, в в 70-е гг. XX века его и вовсе планировали сносить.
Сейчас архитектурный объект представляет собой белоснежное двухэтажное здание и просторный двор площадью 3 500 кв.м. Восстановление всего комплекса длилось с 2012 по 2019 гг. в несколько этапов, и включало в себя буквально весть комплекс реставрационных работ — от аналитики и подбора необходимых материалов до усиления несущих конструкций и воссоздания интерьеров.
В 2014 году началось восстановление фундамента и стен, которые приходилось возводить практически с нуля. Главной сложностью в процессе возвращения Конюшенному двору прежнего облика стало проведение бытовых коммуникаций. Были решены проблемы с проектированием и подводкой газа к Конюшенному двору. Затем был создан проект котельной, впоследствии успешно реализованный. Следующим шагом стали работы над интерьерами и отделкой. Благоустройство внутреннего двора оказалось одним из самых трудоемких процессов. Не только сам Конюшенный двор является памятником федерального значения — вся его территория является объектом археологического наследия. Поэтому буквально все виды работ велись под постоянным наблюдением археологов. Более того, благоустройство территории было допустимо исключительно после завершения археологических раскопок. В процессе раскопок на территории двора были найдены различные предметы быта — осколки керамики, украшения, изразцы.