Впервые данное название встречается в документах XVI века. При Иване Грозном Вязёмы были последней станцией перед Москвой по Большой Смоленской дороге. Тогда село называлось Никольское-Вязёмы — видимо, в честь существовавшей здесь деревянной церкви (не сохранилась).
В конце 1584 года село было подарено царём Фёдором I Иоанновичем своему шурину Борису Годунову, который немедленно затеял здесь большое строительство.
В конце XVI века здесь значилась «церковь о пяти верхах и камена плотина у пруда» (так сообщает Пискарёвский летописец) — нынешний Спасо-Преображенский собор. Известно, что храм был освящён в 1600 году — значит, что ко времени освящения он был полностью достроен и расписан. Главный престол был посвящён Троице (сейчас имеет другое посвящение), нижний храм в высоком подклете — в честь Николая Чудотворца, южный придел — в честь Благовещения, а северный — во имя Михаила Архангела. Тогда же была построена звонница псковского типа, нехарактерная для этих мест по своей архитектуре.
Во времена Годунова здесь существовал также его деревянный терем, упомянутая Никольская церковь, торжок (здание ярмарки) и целый Иоанно-Богословский монастырь. Все эти постройки были окружены деревянной стеной с пятью башнями; крепостные стены были укреплены специально вырытым рвом, так что весь комплекс построек представлял собой достаточно мощную крепость. К сожалению, ни одно из этих сооружений, кроме грандиозного каменного собора и звонницы, до нашего времени не сохранилось — даже в перестроенном виде. Со стороны речки можно разглядеть сильно оплывшие крепостные валы.
В годы смутного времени Вязёмы стали загородным дворцом Лжедмитрия I, останавливалась здесь и Марина Мнишек. После воцарения Михаила Фёдоровича Вязёмы в 1618 году были приписаны к дворцовому ведомству.
В 1694 году Пётр I пожаловал усадьбу князю Борису Голицыну, который не считал Вязёмы своим главным имением, отдавая предпочтение Дубровицам.
В XVIII веке рядом с собором выстроен дом причта, который вместе с собором и звонницей был огорожен каменной оградой. Во второй половине XVIII века при правнуке Бориса Алексеевича — Николае Михайловиче Голицыне — началось строительство дворца и флигелей. Строительство двух флигелей закончилось в начале 1770-х годов, а в 1784 году был достроен дом-дворец. Одновременно с постройкой зданий разбит регулярный парк.
В 1812 году в усадьбе останавливался Кутузов, а позднее и Наполеон. В память этим событиям на территории усадьбы установлен памятный знак.
С усадьбой связано имя Александра Сергеевича Пушкина. В нескольких километрах отсюда находилось имение Ганнибалов — Захарово, в котором поэт провёл своё детство. Образ «пиковой дамы» был взят с княгини Натальи Петровны Голициной, владелицы Вязём. У собора похоронен младший брат А. Пушкина — Николенька, умерший во младенчестве.
В разное время усадьбу посещали Павел I, Н. В. Гоголь, Н. М. Пржевальский, В. Я. Брюсов, Л. Н. Толстой.
В конце 1980-х годов силами местных краеведов, в первую очередь А. И. Виноградова и А. М. Рязанова, началось создание музея, в первое время народного, располагавшегося в бывшем доме причта собора.
С 1994 года усадьба Вязёмы и усадьба Захарово образуют Государственный историко-литературный музей-заповедник А. С. Пушкина.
