Однако ритуал вручения прошёл непривычно строго, и стало ясно, что звезда реформатора начинает закатываться. Недоброжелатели Сперанского, в первую очередь, советник государя по финским делам Армфельт и министр полиции Балашов, ещё больше активизировались. Они передавали Александру все сплетни и слухи о госсекретаре. Ухудшило положение Сперанского и другое. Весной 1811 года лагерь противников реформ получил идейно-теоретическое подкрепление. В Твери вокруг сестры Александра Екатерины Павловны сложился кружок людей недовольных либерализмом государя и, в особенности, деятельностью Сперанского. В их глазах Сперанский был преступником. Во время визита Александра I великая княгиня представила ему Карамзина, и писатель передал царю «Записку о древней и новой России» — своего рода манифест противников перемен, обобщённое выражение взглядов консервативного направления русской общественной мысли.

Этот аргумент выражал взгляды большинства помещиков, которые, по мнению Д. П. Рунича, «теряли голову только при мысли, что конституция уничтожит крепостное право и что дворянство должно будет уступить шаг вперед плебеям». Ничего нового тут не было, но теперь эти взгляды были сведены в одном документе, написанном талантливо и убедительно, с глубоким пониманием истории, притом не придворным или искателем должностей, а независимым писателем и мыслителем. Эта записка Карамзина сыграла решающую роль в отношении к Сперанскому. Излишняя самоуверенность Сперанского, его неосторожные упрёки в адрес Александра I за непоследовательность в государственных делах тоже не прошли незамеченными и в конечном счёте вызвали раздражение императора.

В марте 1812 года Александр I объявил Сперанскому о прекращении его служебных обязанностей. В 8 часов вечера 17 марта 1812 года в Зимнем дворце состоялась беседа между императором и государственным секретарём, о содержании которой историки строят догадки. Сперанский вышел…

«…почти в беспамятстве, вместо бумаг стал укладывать в портфель свою шляпу и, наконец, упал на стул, так что Кутузов побежал за водой. Через несколько секунд дверь из государева кабинета отворилась, и государь показался на пороге, видимо расстроенный: «Ещё раз прощайте, Михаил Михайлович», — проговорил он и потом скрылся…»

В этот же день дома Сперанского уже ждал министр полиции Балашов с предписанием покинуть столицу. Михаил Михайлович молча выслушал повеление императора, лишь взглянул на двери комнаты, где спала двенадцатилетняя дочь, собрал часть имевшихся дома деловых бумаг для Александра I и, написав прощальную записку, вышел. Он не мог и предположить, что возвратится в столицу только через девять лет, в марте 1821 года.

Сперанский был выслан в Нижний Новгород. 15 сентября 1812 года отправлен из Нижнего Новгорода в Пермь, где отбывал ссылку с 23 сентября 1812 года по 19 сентября 1814 года. С сентября по октябрь 1812 года Сперанский жил в доме купца И. Н. Попова.

31 августа 1814 года Сперанскому было разрешено проживание под полицейским надзором в своём небольшом имении Великополье Новгородской губернии. Здесь он встречался с Аракчеевым и через него ходатайствовал перед Александром I о своём полном «прощении». Сперанский неоднократно обращался к императору и министру полиции с просьбой разъяснить его положение и оградить от оскорблений. Эти обращения возымели последствия: распоряжением Александра надлежало выплатить Сперанскому по 6 тысяч рублей в год с момента высылки. Данный документ начинался словами: «Пребывающему в Перми тайному советнику Сперанскому…». Кроме того, распоряжение было свидетельством, что император Сперанского не забывает и ценит.

Поэтому, когда великому князю и будущему императору Павлу Петровичу понадобился хороший артиллерийский офицер для его гатчинских войск, то Мелиссино и князь Салтыков рекомендовали ему Аракчеева.  Это и послужило началом блестящей служебной карьеры Алексея Андреевича. 7 ноября 1796 г. Алексей Андреевич был назначен петербургским комендантом и командиром сводного батальона Преображенского полка. Аракчеев ревностно принялся за муштровку вверенных ему войск, осыпая офицеров площадной бранью, а солдат палочными ударами; начался ропот; слухи о жестокостях Алексея Андреевича дошли до государя. Скорый на гнев, как и на милость, Павел уволил, зашедшего далеко в своем усердии служаку в отставку. После воцарения Александра I Аракчеев вернулся на службу, хотя не сразу. Еще в бытность государя наследником Алексей Андреевич успел приобрести его расположение, которое с течением времени только увеличивалось. Александр I возвратил Аракчееву его прежнюю должность инспектора артиллерии, и тот произвел важные реформы в артиллерии, как в административном, так и в техническом отношении. В 1808 г. Алексей Андреевич занял пост военного министра и в 1809 г. руководил военными действиями против шведов. По его настоянию был совершен переход русских войск по льду через Ботнический залив. С "замечательной энергией" он организовал зимний поход по льду Ботнического залива, который привел русских под стены Стокгольма и вынудил противника сдаться. Правда, ни в одном сражении Алексей Андреевич не участвовал - при звуках стрельбы он бледнел, не находил себе места и старался спрятаться в укрытии. Великий организатор оказался никуда не годным полководцем и вдобавок трусом.

В 1810 году Аракчеев покинул пост министра, но всю войну с Наполеоном оставался в ставке, рядом с царем. "Вся французская война шла через мои руки", - признавался он в дневнике. "Без лести преданный" фаворит нес немалую ответственность как за успехи, так и за просчеты русской стратегии. На другой день после падения Парижа царь издал указ о производстве его в фельдмаршалы, но Аракчеев отказался. Оценив такую скромность, Александр поручил ему воплощение своей заветной мечты - создание в России системы военных поселений. Позже всю вину за это возложили на Аракчеева, однако факты говорят, что инициатива исходила именно от императора - Алексей Андреевич, как всегда, был лишь верным исполнителем. В 1816 году около 500 тысяч крестьян и солдат перевели на положение военных поселенцев. С 1817 г.. на Аракчеева было возложено устройство и управление военными поселениями с званием их главного начальника. Хотя Аракчеев вначале был против учреждения этих поселений, но, став во главе управления ими, он принялся заводить здесь свои порядки с необыкновенной настойчивостью, не останавливаясь ни перед какими препятствиями и ни перед какими жестокостями. Строевые занятия, хозяйство, даже домашняя жизнь и семейные отношения военных поселян были регламентированы с удивительной точностью. Внешний порядок царил образцовый. Крестьяне должны были после изнурительных строевых упражнений заниматься еще и сельским трудом. Это вызвало недовольство, начались восстания, которые жестоко подавлялись. И все же поселения продолжали существовать, а многие из них процветали - стараниями Аракчеева там, как в Грузине, строились школы и больницы, прокладывались дороги, вводились хозяйственные новшества. По мысли графа, "идеальная" система поселений должна была помочь крестьянам заработать деньги и выкупить у помещиков себя и свою землю. Он даже составил и подал императору проект постепенной отмены крепостного права - по мнению историков, более прогрессивный, чем тот, что был осуществлен в 1861 году.

Увы, современники этого не замечали - они видели только намерение Аракчеева заставить всю Россию ходить строем и продолжали вполголоса честить его "людоедом" и "страшилищем".

Такой же порядок ввел Аракчеев среди своих крестьян и малейшее отступление от него сурово наказывалось. Положение крестьян еще ухудшилось после смерти фаворитки Алексея Андреевича Настасьи Минкиной, отличавшейся своей жестокостью и убитой выведенными из терпения дворовыми. Аракчеев свирепо расправился со всеми, причастными к убийству. После смерти Александра I и вступления на трон Николая I Аракчеев потерял всякое значение. До 1832 г. он еще числился начальником военных поселений, но в этом году уехал для лечения за границу и по возвращении жил в отставке в Грузине. Умер Алексей Андреевич 21 апреля 1834 г. Ни по образованию, ни по природным дарованиям Аракчеев не мог быть государственным деятелем в настоящем смысле этого слова, все его значение было основано на служебной исполнительности и личной преданности государям Павлу I и Александру I, которую он с большой настойчивостью выставлял напоказ.