严嵩也知道皇帝对他不像以前那样信任了，上朝的时候，皇帝很少向他问话，偶尔问一句，也是一些关于祭祀等不太重要的事。严嵩心里也很害怕，可是也没有办法可想。相反的，取代他获得了皇帝的信任的人是大学士徐阶。徐阶也是一个很有野心的人，他知道皇帝的心意渐澌偏向自己了，就开始想办法驱逐严嵩父子。正巧嘉靖皇帝居住的万寿宫失火，严嵩煳里煳涂地提出请皇帝先到南宫暂时居住。南宫本来是以前明英宗失去皇位被幽禁的地方，嘉靖皇帝觉得不吉利，所以很不高兴。而这时徐阶则请皇帝暂居在别的地方，并很快就建好了新的万寿宫，皇帝非常满意，此后与徐阶更加亲近了。

奸臣末路没有多久，有人上书指控严嵩父子的违法行为，嘉靖不再像以前一样庇护严嵩了。他下旨安慰严嵩，但是指出严嵩实在年纪太大了，让严嵩退休回乡养老，念在他为自己服务了这么多年，还给了他一笔可观的退休金。不过，皇帝说严嵩过于宠爱自己的儿子，致使严世蕃放任自流，做了许多坏事，虽然不再追究严嵩的责任，还是把严世蕃投入大牢，审判以后发配边疆了。这时无论严嵩怎样为自己的儿子求情，皇帝也不再理睬了。这时的严嵩对皇帝来说已经没有任何利用价值了，总算他还念在严嵩的多年苦劳，也没有治他的罪，让他回乡养老已经很不错了。不想严世蕃获罪之后仍然不思悔改，居然不去发配之地，反而跑回了老家与当地的强盗相互勾结。嘉靖知道了大发雷霆，命人把严世蕃抓回来处死，还把已经退职的严嵩罢为平民，剥夺了他原有的俸禄。严嵩这时已经86岁了，又老又病，儿子也死了，住在坟地的一间破草房里，就靠着给别人看守坟地混一口饭吃。过了两年，他终于在孤苦伶仃、饥寒交迫的困境中悲惨地死去了。