面对嘉靖的再次慰留，严嵩还是上疏请求致仕，并且将嘉靖送来的奏疏退回，严嵩在奏疏中称：国朝断无此例，臣不敢僭越也！
面对严嵩态度坚决的请求致仕，嘉靖没有第一时间答复，而是令内阁照常处理政务，有重大事项，还是要询问严嵩的意见，这就搞得徐阶很痛苦了，虽然严嵩已经明确上疏致仕，但是只要嘉靖还没有批准，严嵩就还是大明的内阁首辅，有关军国重事，确实需要严嵩的首肯才行。
徐阶只得一次次到严嵩府上恳请严嵩的意见，但是每次吃了闭门羹，严世蕃出来告知徐阶道：“徐阁老，若是私下拜访，家父当扫榻以待，有关国事还请徐阁老自决吧！”
徐阶苦笑着说道：“小阁老，严阁老是首揆，下官岂敢僭越。”
严世蕃面无表情的说道：“徐阁老说笑了，家父已经上疏陛下，请求致仕，只待陛下御批了。再者说，小阁老着三字，如今可不能用在下官身上了，贵府公子才是小阁老啊。”
徐阶赶紧说道：“小阁老说笑了，犬子何能及小阁老之万一也。”
严世蕃回答徐阶的就两个字，呵呵。
严嵩去意已决，现在朝廷和嘉靖都明白了，只看嘉靖什么时候正式下达诏书了。
严嵩最近每日在府内读书写字，同时打点行装，准备嘉靖的诏令一下达，就开始陆续的南归，严嵩当了近二十年的辅臣，他也不是什么爱惜羽毛之辈，宦囊丰厚，这是朝野皆知的事情。
严嵩精于书法诗词，是当世的大书法家，也是大鉴赏家。严嵩钟爱各种珍玩书画，下面的各级官员为了讨严嵩的欢心，搜取古玩不遗余力，尤其是古今名家书画，更是严嵩的心头所好，严嵩本人就是大书法家，笔力雄健，更是精于鉴赏。
严嵩这二十多年以来，所得的各种书画有三千多幅，都是精品。有魏、晋、六朝、唐、宋、 元、明各代众多书画名家的力作，王羲之、王献之、褚遂良、柳公权、颜真卿、怀素、苏轼、黄庭坚、米芾、文彦博、欧阳修，陆游、赵孟礴顺、李东阳、祝允明、文征明等大家之作，在严嵩府上并不稀奇。
更有《越王宫殿图》、《文会图》、清明上河图等前代名画，毫不夸张的说，严嵩的收藏，比之内府不遑多让。严嵩还有收藏的各色古籍善本，也都是极为珍贵之物。严嵩最近主要是一件件的筛选自己的收藏，严世蕃也陪着自己老父亲一件件的整理这些书画。
严世蕃坐了一会，便有些乏味，对严嵩说道：“父亲，这些东西，回乡之后可以慢慢整理，何必急于一时。”
严嵩看了他一眼说道：“谁说老夫要将这些东西带回去了？”
严世蕃大为吃惊，他是知道的，这些书画古籍都是严嵩四处收集而来的，严嵩对于金银，其实到没有那么喜好，他更加在意的就是这些书画古籍，可以说视若珍宝好不为过，严世蕃本以为严嵩是想把他们整理之后，再带回分宜老家的，但是严嵩居然说不带回去，这让严世蕃有些不明白了。
严嵩看着他说道：“这你都不明白，有些东西，不是人臣所能有的。以前老夫位居台阁，保有此物，还算说得过去。现在老夫一介白身，还持有此物，就是招祸了，这些东西，本就是代陛下所藏的。”
严嵩很清楚，这二十多年，严家所搜刮的财富十分巨大，就算是严嵩、严世蕃也说不清楚严家到底有多少钱财，严嵩在位的时候，当然无所谓了，一旦严嵩去职，这些财富就是惹人眼红的祸根啊！与其如因为这些财富到时候逼得严家家破人亡，倒不如献出一部分给嘉靖，在临走之时博取君恩。
严家不仅有举世罕有的书画，房屋田宅更是不计其数，就现在严嵩所居住的这所西长安街的宅邸，大学士毛纪、谢迁、费宏都曾相沿以为居第。鸿迹难期， 萍居靡定，现在又成了他严嵩的宅邸，严嵩还曾经作诗道：长安第宅频更主，此地流传亦到予。嘉靖也曾经亲自给严嵩的书房题名忠正堂。
除了这所规模宏大，金碧辉煌的相府之外，严家在京师还有宅院、店铺一千七百余间，土地一千五百余亩，这些仅仅是严嵩家财的九牛一毛罢了，严家在江西还有土地四万余亩，就是靠着这些田产，严家也可以富甲一方了。
严家在南京、扬州、仪真等处有田庄数十处，共计一万余亩，在江西各处还有宅院六千余间，金银等浮财更是不可计算，这么多的钱财，若是严嵩大摇大摆的带回江西老家去的话，那就是作死了。
严嵩所以正在命家人统计家财，等到统计好后，严嵩准备上疏嘉靖，将部分家财献出，以资国用。
严嵩命严世蕃取来银章，亲自向嘉靖写密疏，严嵩将自己收藏中的珍品书画和古籍善本，以及在京师的宅院田产，还有历年所得的奇楠香三块、沉香山四座、13罐洪熙宣德朝的古虫刺水熊胆空青蔷薇露、犀角象牙69根、全部献于嘉靖，同时以为国分忧为名，将嘉靖历年赏赐的金银绸缎等价值十多万两的赐物献回。
嘉靖收到严嵩的奏疏后，大为吃惊，派黄锦亲自去严家交割这些物品，同时询问严嵩有何要求。嘉靖知道严嵩严世蕃父子捞了不少，甚至大概数目嘉靖都有所估计，毕竟现在的厂卫还是很得力的，严嵩向嘉靖进献宝物的意图也很明显，就是请求嘉靖庇护严家。
严嵩通过黄锦向嘉靖请求，自己在分宜老家营建了宅院，恳请嘉靖为自己的宅院题词。嘉靖欣然命笔，为严嵩在分宜老家的宅院题了敕造延恩之阁，严家正堂被嘉靖命名为忠弼堂，意为忠良辅弼，同时为严家主楼赐名琼翰流辉楼，命黄锦大张旗鼓送至严家，还传旨严嵩，所赐银章不必归还，仍许密疏奏事。