霍光去世幾個(gè)月后，御史大夫魏相密封上書，推舉張安世出任大將軍一職，推舉張安世的兒子張延壽出任光祿勛，兼宮中宿衛(wèi)。這和宣帝的想法不謀而合。張安世聽(tīng)說(shuō)此事，不敢接受，請(qǐng)求宣帝召見(jiàn)。在大殿上，張安世摘下冠冕，伏在地上叩頭說(shuō)：“臣誠(chéng)惶誠(chéng)恐，自以為不能擔(dān)當(dāng)重任，不能接任大將軍。懇請(qǐng)?zhí)熳涌蓱z老臣，讓老臣得以終其天年。”宣帝笑了說(shuō)：“您太謙虛了，您不可以，朝中還有誰(shuí)可以呢？”張安世一再辭讓，還是沒(méi)有得到批準(zhǔn)，幾天后，宣帝任命張安世為大司馬、車騎將軍兼尚書。幾個(gè)月后又讓他改任衛(wèi)將軍，兩宮衛(wèi)尉、城門護(hù)衛(wèi)、北軍均由張安世統(tǒng)領(lǐng)。
霍光的兒子霍禹原本擔(dān)任右將軍，宣帝同時(shí)任命霍禹為大司馬，免去霍禹的右將軍職務(wù)，這是個(gè)虛職，其實(shí)剝奪了霍禹的兵權(quán)。一年后霍禹謀反未遂，霍氏家族被滅。張安世更加誠(chéng)惶誠(chéng)恐，他的孫女張敬嫁給霍氏，因謀反罪受到株連，要被處死。張安世寢食難安，面容消瘦，宣帝看到了心中不忍，問(wèn)左右人，才知道事情原委，便赦免了張敬。而張安世更加惶恐，他成為朝中權(quán)力鼎盛的大臣，但他有權(quán)卻不專權(quán)，充滿了為官的智慧。
張安世謹(jǐn)慎周密，他身為朝廷重臣，每次與皇帝商議大事，有了決定后，他總是稱病退出。等聽(tīng)到皇帝頒布詔令后，再假裝大吃一驚，派人到丞相府去詢問(wèn)。所以即便是朝廷大臣，也無(wú)人知道他曾參與此事的決策。
張安世為官廉潔，他曾向朝廷舉薦某人，那個(gè)人來(lái)向他道謝，張安世很生氣，說(shuō)自己舉薦賢才是公事，不用私下里道謝。為此，與這個(gè)人斷絕來(lái)往。張安世府中有一個(gè)郎官自認(rèn)為功勞很大，卻一直得不到升遷，經(jīng)常抱怨。張安世對(duì)他講：“你認(rèn)為功高，上司會(huì)知道的。作為人臣，做了一點(diǎn)事，怎么能總放得心里，”還是拒絕提拔他，這位郎官后來(lái)調(diào)換了職務(wù)。將軍幕府的一位掾史辭官到別處任職，張安世問(wèn)他原因。掾史說(shuō)：“將軍是朝廷股肱大臣，下級(jí)卻長(zhǎng)期得不到提拔，怕被人說(shuō)閑話。”張安世說(shuō)：“明主在上，賢與不賢看得一清二楚。作為臣下，嚴(yán)于律己就可以了，何必總惦記著升遷。”張安世就這樣總是想躲避虛名，遠(yuǎn)離權(quán)勢(shì)。
張安世擔(dān)任光祿勛時(shí)，有一次，一個(gè)郎官喝醉酒，在宮殿上小便。主事官員要依法嚴(yán)懲，張安世說(shuō)：“你怎么知道這不是地面返潮留下的印痕？不要抓住一點(diǎn)小過(guò)錯(cuò)，就給人定罪。”還有一位郎官調(diào)戲官婢，官婢的哥哥來(lái)告狀，張安世說(shuō)：“這是郎官與官婢鬧著玩，官婢惱羞成怒，誣陷郎官。”這就是張安世從他父親張湯血的教訓(xùn)中總結(jié)出來(lái)的，做人不能一味地對(duì)上謹(jǐn)慎低調(diào)，對(duì)下也是要得饒人處且饒人，始終保持著一顆敬畏之心，才不會(huì)招怨惹禍。
張安世覺(jué)得自己和兒子都在朝中擔(dān)任要職，位高權(quán)重，內(nèi)心常感到不安，便請(qǐng)求讓長(zhǎng)子張延壽到外面做官。宣帝答應(yīng)了他的請(qǐng)求，讓張延壽擔(dān)任北地郡太守。一年多后，宣帝看張安世年老體衰，需要有人照顧，又將張延壽調(diào)回，擔(dān)任左曹、太仆，掌管皇帝的車馬。
張安世貴為三公、列侯，享受食邑上萬(wàn)戶，身上卻穿著粗絲織成的廉價(jià)衣服，夫人在家中親自紡織，家中有童仆700人，人人都安排做事，并掌握有一門手藝，所以家產(chǎn)不斷地增多，財(cái)富甚至超過(guò)霍光。這也是張安世治家的智慧，一個(gè)大家族，人人都有事做，這樣就免去了很多是非，避免了大家族內(nèi)各種的勾心斗角。
宣帝元康四年春天，張安世生病，上書請(qǐng)求歸還列侯印綬，乞骸骨退休。宣帝傷感地說(shuō)：“將軍年老有病，朕甚為哀痛。將軍不能親自理政，還可以幫朕出出主意。將軍是先帝的老臣，善于處理復(fù)雜政務(wù)，這一點(diǎn)，朕不如您，還要向?qū)④娬?qǐng)教。將軍怎么能感情用事，歸還衛(wèi)將軍、富平侯印綬呢？這不是要疏遠(yuǎn)朕，忘卻舊情嗎？愿將軍努力治病，心無(wú)雜念，頤養(yǎng)天年。”張安世于是勉強(qiáng)起身，繼續(xù)處理政務(wù)，當(dāng)年秋天在任上病逝。宣帝很傷心，賜予印綬，動(dòng)用戰(zhàn)車武士送葬，謚號(hào)為敬侯。還賜予墓冢，葬在杜陵（宣帝的陵寢）東面，將作大匠負(fù)責(zé)挖土起墳，修建墓園祠廟。
張安世謹(jǐn)小慎微，樸素清廉、忠誠(chéng)盡責(zé)，他的美好品質(zhì)得到了漢宣帝的敬重和禮遇。而他的子孫又是如何將這種良好的家風(fēng)傳承下去，讓張家始終避免樹大招風(fēng)的困境，成為一代傳奇家族的呢？且聽(tīng)下回分解。