張安世去世之后，嗣子張延壽繼承爵位，當時張延壽已經位列九卿，封國在陳留郡，另外在魏郡還有封邑，封邑的收益，每年可達上千萬。張延壽認為自己身無寸功，卻享受如此高的封賞，多次上書請求皇上減少自己的封邑，還通過弟弟陽德侯張彭祖向宣帝當面陳述這個意愿。宣帝認為，張延壽有謙讓之德，把他的封邑改在平原縣，將兩處封邑合并為一處，總戶數(shù)不變，租稅減半。張延壽去世后，謚號為愛侯。
張延壽的嗣子張勃繼承了富平侯的爵位。元帝即位后，詔令列侯舉薦茂才。張勃很欣賞陳湯的才華，陳湯當時任太官獻食丞，是管皇家膳食的小官，他便舉薦了陳湯。眼看機會來了，陳湯卻遇到了一個大坎：他父親病故了。漢朝及其看中孝道，他必須回家奔喪守孝。可陳湯舍不得這個可以改變命運的機會，硬是留在了京城。被人檢舉后，陳湯不僅自己鋃鐺入獄，還連累推薦人張勃，張勃因此被削減了食邑兩百戶。不久張勃去世，元帝給他的謚號是謬侯，謬是錯誤的意思，是個惡謚。后來陳湯在西域立下赫赫戰(zhàn)功，他那句“犯我強漢者，雖遠必誅”，成為一種精神符號，在歷史長河中回蕩不息。世人才都說張勃會看人，舉薦了難得的人才，但張勃早已背著惡謚蓋棺定論。
張勃的嗣子張臨繼承了富平侯的爵位。張臨謙遜、謹慎，他娶了宣帝的女兒敬武公主。作為駙馬爺，張臨卻能以桑弘羊和霍光作為前車之鑒，時時告誡自己。臨死前，張臨將財產分給宗族、故舊，并要求薄葬，不起高墳。
張臨的兒子張放繼承了富平侯的爵位，張放也是唯一留下罵名的富平侯。張放的母親是敬武公主，他和漢成帝是姑表兄弟的關系。但張放在成帝的生活里，可不僅僅這一層關系。漢成帝劉驁有兩個男寵，一個是張放，一個是淳于長。其中張放是他最愛的人，兩人用情之深，千古罕見。
張放長得眉清目秀，個性機敏，深得成帝的喜愛。張放娶許皇后弟弟平恩侯許嘉的女兒為妻，成帝親自操辦，賜給張放一處豪宅，外加華貴的車馬服飾，婚禮的規(guī)格相當于“天子娶兒媳婦，皇后嫁女”，朝廷為婚慶提供食宿，兩宮使者車馬冠蓋絡繹不絕，場面宏大，賞賜有上千萬。張放擔任侍中兼中郎將，負責平樂宮護衛(wèi)，還可以設置幕府，與將軍的待遇一樣。張放與成帝同起同臥，形影不離，常常與成帝微服出游，北至離長安三百里的甘泉宮，南至長楊宮、五莋宮，在長安鬧市與平民百姓一起斗雞走馬，就這樣一起度過了好幾年的歡樂時光。
成帝的幾位舅舅看到張放如此受寵，深感憂慮，便在王太后面前煽風點火，太后便嚴詞責備張放。加上當時災害頻發(fā)，他們就把責任歸咎于張放。不久，丞相薛宣、御史大夫翟方進合伙找了一些罪名彈劾張放，成帝不得已，只好將張放貶為北地郡都尉。只過了幾個月，成帝又將張放召回擔任侍中。王太后又出面干涉，成帝權力有限，對太后一族無能為力，只好將張放外放天水郡，擔任屬國都尉。成帝永始、元延年間，連續(xù)幾年出現(xiàn)日食，張放作為“災星”不能被召回，成帝與張放只好通過書信保持聯(lián)系，把彼此的思念埋藏于字里行間。
又過了一年，敬武公主生病，張放被批準回家照看母親，在家里呆了幾個月。但公主病好后，張放又被外放到河東郡擔任都尉。成帝雖然不忍與張放離別，但上有太后監(jiān)督，下有大臣勸諫，每次分手，都是流淚相送，把自己對張放深深的思念轉化為對張放加官進爵。后來張放擔任侍中兼光祿大夫，俸祿為兩千石。一年后，丞相翟方進彈劾張放。成帝只得罷免張放，賜錢五百萬，讓張放回到封國。幾個月后，成帝駕崩，張放悲痛欲絕，竟活活哭死了。
張放的嗣子張純繼承了富平侯的爵位。張純?yōu)槿斯Ь矗⒅匦摒B(yǎng)，熟悉朝廷法令、前朝政事，有張安世的遺風。王莽篡位，張純仍然享有爵位，他創(chuàng)造了從西漢到新朝，再到東漢，三個朝代不失侯位的奇跡。到了建武年間，張純擔任大司空，世祖劉秀改封張純的富平侯為武始侯。
當初張安世的長子張千秋和霍光的兒子霍禹在朝中擔任中郎將，帶兵跟隨度遼將軍范明友攻打烏桓。戰(zhàn)事結束歸來，霍光問張千秋：此次戰(zhàn)事有何方略？沿途的山川形勢如何？張千秋就用樹枝在地上畫出交戰(zhàn)區(qū)的地理形式和兵力布置圖，清晰地介紹了交戰(zhàn)過程，這就是成語“畫地成圖”的典故，張千秋繼承了他父親張安世的超強記憶力。霍光又問霍禹，霍禹張口結舌，不知該如何應答，只會說這是文書掌握的。霍光因此很器重張千秋，嘆息道：“霍氏恐怕要衰敗，張氏要興旺了。”他的話也一語成讖，當霍光家族被滅族，王莽頭顱被懸于城門時，張安世的九世孫正在洛陽太學給漢順帝講《尚書》。這個家族用兩百年證明：真正的生存強者，不是在權力漩渦中廝殺，而是把自己練成一滴融入大海的水，看似毫無存在感，卻能隨時代的浪潮，流向任何想去的未來。
西漢學者馮商曾考證認為張湯家族與留侯張良同祖，但這一關聯(lián)對張湯的政治生涯無實質影響。張湯并非張良的直系后代，兩者可能是同宗遠親關系。張湯雖未封侯，但其子張安世開創(chuàng)了九世十一侯的家族輝煌。世間之事，往往越強求越容易失去；越不在意，反而越能長久。正如張安世家族的輝煌，證明了低調務實比顯赫功勛更能保障家族的長久。