天寶十五載（756年）七月十二日、馬嵬之變一個月后、李亨就在靈武自行宣布即帝位，是為唐肅宗，改元至德，李隆基就這樣被兒子推尊為太上皇，當天，肅宗就派使者前往四川，向太上皇報告這一消息，對于自己變成太上皇的事情，李隆基此時唯一能做的就是接受。第二年九月，郭子儀收復長安和洛陽。十月，唐肅宗派人入川迎接太上皇返回長安。，太上皇李隆基路過馬嵬時、派人到楊貴妃的墓前祭奠，并想為她改葬。但遭受宦官李輔國反對而停止，李隆基只好秘密派太監準備了棺材，重新安葬楊貴妃。《舊唐書·楊貴妃傳》:“初瘞時以紫褥裹之，肌膚已壞，而香囊仍在。內官以獻，上皇視之凄惋，乃令圖其形于別殿，朝夕視之”。

也就是：埋葬楊貴妃的時候用紫色褥子裹著埋葬，后來肌膚已經腐敗但香囊還在。所以，內官便獻上香囊，李隆基凄慘地看著，然后讓人（王文郁）畫了楊貴妃的畫像放在別殿，白天傍晚都要去看看。剛回長安的時候，李隆基的日子還是不錯的，居住在興慶宮的李隆基雖然不再過問政事，但侍候他的仍是龍武大將軍陳玄禮與內侍監高力士，另有玄宗的親妹玉真公主與舊時宮女、梨園弟子為他娛樂。最重要的他還有自由，可以在自己的宮殿臨街的地方看看百姓。但三年不到、宦官李輔國為了立功以固其恩寵，上奏肅宗說：“上皇居興慶宮，日與外人交通，陳玄禮高力士謀不利于陛下。今六軍將士盡靈武勛臣，皆反仄不安，臣曉喻不能解，不敢不以聞。”李輔國乘肅宗患病之機，矯詔強行把玄宗遷居西內。在途經夾城時，李輔國又率射生將五百騎，劍拔弩張，氣勢洶洶地攔住去路。此時的李隆基已七十五歲，早被嚇的膽戰心驚，幾乎墜下馬來，幸虧高力士挺身而出，李隆基才安全地遷居甘露殿，度過他最后的晚年…