20年的閑置生活，辛棄疾脫離政界，旁觀而不得插手，甚至連插嘴也不行。他也意識到自己“剛拙自信，年來不為眾人所容”，所以早已做好了歸隱的準備，并在江西上饒的帶湖畔修建了園榭，以便離職后定居。

公元1181年，四十二歲的辛棄疾因受到彈劾而被免職，歸居上饒，于是，本欲馳騁戰場、收復失地的英雄，只能在自己的家中咀嚼自己的寂寞。

他在一首名為《水調歌頭》的詞中寫道：帶湖吾甚愛，千丈翠奩開...