"人紅是非多"，有時會有人說他們是清高、孤芳。被誤會的兩位老人都是付之一笑，不愿爭辯。曾經有一位有聲望的人去錢家拜年，開門的是錢鐘書，來的人剛說了句"春節好"，隔著一條門縫的錢鐘書便回應："謝謝！謝謝！我們很忙，謝謝！"

著名的藝術家黃永玉聊起楊絳的時候，回憶說，之前兩家住得很近，回老家時便會帶一些湘西的筍和土特產回來，給楊絳家送去的時候，都是敲敲門便放下離開了，他們開門的時候就拿進去了...