語罕家在明末清初是一個大地主家庭。據高氏家譜所載，明末大饑，語罕的祖先曾經捐納過三千擔糧食放賑，明廷御賜“尚義門”的匾額予以褒獎。語罕家引以為榮，常以此自夸。小時候，語罕看見自家祠堂的對聯仍是：先人助麥三千擔，圣祖恩頒尚義門。

到了曾祖的時代，語罕家中仍是鼎盛之秋，一面擁有上千畝的田地，一面又是大鹽商、大行商。直至語罕五六歲時，家中仍氣派得很：“大門是很高的石臺坡、石門檻，前后一起有百十間瓦屋，中有五間大廳，可以坐四五十桌席。不料正陽一場大火，把它們燒的干凈，只有三間瓦屋，碩果僅存?！薄咀⑨?】

咸豐、同治之交，壽縣、鳳陽農民革命的領袖苗沛霖征集民工，將還是土圍子的正陽關建成城池。外曾祖太爺就在苗沛霖那里做“大旗桿子”，這是苗手下最高將領的職名。據說，祖母嫁到正陽關的時候，全鎮百姓沒有一家不送禮的。

祖母常常帶著語罕到外曾祖太爺家去看“堂戲”，也給他講家世，講故事。小語罕最喜歡聽祖母講長毛、捻子的故事，更愛聽她講苗沛霖起兵圍壽州城及治軍臨民的逸事。祖母親見親聞，所以講得有趣。冬天的時候，祖母常躺在一張靠椅上，兩手縮在袖子里，兩腳放在一個銅腳爐上，白發垂垂，閉著眼睛講故事，這是語罕小時候印象非常深的一件事情。

祖母也常常向語罕回憶高家昔日的繁華，“二十年前，我們鹽店巷子高家，誰人不知，誰人不曉！家里那時又是鹽店，又是錢莊，又是油坊，又是炒貨行，糧食收的成倉的?！本o接著她又慨嘆，“我們這一門子，現在窮了，再沒有從前那種興旺氣象嘍”【注釋2】。按祖母的話說，“龍多四靠”，事情沒人管。因為語罕的祖父弟兄八個，大都習于安逸，不理家務，不治生產，家道漸漸中落了。

語罕外祖父也是個大鹽商，住在離正陽關十里的李家臺子集鎮。小時候語罕常常隨著母親去外祖家，在河道上老遠地望著一片黑沉沉的森林。這個地方是湖灣，地勢低洼，每逢發大水，門外便是一片汪洋，所以家家都筑起高高的土臺以防水患。

外祖父是老行伍的軍官出身，平生好客愛士，頗有俠氣，素以嚴正出名。李家臺子的姑娘或者媳婦，若是拋頭露面，在村外被他看見了，不但要受嚴重的責備，連她們的“家主”都要遭其斥責。

外祖父的原配妻子姓黃，生了一個兒子。這個兒子才30歲便死了，黃氏外祖母在兒子死后不久也去世了。外祖父在河南辦軍務時，因為兼祧（在封建宗法制度下，一個男子不脫離原來家庭的裔系，兼做所繼承家庭的嗣子）的緣故，又與河南凌氏，也就是語罕的外祖母訂婚。外祖父在由河南到安徽的船上遇著一個小孩子，看著非常忠厚誠實，又無父母，就把他帶到家來收為義子，這就是語罕的舅舅。

在語罕的童年記憶里，到外祖母家和舅舅一起玩耍，是最快樂的事情。每到黃昏將近，片片云霞，映著河水，太陽返照，穿過長林，直照到莊上的一帶房屋。飛鳥喳喳地叫著，投入樹叢里。牧童騎在牛背上，在靄靄晚煙中歸來。

后來，外祖父、外祖母相繼去世，合葬在一起。每逢清明時節，語罕小兄弟姊妹都會隨著母親去上墳。

【注釋1】高語罕：《九死一生記》第82期，載成都《新民報》日刊1945年11月5日第4版“雄辯”專欄。

【注釋2】高語罕：《百花亭畔》，第39頁。