語罕家累世忠厚，在正陽關享有令名。祖父那時已經六十多歲了，在稅關上管理賬目，為人清廉，但精神有些不濟。

正陽關鹽務總局在語罕家中設立了義塾，父親平日就在自己家中教書，學生大小有十幾個。有時他也到正陽稅關上幫忙算賬，經理款項。父親“尊重科名，不過考了多次，也沒有進學。他為人講道理又極厚道老實，人人可以欺負，他受了委屈，一句話也說不出來”【注釋1】。

母親從小就聰明，能讀能寫，說話有條理，遇事敢擔當，未出嫁前，李家臺子的人通以“小姑”呼之。母親對語罕讀書非常注意，平日不許他出大門。

語罕弟兄姊妹五個，他是長子，其中最小的弟弟得瘟疫夭折了。母親親自教語罕認字，教督非常嚴格。她常常教訓：“你伯伯（皖北稱呼父親）考了幾考，沒有進學，姥姥（皖北稱呼外祖母）氣壞了。就指望你爭這口氣咧！你再同你伯伯一樣，我怎樣抬頭見人！”

5歲時，語罕進父親的義塾讀書。語罕那時聰明俊秀，又得嚴格督促，沒一兩年便讀了好幾部書，又寫得一筆好字。有時鹽務總局派人來義塾考查，語罕分數很高，總得些紙墨筆硯的獎品，父母都很歡喜。語罕在義塾里念書，最盼望的是來客人。因為一來客人，學生們就放假。

有時他跟著母親到外祖家里去，也要把字塊兒和《三字經》、《千字文》、《龍文鞭影》、《唐詩三百首》等帶著。在外祖家，母親規定他必須完成這樣的功課：早起，溫習《孟子》三遍才許吃飯；午前，寫仿兩張（大小字各一）；溫習《大學》、《中庸》各兩遍，才許吃午飯；午后，溫習《詩經》兩遍，才許吃晚飯。

父親對語罕極疼愛，有時母親自己回娘家，父親早上替語罕穿衣服，晚上又替他脫。吃飯的時候，父親替他添菜、夾菜；他渴了，父親替他斟茶。有一次快念完書的時候，語罕走到父親面前，不做聲，先把頭一昂。父親便知道小語罕要吃綠豆糕。父親從抽屜里拿了30個銅錢，語罕并不要他叫人去買，他自己會找人。同學都因為語罕是先生的兒子，對他平常的功課和一筆好字也很仰慕，自然搶著替他去買綠豆糕。

從小到大，在糕餅當中，語罕冬天喜歡吃的是龐聚興的酥糖，夏天喜歡吃的是龐聚興的綠豆糕。這個習慣同學都曉得。就連成家后，夫人每逢語罕暑假回家，總要買綠豆糕放在瓷罐子里，晚上拿給他吃。

【注釋1】高語罕：《白話書信》，上海亞東圖書館1929年版，第221頁。