1931年9月18日晚，日本駐扎在中國東北的關東軍突然野蠻炮擊沈陽，同時向吉林、黑龍江兩省發動猛烈進攻。其時蔣介石命令東北軍“絕對不得抵抗”，并撤至山海關內。19日日軍占領沈陽，接著分兵侵占遼寧其他地區以及吉林、黑龍江兩省。至1932年2月東北全境淪陷。日本大規模武裝侵略中國東北這一事件，史稱為“九·一八事變”。

1937年7月7日，日本侵略軍詭稱在演習中“失蹤”一名士兵，悍然向北平城西盧溝橋發起攻擊。中國駐軍第二十九軍奮起抵抗。8日中國共產黨通電全國，號召全民族抗戰。從此，中國軍民開始了長達8年的抗日戰爭。

1937年7月中旬，岑桑小學畢業，回到家鄉度暑假。此時，日寇加緊從北向南侵略的步伐，眼看家鄉被侵在所難免，局勢十分緊張。作為一家之主的泮根不得不作出對孩子們的安排。他讓長子汝康投奔到僑居非洲的馬達加斯加的一位宗親家；讓剛完成高中學業的長女勝芳赴粵西高州教書；他自己征得家居香港的一位宗親的同意，于1937年9月攜帶連芳、笑芳和岑桑，乘船到了香港，舉家赴港島避難。

泮根同兒女到香港之后，寄居在宗親家里。泮根原以為到了宗親家會受到熱情相待，詎料現實情況與自己原來的天真預想完全不同。那位宗親在香港開了一間攝影器材店，是這家店鋪的老板。由于經營得法，加上該店當時取得了美國攝影器材行業著名的柯達公司在香港的總代理權，銷路通暢，利潤豐厚。泮根同這位宗親本是至交，在該店中也參有股份，且此位宗親在坎坷之時曾得到他的支持幫助，雙方的妻子還是同宗姐妹。正是由于有如此不同尋常的關系，泮根才萌生投奔寄寓念頭，那位宗親也才有表示接納之意。

為了不給宗親的家人帶來太多的麻煩，泮根自己到堂妹家中居住，將年幼的岑桑送到宗親攝影器材店當學徒，讓兩個女兒寄居在宗親家中。過了一兩個月之后，宗親的家人明顯露出對寄居者的嫌棄之情。鑒于這種情況，泮根馬上將兩個女兒投寓在香港的另一親戚家。這位親戚也是從廣州到香港避難的，生活窮困，靠做些小手工維持生計，但這家人對泮根的兩個女兒不錯，兩個花季女孩就成了這窮苦之家同處困境，互相扶助的成員。

當時十一歲的岑桑，由于國難當頭，奪走了他黃金般的童年，當了攝影器材店的學徒。白天在店鋪做工，夜晚在一間英文補習夜校學習。他每天都要打掃店鋪，傾倒垃圾，為老板服務，為顧客送貨，累得半死。他在店鋪里，就像一個小奴隸，招人白眼，被頤指氣使，生活在充滿勢利、貪婪、虛偽、欺詐的齷齪氛圍之中，幼小的心靈遭受了創傷。這段經歷，為他留下了難以忘懷的記憶。

岑桑的父親泮根赴港不久，就身患嚴重疾病，長期住院治療，都不見好轉，1938年秋，終因醫治無效，不幸離世。父親西去，寄人籬下的連芳、笑芳年紀還小，難于自顧，岑桑更陷于孤苦無援的境地了。

岑桑的祖母潘氏在鄉中驚聞兒子在港病逝的噩耗，痛惜兒子英年早逝，牽掛年幼的孫兒孫女們困苦無助。此時抗戰的局勢十分嚴峻，日寇已經占領了我國包括廣州在內的許多沿海地區，年邁的祖母不顧危險，專程從順德徒步到了香港，斗大的字不識一個的她居然通過各種關系和線索，尋找到她牽腸掛肚的孫兒孫女們。仁慈善良的祖母把小孫兒岑桑從攝影器材店帶走，送到在九龍開設木材店的親戚家安置下來，自己才依依不舍地轉往澳門徒步回順德老家去了。

這家木材店的老板娘蘭姑，原是岑家祖輩的養女，結婚后一直感恩不忘，把岑家視若娘家，是岑家親戚中關系較密切的一家。蘭姑離開家鄉后跟隨丈夫到了香港，開了這間小木材店，夫妻兩人同心協力，克勤克儉，誠信經營，所賺除了維持日常開支外，略有盈余。岑桑在這間小木材店雖然不是學徒，但他懂事明理，吃苦耐勞，手腳麻利，常常主動幫助店主人干這干那，做些力所能及的活計，甚博店主人的好感。蘭姑夫婦也對岑桑關懷備至，使岑桑有如歸之感。

岑桑在木材店的境遇與在攝影器材店狀況相比，猶如從冰天雪地回到了充滿暖氣的家中。他的人格受到尊重，生活得到關懷。

岑桑畢竟是一個滿懷夢想的孩子。他雖然在蘭姑家過得不錯，也十分感激蘭姑夫婦。但他不安于目前的處境。他有自己的夢想和追求，渴望創造機會繼續讀書，長大后做些實實在在的事情。

在香港的三年，岑桑看到了資本主義社會的勢利貪婪、虛偽欺詐的腐朽現象，嘗夠了艱難困苦、受人嫌棄、遭人蔑視、被人凌辱的人生苦楚。他在《香港，我熟悉的陌生人》一文中認為，那個時期的香港，在他心中“是一個粗魯的巡捕，一個貪婪的市儈，一個勢利的小人，一個刻薄的東家”。他鄙棄這塊冷酷無情、銅臭熏天的半殖民地。他把自己的想法和迫切愿望，寫信向遠在高州的大姐勝芳訴說，勝芳內心一直掛念著愛弟，對愛弟旳處境十分同情，極力支持愛弟的選擇。1940年春夏之交，岑桑跟著大姐委托返港探親的那位同事，坐上了香港開往廣州灣（今湛江）的輪船，離開了令他厭惡的香港。