第二天，健三在同一時間，又經過同一地點。第三天也經過那里，卻不見那個不戴帽子的人從什么地方鉆出來。他在那條常走的路上往返，顯得那樣機械而勉強。

一連五天都這樣相安無事地過去了。第六天的早晨，那個不戴帽子的人突然從根津寺坡道的暗處鉆出來，把健三嚇了一跳。這次與上次的地點大致相同，時間也幾乎一樣。

當時，健三盡管意識到對方會慢慢接近自己，但他仍一如既往，機械而勉強地繼續向前走。可是，對方的態度截然相反，眼睛里凝聚著足以使任何人望而生畏的目光，死死地盯住健三。從那陰沉可怕的眼神里，可以清楚地看出那人在尋思，只要有空子，就要向他靠過來。健三毫不遲疑地從那人身旁沖了過去。

“老是這樣下去終歸是不行的。”健三心里有這種異常的預感。

當天回到家里，他仍然沒有把不戴帽子的人的事告訴妻子。

他和妻子結婚已有七八年了。當時，他已跟那人斷了關系，何況結婚的地點又不在故鄉東京，妻子當然不會直接知道那人。如果有所傳聞，那只能是出自健三本人的嘴，或是從他的親戚那里聽到，對健三來說，這不是什么了不得的事。只是結婚之后，有一件與此有關的事，至今還經常在他的腦海里浮現。五六年前，他還在外地的時候，有一天，在他工作單位的桌子上，意外地放著一封女人字體的厚信。他好奇地拆開了這封信，可是，費了很大的勁也沒有把信看完，因為密密麻麻的小字，寫了約有二十張。他只大致看了五分之一，就把信交給了妻子。

當時，他認為有必要向妻子說明寫來長信的女人的情況，更有必要把與這女人有關的那個不戴帽子的人拉來作證。健三依然記得當時自己被迫這樣做的情景。可是，健三喜怒無常，當時向妻子作的說明詳盡到了什么程度，這一點已經沒有印象了。因為這是有關女人的事，妻子也許還記得清清楚楚，可他卻無心再去詢問妻子。他不愿意把寫長信的女人和不戴帽子的男人擺在一起，因為這樣會勾起他去回憶自己不幸的往事。

好在他眼下的處境沒有工夫去為那些事情操心。他回到家里，換好衣服，馬上鉆進自己的書齋。他待在這六帖[4]的小房間里，感到要做的工作堆積如山。而實際上，比起工作來，還有一種非承受不可的刺激更強烈地支配著他，這自然使他焦急不安。

在這六帖的房間里，他打開從遙遠的地方帶回來的書箱，取出外文書，盤腿坐在如山一般的書堆里，過上一個星期，甚至兩個星期。他隨手抓到哪一本，就拿過來看上兩三頁。正因為如此，這間至關緊要的書齋總是凌亂不堪，顧不上收拾。末了，來訪的朋友實在看不順眼，就不分前后順序，也不管冊數多少，把所有的書都歸置在書架上。許多了解他的人，都說他是神經質，他卻認為這是自己的習性。