第3章 word2vec

“沒有判斷依據，就不要去推理。”

——阿瑟·柯南·道爾 《波希米亞丑聞》（收錄于《冒險史》）

接著上一章，本章的主題仍是單詞的分布式表示。在上一章中，我們使用基于計數的方法得到了單詞的分布式表示。本章我們將討論該方法的替代方法，即基于推理的方法。

顧名思義，基于推理的方法使用了推理機制。當然，這里的推理機制用的是神經網絡。本章，著名的word2vec將會登場。我們將花很多時間考察word2vec的結構，并通過代碼實現來加深對它的理解。

本章的目標是實現一個簡單的word2vec。這個簡單的word2vec會優先考慮易理解性，從而犧牲一定的處理效率。因此，我們不會用它來處理大規模數據集，但用它處理小數據集毫無問題。下一章我們會對這個簡單的word2vec進行改進，從而完成一個“真正的”word2vec。現在，讓我們一起進入基于推理的方法和word2vec的世界吧！