第2章 自然語言和單詞的分布式表示

Marty: “This is heavy（棘手）.”

Dr. Brown: “In the future, things are so heavy（重）?”

—電影《回到未來》

接下來，我們將踏入自然語言處理的世界。自然語言處理涉及多個子領域，但是它們的根本任務都是讓計算機理解我們的語言。何謂讓計算機理解我們的語言？存在哪些方法？本章我們將以這些問題為中心展開討論。為此，我們將先詳細考察古典方法，即深度學習出現以前的方法。從下一章開始，再介紹基于深度學習（確切地說，是神經網絡）的方法。

本章我們還會練習使用Python處理文本，實現分詞（將文本分割成單詞）和單詞ID化（將單詞轉換為單詞ID）等任務。本章實現的函數在后面的章節中也會用到。因此，本章也可以說是后續文本處理的準備工作。那么，讓我們一起進入自然語言處理的世界吧！