前　言

語言智能處理是人工智能領(lǐng)域的重要研究方向之一，也是人工智能領(lǐng)域歷久彌新的核心研究課題。語言是人類文明傳承的重要載體和媒介。實現(xiàn)語言智能化處理，從第一臺計算機(jī)誕生之日起，就是人類夢寐以求的美好愿望。語言智能化處理技術(shù)的獨特魅力，也是讓無數(shù)產(chǎn)、學(xué)、研各界人員癡迷的原因所在。然而時至今日，相關(guān)研究工作已經(jīng)開展了幾十年，借助機(jī)器完全自動地實現(xiàn)自然語言的機(jī)器翻譯、情感分析、智能問答、人機(jī)對話、個性化檢索等任務(wù)的實用化處理，依然是研究者前赴后繼投身其中的奮斗目標(biāo)。

在新一波人工智能浪潮席卷之下，關(guān)于語言智能處理的新技術(shù)、新方法和新產(chǎn)品層出不窮，很多研究工作取得了長足的進(jìn)步，也引起了越來越多來自社會各界的高度關(guān)注。但不得不說，現(xiàn)有的研究狀況也漸漸顯現(xiàn)出“亂花漸欲迷人眼”的景象，特別是在深度學(xué)習(xí)技術(shù)大放異彩甚至是獨占鰲頭的態(tài)勢下，對語言智能處理的研究面臨著諸多挑戰(zhàn)與難題。有些挑戰(zhàn)與難題是因為新業(yè)態(tài)的產(chǎn)生而滋生的新問題，更多的是本質(zhì)上仍然是懸而未決的舊有科學(xué)難題。我們希望從紛繁復(fù)雜的研究工作中，幫助對這一領(lǐng)域感興趣的讀者在一些典型任務(wù)上梳理出一條相對清晰的路徑，免于陷入“獨上高樓，望盡天涯路”的窘迫。本書所探討的內(nèi)容既包括語言模型與知識表示這樣的傳統(tǒng)研究，也包括語言分析技術(shù)這樣的基礎(chǔ)任務(wù)，還涉及了時下研究熱度持續(xù)升高的機(jī)器翻譯、自動問答、自然語言生成、信息推薦、語音情感分析等重要方向。本書盡量選取了語言智能處理領(lǐng)域中具有代表性的研究工作加以介紹。這些研究工作同時也是人們?nèi)粘Ｉ町?dāng)中實實在在能夠接觸的應(yīng)用場景，大部分研究方向直接見證了人工智能技術(shù)發(fā)展的起起落落。同時，由于語言智能化處理的研究特點，幾乎所有的任務(wù)都定期舉辦對應(yīng)的國際/國內(nèi)公開評測，也有公開發(fā)布的訓(xùn)練數(shù)據(jù)集、開源平臺等資源供業(yè)界人士共享。本書盡可能在相關(guān)章節(jié)將這些評測、資源等相關(guān)信息列舉出來，以饗讀者。

本書共8章，在章節(jié)的組織上針對語言智能處理中的典型研究方向，盡可能梳理出每個方向大體的技術(shù)發(fā)展脈絡(luò)、主要方法、關(guān)鍵技術(shù)、最新進(jìn)展以及未來趨勢。其中，第1章由黃河燕主筆，第2章由黃河燕、史樹敏主筆，第3章由史樹敏、黃河燕主筆，第4章由賈珈主筆，第5章由黃民烈主筆，第6章由韓先培主筆，第7章由劉洋主筆，第8章由劉奕群主筆，全書由黃河燕、史樹敏統(tǒng)稿。此外，李洪政博士后（現(xiàn)為北京理工大學(xué)助理教授）協(xié)助完成了2.2節(jié)及第3章部分圖表的繪制及校對工作，鑒萍博士協(xié)助完成3.3節(jié)部分文獻(xiàn)資源的整理和校對工作，毛佳昕博士后（現(xiàn)為中國人民大學(xué)助理教授）協(xié)助完成了第8章的校對工作。在本書編寫過程中，孫樂研究員對6.1節(jié)提出了寶貴意見，陳波副研究員、安波副研究員參與了第6章的校對工作，在此深表感謝。另外，部分研究生也為本書的寫作提供了文獻(xiàn)資料整理、參考文獻(xiàn)規(guī)范化處理等協(xié)助工作。他們是尚煜茗、蘇超、周素平、邊寧、黃斐、柯沛、黃軒成、陳馳、楊宗瀚、許一舟、鄭遠(yuǎn)航、張慧盟、王碩，在此一并向他們表示衷心的感謝。誠摯感謝電子工業(yè)出版社趙麗松副總編和富軍、錢維揚等其他編輯及審校人員為本書出版所付出的辛勤工作。感謝長期以來對我們團(tuán)隊工作給予大力支持和幫助的諸位師長、同行和各界朋友們。

眾所周知，語言智能處理涉及眾多研究內(nèi)容，限于篇幅和學(xué)識，本書無法一一涵蓋，僅是拋磚引玉，希望與“為伊消得人憔悴”的同仁一起，在語言智能處理的浩瀚海洋中，共同尋求“驀然回首，‘成果’就在燈火闌珊處”的快樂。由于作者水平所限，加之時間和精力不足，書中一定存在疏漏或錯誤之處，衷心歡迎專家和讀者給予批評指正。

編著者

2020.10