譯者序

青山遮不住，畢竟東流去

 

深度學習這個術語自2006年被正式提出后，在最近10年得到了巨大發展。它使人工智能（AI）產生了革命性的突破，讓我們切實地領略到人工智能給人類生活帶來改變的潛力。2016年12月，MIT出版社出版了Ian Goodfellow、Yoshua Bengio和Aaron Courville三位學者撰寫的《Deep Learning》一書。三位作者一直耕耘于機器學習領域的前沿，引領了深度學習的發展潮流，是深度學習眾多方法的主要貢獻者。該書正應其時，一經出版就風靡全球。

該書包括3個部分，第1部分介紹基本的數學工具和機器學習的概念，它們是深度學習的預備知識。第2部分系統深入地講解現今已成熟的深度學習方法和技術。第3部分討論某些具有前瞻性的方向和想法，它們被公認為是深度學習未來的研究重點。因此，該書適用于不同層次的讀者。我本人在閱讀該書時受到啟發良多，大有裨益，并采用該書作為教材在北京大學講授深度學習課程。

這是一本涵蓋深度學習技術細節的教科書，它告訴我們深度學習集技術、科學與藝術于一體，牽涉統計、優化、矩陣、算法、編程、分布式計算等多個領域。書中同時也蘊含了作者對深度學習的理解和思考，處處閃爍著深刻的思想，耐人回味。第1章關于深度學習的思想、歷史發展等論述尤為透徹而精辟。

作者在書中寫到：“人工智能的真正挑戰在于解決那些對人來說很容易執行、但很難形式化描述的任務，比如識別人們所說的話或圖像中的臉。對于這些問題，我們人類往往可以憑直覺輕易地解決”。為了應對這些挑戰，他們提出讓計算機從經驗中學習，并根據層次化的概念體系來理解世界，而每個概念通過與某些相對簡單的概念之間的關系來定義。由此，作者給出了深度學習的定義：“層次化的概念讓計算機構建較簡單的概念來學習復雜概念。如果繪制出表示這些概念如何建立在彼此之上的一幅圖，我們將得到一張‘深’（層次很多）的圖。由此，我們稱這種方法為AI深度學習（deep learning）”。

作者指出：“一般認為，到目前為止深度學習已經經歷了三次發展浪潮：20世紀40年代到60年代深度學習的雛形出現在控制論（cybernetics）中，20世紀80年代到90年代深度學習以聯結主義（connectionism）為代表，而從2006年開始，以深度學習之名復興”。

談到深度學習與腦科學或者神經科學的關系，作者強調：“如今神經科學在深度學習研究中的作用被削弱，主要原因是我們根本沒有足夠的關于大腦的信息作為指導去使用它。要獲得對被大腦實際使用算法的深刻理解，我們需要有能力同時監測（至少是）數千相連神經元的活動。我們不能夠做到這一點，所以我們甚至連大腦最簡單、最深入研究的部分都還遠遠沒有理解”。值得注意的是，我國有些專家熱衷倡導人工智能與腦科學或認知學科的交叉研究，推動國家在所謂的“類腦智能”等領域投入大量資源。且不論我國是否真有同時精通人工智能和腦科學或認知心理學的學者，至少對交叉領域，我們都應該懷著務實、理性的求是態度。唯有如此，我們才有可能在這一波人工智能發展浪潮中有所作為，而不是又成為一群觀潮人。

作者進一步指出：“媒體報道經常強調深度學習與大腦的相似性。的確，深度學習研究者比其他機器學習領域（如核方法或貝葉斯統計）的研究者更可能地引用大腦作為參考，但大家不應該認為深度學習在嘗試模擬大腦?，F代深度學習從許多領域獲取靈感，特別是應用數學的基本內容如線性代數、概率論、信息論和數值優化。盡管一些深度學習的研究人員引用神經科學作為重要的靈感來源，然而其他學者完全不關心神經科學”。的確，對于廣大青年學者和一線的工程師來說，我們是可以完全不用因為不懂神經（或腦）科學而對深度學習、人工智能躑躅不前。數學模型、計算方法和應用驅動才是我們研究人工智能的可行之道。深度學習和人工智能不是飄懸在我們頭頂的框架，而是立足于我們腳下的技術。我們誠然可以從哲學層面或角度來欣賞科學與技術，但過度地從哲學層面來研究科學問題只會導致一些空洞的名詞。

關于人工神經網絡在20世紀90年代中期的衰落，作者分析到：“基于神經網絡和其他AI技術的創業公司開始尋求投資，其做法野心勃勃但不切實際。當AI研究不能實現這些不合理的期望時，投資者感到失望。同時，機器學習的其他領域取得了進步。比如，核方法和圖模型都在很多重要任務上實現了很好的效果。這兩個因素導致了神經網絡熱潮的第二次衰退，并一直持續到2007年”?！捌渑d也悖焉，其亡也忽焉”。這個教訓也同樣值得當今基于深度學習的創業界、工業界和學術界等警醒。

我非常榮幸獲得人民郵電出版社王峰松先生的邀請來負責該書的中文翻譯。我是2016年7月收到王先生的邀請，但那時我正忙于找工作，無暇顧及。然而，當我和我的學生討論翻譯事宜時，他們一致認為這是一件非常有意義的事情，表達愿意來承擔。譯稿是由我的四位學生趙申劍、黎彧君、符天凡和李凱獨立完成的。申劍和天凡是二年級的碩士生，而李凱和彧君則分別是二年級和三年級的直博生。雖然他們在機器學習領域都還是新人，其知識結構還不全面，但是他們熱情高漲、勤于學習、工作專注、執行力極強。他們通過重現書中的算法代碼和閱讀相關文獻來加強理解，在不到三個月的時間就拿出了譯著的初稿，之后又經過自校對、交叉校對等環節力圖使譯著保持正確性和一致性。他們自我協調、主動攬責、相互謙讓，他們的責任心和獨立工作能力讓我倍感欣慰，因而得以從容。

由于我們無論是中文還是英文能力都深感有限，譯文恐怕還是有些生硬，我們特別擔心未能完整地傳達出原作者的真實思想和觀點。因此，我們強烈地建議有條件的讀者去閱讀英文原著，也非常期待大家繼續指正譯著，以便今后進一步修訂完善。我懇請大家多給予4位譯者以鼓勵。請把你們對譯著的批評留給我，這是我作為他們的導師必須要承擔的，也是我對王峰松先生的信任做出的承諾。

當初譯稿基本完成時，我們決定把它公開在GitHub上，希望通過廣大讀者的參與來完善譯稿。令人驚喜的是，有上百位熱心讀者給予了大量富有建設性的修改意見，其中有20多位熱心讀者直接幫助潤色校對（詳見中文版致謝名單）?？梢哉f，這本譯著是大家共同努力的結晶。這些讀者來自一線的工程師和在校的學生，從中我領略到了他們對深度學習和機器學習領域的摯愛。更重要的是，我感受到了他們開放、合作和奉獻的精神，而這也是推動人工智能發展不可或缺的。因此，我更加堅定地認為中國人工智能發展的希望在于年青學者，唯有他們才能讓我國人工智能學科在世界有競爭力和影響力。

江山代有人才出，各領風騷數十年！

張志華代筆

2017年5月12日于北大靜園六院