譯者序

正如本書作者羅納德·T. 紐塞爾博士所言，“人工智能已無處不在”。自從2011年微軟提出的基于DNN的深度神經(jīng)網(wǎng)絡(luò)取得語音識別領(lǐng)域的重大突破，人工智能的發(fā)展便一發(fā)不可收：AlexNet在計算機(jī)視覺領(lǐng)域開啟新紀(jì)元，RNN和Transformer重新定義了對自然語言的理解，強(qiáng)化學(xué)習(xí)模型擊敗圍棋大師的新聞家喻戶曉……這一切都離不開過去十多年深度學(xué)習(xí)的飛速發(fā)展。

想要在深度學(xué)習(xí)這一研究領(lǐng)域取得突破，理解其背后數(shù)學(xué)原理至關(guān)重要。2021年11月，紐塞爾博士出版了這本面向深度學(xué)習(xí)從業(yè)人員的數(shù)學(xué)基礎(chǔ)教材。該書一經(jīng)推出便廣受好評。對于想要從事人工智能領(lǐng)域或使用深度學(xué)習(xí)技術(shù)解決手頭問題，但缺乏數(shù)學(xué)基礎(chǔ)，亦不知如何以最小代價補(bǔ)齊數(shù)學(xué)短板的人而言，這本書無疑能提供巨大的幫助。畢竟，實際任務(wù)的復(fù)雜性、數(shù)據(jù)分布的多樣性、模型訓(xùn)練過程的不確定性、目標(biāo)函數(shù)的靈活性等，都可能導(dǎo)致實際項目的失敗。

紐塞爾博士擁有20年左右的機(jī)器學(xué)習(xí)從業(yè)經(jīng)驗，甚至在風(fēng)靡一時的AlexNet提出之前就已經(jīng)開始從事深度學(xué)習(xí)的研究。在翻譯這本書的過程中，我能深刻體會到作者在這一領(lǐng)域擁有的扎實理論功底和豐富實戰(zhàn)經(jīng)驗，這也使本書既不會過于深奧而導(dǎo)致門檻過高，又充分保留了重要細(xì)節(jié)以確保讀者能真正理解關(guān)鍵內(nèi)容。更難能可貴的是，本書中的代碼示例設(shè)計非常精巧，既能讓讀者快速理解抽象的數(shù)學(xué)概念，又有極強(qiáng)的可用性，能直接在實際工作中參考。

本書的主要內(nèi)容可分為兩部分。第一部分主要介紹理解深度學(xué)習(xí)所必備的如下數(shù)學(xué)基礎(chǔ)。

? 概率論與統(tǒng)計學(xué)的核心內(nèi)容。實際上，傳統(tǒng)機(jī)器學(xué)習(xí)就基于統(tǒng)計學(xué)的數(shù)據(jù)模型和求解算法，而現(xiàn)代深度學(xué)習(xí)中也保留了大量的機(jī)器學(xué)習(xí)思想，例如變分自編碼器中關(guān)于變分推斷的思想，以及生成對抗網(wǎng)絡(luò)中關(guān)于分布擬合的技術(shù)等。

? 線性代數(shù)的關(guān)鍵知識點(diǎn)。這些內(nèi)容是開啟深度學(xué)習(xí)技術(shù)大門的一把鑰匙。神經(jīng)網(wǎng)絡(luò)是一系列矩陣運(yùn)算和非線性映射的組合，理解線性代數(shù)和矩陣分析的本質(zhì)，才更容易洞察神經(jīng)網(wǎng)絡(luò)的工作機(jī)制。

? 關(guān)于微分尤其是函數(shù)求導(dǎo)和矩陣微分的知識。這些內(nèi)容對于理解網(wǎng)絡(luò)如何利用梯度的反向傳播進(jìn)行參數(shù)更新至關(guān)重要。理解了它們，才能夠根據(jù)需要靈活對目標(biāo)函數(shù)進(jìn)行優(yōu)化或設(shè)計。

本書第二部分介紹深度神經(jīng)網(wǎng)絡(luò)的工作機(jī)制以及網(wǎng)絡(luò)得以成功訓(xùn)練的關(guān)鍵技術(shù)，包括神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)流、反向傳播機(jī)制和梯度下降算法。

? 神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)流描述了輸入網(wǎng)絡(luò)的數(shù)據(jù)如何一步步到達(dá)輸出。作者既闡述了傳統(tǒng)網(wǎng)絡(luò)的情況，也介紹了卷積網(wǎng)絡(luò)中卷積層、池化層和全連接層的工作機(jī)制。

? 在關(guān)于反向傳播機(jī)制的內(nèi)容中，作者介紹了如何通過數(shù)據(jù)圖模型，根據(jù)微分的鏈?zhǔn)椒▌t，對目標(biāo)函數(shù)進(jìn)行參數(shù)優(yōu)化。掌握這些內(nèi)容后，讀者甚至可以自己實現(xiàn)一個簡單的底層網(wǎng)絡(luò)。

? 關(guān)于梯度下降算法，作者介紹了SGD、Adam等深度學(xué)習(xí)中解決無約束優(yōu)化問題的經(jīng)典核心算法。深刻理解這些算法能幫助讀者在實戰(zhàn)中快速定位問題，讓網(wǎng)絡(luò)得以正常訓(xùn)練。

我非常感謝人民郵電出版社的王峰松先生邀請我負(fù)責(zé)本書的中文翻譯，也非常感謝郭泳澤先生后期對本書的精心修改和編排。在翻譯本書的過程中，我時常從字里行間感受到作者的認(rèn)真負(fù)責(zé)，以及對問題的深入思考，這些都促使我將本書真實、完整地呈現(xiàn)給中文讀者。然而，凡事總有疏漏，如果讀者發(fā)現(xiàn)本書的翻譯未能準(zhǔn)確傳達(dá)作者本意，我懇請得到來自讀者的更正，也會在未來的修訂版中不斷完善，力求完美。

辛愿

2022年8月8日于深圳騰訊濱海大廈