序

人工智能（Artificial Intelligence，AI）已無處不在。不信的話，掏出你口袋里的智能手機，一切便不證自明——我們的手機能提供基于人臉識別的安全服務，能識別簡單的語音指令，能在人像模式下自動模糊背景，還能偷偷學習我們的喜好以提供個性化服務。通過分析海量數據，AI模型可以創造疫苗，可以改進機械操作，可以創造自動駕駛車輛，可以利用量子計算的強大算力，甚至當你在網絡上下棋的時候，可以自動匹配與你棋藝相當的對手與你對決。整個工業界都在轉型，只為更好地讓本領域的專業知識，能與最前沿的AI技術結合發揮價值。而學術界也不甘落后，如今各學位的課程，都會盡量涉及人工智能的相關概念。機器驅動的認知自主時代正在到來，此刻我們所有人都已是AI的消費者。你若還對AI的發展感興趣，就有必要理解是哪項AI技術在過去數十年得到了顯著提升，那就是深度學習。深度學習是機器學習的一個分支領域，它能夠利用極深的神經網絡對復雜問題建模，而這些復雜問題往往難以用傳統的分析模型來解決。AI技術早在20世紀50年代就已經被艾倫·圖靈提出，但正是人們對深度神經網絡的改進才導致近來AI的重大發展。如果說深度學習是AI發展的關鍵引擎，那么深度學習本身的引擎是什么呢？

深度學習的核心概念涉及自然科學、工程技術和數學。各家公司一直在試圖給出其正式定義，但難以涵蓋方方面面，以至于當他們想招聘該領域頭部人才的時候，只好將職位要求描述得非常寬泛。與此類似，這一領域的學術課程，往往需要跨不同學科，才能讓學生習得所需的技能。盡管在實戰中，運用深度學習技術需要跨不同領域的學科知識，但其核心仍建立在數學理論的基礎上，包括概率論、統計學、線性代數和微分。至于對這些數學基礎理論要掌握和理解到什么程度，就要看你希望對深度學習技術精通到何種程度了。

本書致力于為深度神經網絡的工作人員在實施算法的過程中遇到的各種挑戰提供解決方案。他們通常遇到的挑戰在于如何有效地利用現有方案解決問題，比如去哪里找尋源代碼、如何設置工作環境來運行代碼、如何進行單元測試，以及最終如何用業務數據訓練模型來解決實際問題。這些深度神經網絡可能有數千萬甚至上億的參數需要學習，而且即便是精通算法的研究員，也需要在有充足訓練樣本的情況下，通過精細化的調參才能實現有效優化，達到對數據的良好表征。初次（第二次、第三次也一樣）實現模型的時候，他們通常會經歷痛苦的網絡最優結構的搜索過程，而只有具備對底層數學原理的高水平理解的人才能勝任這些工作。

而當算法人員開始對整個方案進行整合的時候，他們就要進一步提高專業度，不僅要熟悉本領域的知識，也要理解深度學習的底層基礎模塊。此時，他們所面臨的挑戰將不只是簡單的算法實現，而且需要運用核心概念對目標領域的問題建模。挑戰再次降臨！他們可能面臨梯度爆炸的問題，也可能為了更好地對問題建模而不得不修改損失函數，卻又發現損失函數不可微（也就無法進行梯度計算），抑或在訓練模型的時候發現優化算法效率太低。本書為這些人填補了空白。通過清楚地闡述深度學習所需的核心數學概念，本書可以幫助他們解決這些困難。

對核心概念理解到一定程度以后，開發者不僅能對算法進行整合，也能對算法提出創新。一旦有了創新，往往就需要對成果進行傳播。這時候，開發者可能要離開開發崗位，花時間去做一些宣傳、展示甚至很多具有教育性質的工作。他們還可能需要一本隨時可以參考的手冊，以便時常溫習AI領域能取得進展所依賴的核心理論基礎，同時提升個人影響力。

由于以上方方面面的因素，深度學習的開發人員在工作中需要涉及的知識體系極為龐大，但每個知識點通常又只是解決特定問題，如果不加以約束，開發者將難以聚焦于需要關注的問題點。紐塞爾博士在使用機器學習和深度學習解決圖像生成和分析問題方面擁有15年以上的從業經驗，他想通過本書強調并鞏固讀者最需要掌握的核心技能——運用神經網絡解決問題所必備的核心數學基礎。當然，沒有任何一本書可以包羅萬象，本書著眼于運用 AI 技術所需數學技能的概述型描述，如果需要探究統計學、線性代數、微分等學科的更深層知識，請參考其他資料以獲得所需內容。

德里克·J.瓦爾伍爾德（Derek J. Walvoord）