1.1　深度學習革命

為了理解深度學習帶來的范式轉變，讓我們回顧一下其發展歷程。過去10年，被稱為機器學習的一類系統重度依賴于特征工程。特征是對輸入數據的轉換，它有助于下游算法（如分類器）在新數據上產生正確的結果。特征工程包括提出正確的轉換，以便下游算法能夠完成任務。例如，為了在手寫數字的圖像中區分1和0，我們會利用一組過濾器來判斷圖像上的邊緣方向，然后訓練一個分類器，在給定邊緣方向分布的情況下預測正確的數字。另一個有用的特征可能是封閉圓圈的數量，比如對于數字0和8，特別是對于有2個圈的數字8。

另一方面，深度學習實現的是從原始數據中自動找到這樣的表征，以便成功執行任務。在區分1和0的例子中，過濾器會在訓練中通過迭代地查看成對的例子和目標標簽來改進。這并不是說特征工程不適合深度學習，反而我們經常需要在學習系統中注入某種形式的先驗知識。無論怎樣，神經網絡提取數據并根據實例提取有用表征的能力，正是深度學習如此強大的原因。深度學習實踐者的重點不是手工制作這些表征，而是操作數學實體，以便能夠自動地從訓練數據中發現表征。通常，這些自動創建的表征比手工創建的更好！與許多顛覆性技術一樣，這一事實導致了視點的轉變。

在圖1.1的右側，實踐者通過深度學習，將原始數據輸入到一個自動抽取分層特征的算法中，以優化算法在任務上的表現為目標，其結果將與實踐者自己定義特征工程驅使算法實現其目標一樣好。

通過圖1.1的右側，我們已經大致了解了成功執行深度學習任務需要做些什么。

• 我們需要一種方法來提取我們手頭的所有數據。
• 我們需要定義深度學習機。
• 我們需要通過一種自動化的訓練方法來獲得有用的表征，并使機器產生預期的輸出。

讓我們更詳細地了解一下我們一直提到的訓練問題。在訓練期間，我們使用一個評判標準、一個模型輸出的實值函數和一份參考數據，給模型的期望輸出和實際輸出之間的差異提供一個分數（通常分數越低越好）。訓練包括通過逐步修改我們的深度學習機，甚至是在訓練過程中沒有看到的數據，從而使評判標準的分數越來越低，直到它獲得較低的分數。

圖1.1　隨著數據和計算需求的增加，深度學習不再需要手工提取特征