1.3　機器學習

1.3.1　機器學習的基本原理

深度神經網絡是機器學習（Machine Learning）的一個分支。為了深入理解深度學習，我們有必要對機器學習的背景進行介紹。

機器學習的一個基本定義：給定一個計算機任務T和一個對任務T的性能度量P，在給出經驗集E的前提下，計算機任務T在性能度量P上有所提升。這個利用經驗集E提升任務T的性能P的方法就是機器學習。

一般機器學習的原理如圖1-5所示。機器學習是用數據訓練模型，用模型進行預測，根據反饋產生數據，更新模型和數據。所以，機器學習包括數據、模型與算法3個方面。

自2012年以來，基于深度學習的圖像分類方法AlexNet在ILSVRC 2012比賽中的突破性表現，引起了各方關注，使人工智能得到新的發展。

在過去的幾年里，深度學習在解決語音識別與圖像處理等機器感知問題方面，表現優越，甚至超過人類的水平。目前，深度學習還在嘗試解決自然語言理解、推理、注意和記憶（RAM）等機器認知相關的問題。

現在的業界認為實現通用人工智能（強人工智能）的一種途徑是深度學習和深度增強學習。

1.3.2　機器學習泛化能力

廣義上講，機器學習的成功依賴于它的泛化能力（Generalization）。通過在訓練數據上的學習，然后能夠推廣到新的數據集上的能力稱為泛化。

泛化后與正確的分類結果產生的誤差稱為泛化誤差（Generalization Error，GE）。用數學公式表示為

GE＝AE＋EE＋OE

其中，逼近誤差（Approximation Error，AE）是指由于模型規模方面而產生的誤差，要想減少這部分誤差，需要擴大模型規模。

估計誤差（Estimation Error，EE）是指由于數據集規模而產生的誤差，要想減少這部分誤差，需要增加可用數據的規模。

優化誤差（Optimization Error，OE）是指由于算法設計而產生的誤差，要降低這部分誤差，需要設計更優的算法。

1.3.3　大數據是深度學習的基礎

傳統機器學習方法主要涉及數據、模型和算法3個方面。傳統機器學習方法多采用手工或人為的特征選取，隨著訓練數據規模的提高，這種方法的提升效果就不明顯了。而以深度學習為代表的方法，隨著訓練數據規模的擴大，提升效果顯著，大大超過了傳統機器學習方法。這種差異在語音識別、圖像分類等機器感知類的任務上的體現尤其顯著，如圖1-6所示。

神經網絡通過擴展網絡結構的深度，擴大規模，甚至可以不斷擴展下去，而且擴展之后所帶來的效果是穩步提升的。通過規模的擴展，或者是提升網絡的深度，是改進深度學習效果的途徑。