1.2　深度學習

1.2.1　機器智能的神經網絡方法

人腦含有約860億個神經元，還有大致850億個非神經細胞。在大腦皮層（Cortex）約有160億個神經元，小腦有690億個神經元。人腦的神經元一般只與周圍幾千個神經元相連接，彼此能夠傳導電信號。

要讓機器代替人腦工作，最直觀的方法就是用機器來模擬人腦的工作行為。但是要模擬這些人腦工作的原理有難度。

首先，人腦作為一個系統，太復雜，涉及生物學、生理學、化學等學科知識；其次，至今人們還未徹底理解人腦的各個功能的工作機理。當然，確實有研究人員是沿著這個思路去實現機器智能的。

那是否還有別的思路呢？其實思路也挺多的，這里有一種稱為人工神經網絡（Artificial Neural Networks）的方法，最近在實踐中被證明是有效的方法。這種方法又稱為連接主義（Connectionism)，其核心思想是通過大量簡單計算單元連接起來的網絡來實現復雜的智能行為。

這種方法首先是用數學方法來抽象出單個神經元（Neuron）的功能，構建出單個人工神經元的模型。其次，在單個神經元建模的基礎上，參考人腦中神經元的連接方式，構建人工神經網絡。最后，通過輸入數據樣本給神經網絡訓練，調整神經網絡的參數，使其完成具有某些智能的任務（如眼睛看、耳朵聽等）。

1.2.2　人工神經元與人工神經網絡

對于單個神經元的活動原理，目前已經有比較深入的研究。不論何種神經元，從功能上可以分為接收區域（Receptive Zone）、觸發區域（Trigger Zone）、傳導區域（Conducting Zone）和輸出區域（Output Zone）。

這里給出人工神經元的數學抽象模型，也稱為邏輯斯提回歸單元（Logistics Regression Unit）。人工神經元模型如圖1-2所示，這種結構又稱為McCulloch-Pitts神經元。它將n個輸入加權求和后，經過變換f(x)輸出。邏輯斯提回歸單元的f()函數就是邏輯斯提函數（Logistics Function）。

將這些單個人工神經元聯網，形成復雜的人工神經網絡結構，并可以不斷擴大網絡的層數（又稱為深度）和人工神經元的數目，如圖1-3所示。

以上架構人工智能的神經網絡方法，就是典型的連接主義的方法，現在稱為深度學習的方法，在有大量的訓練數據和超大計算能力的情況下，在工業實踐中被證明是有效的。

這里需要注意：深度學習使用的神經網絡，本質上是一個函數變換的數學模型，和生物中的神經元與神經網絡已經沒有什么關系了。

基于人工神經網絡的人工智能技術的發展，并非一帆風順。過去經歷了兩次高潮和兩次低谷。

隨著1957年羅森布賴特提出了感知機（Perceptron）的概念，掀起了第一次人工神經網絡的熱潮。由于受當時計算機的計算能力限制，20世紀70年代進入了低谷。

1986年，隨著霍普菲爾德神經網絡與BP算法的提出，掀起了第二次人工神經網絡的熱潮。這次由于人工智能計算機的研制失敗，20世紀90年代再次進入了低谷。

2006年，多倫多大學的Geoffrey Hinton提出了深度神經網絡和訓練方法。

2011年，深度神經網絡在TIMIT語音識別上實現了突破。

2013年，深度神經網絡在圖像識別上取得了重大進展。

2013年，深度學習被列為《麻省理工學院技術評論》的十大突破性技術之首。

目前，人工神經網絡正進入第三次熱潮。回顧過去，人們發現主要原因是當時的計算機的計算能力不夠，用于訓練的數據樣本量不足，造成期望與實際效果之間有較大差別。隨著計算硬件技術的進步，云計算和網絡所支持的計算能力的大規模提升，再加上基于大數據的機器學習的算法進步，基于神經網絡的人工智能方法得到復興。

1.2.3　神經網絡的復興

深度學習（Deep Learning）是深度神經網絡（Deep Neural Networks)的另一個名稱。深度學習的核心是深度神經網絡的設計與訓練，采用層級更深、參數規模更大的神經網絡。

深度神經網絡的興起在于三位領軍人物的不懈追求。他們是Geoffrey Hinton(多倫多大學教授)、Yoshua Bengio（蒙特利爾大學教授）和Yann LeCun（紐約大學教授），見圖1-4。Geoffrey Hinton參與提出了反向傳播算法BP，Yoshua Bengio提出了Autoencoder和機器翻譯的GRU等方法，Yann LeCun提出了用卷積網絡識別手寫體的方法。

這次深度學習普及的引發點始于2012年，由Geoffrey Hinton指導博士生Alex Krizhevsky和Ilya Sutskever采用深度卷積網絡（AlexNet），在ILSVRC-2012圖像分類（Image Classification）挑戰賽的突破性的成績，使準確率大幅度提升。