1.3.4　深度網絡

2019年3月27日，美國計算機學會（ACM）發表聲明稱，三位計算機科學家因其在深度學習方面的成就被授予圖靈獎（ACM Turing Award）。他們是Yoshua Bengio、Yann LeCun和Geoffrey Hinton，都是很有成就的科學家。他們的一個主要貢獻就是提出了反向傳播學習算法。

美國計算機學會的官方聲明這么評價Hinton博士和他的一篇奠基性論文（Rumelhart,D.E.，1985）：

在1986年與David Rumelhart和Ronald Williams合著的一篇論文“Learning Internal Representations by Error Propagation”中，Hinton證明了反向傳播算法能夠讓神經網絡獲得自己內部的數據表示，可以使用神經網絡來解決問題，而以前人們認為這是無能為力的。反向傳播算法是當今大多數神經網絡的標準算法。

類似地，美國計算機學會的官方聲明這么評價LeCun博士的論文（LeCun,Y.,et.al.,1998）：

LeCun提出了一個早期版本的反向傳播算法（backprop），并根據變分原理給出了一個清晰的推導。他的工作加速了反向傳播算法，提出了兩種簡單的方法來縮短學習時間。

Hinton博士證明了存在一種方法可以使神經網絡中的損失函數最小化，這種方法使用的是受生物學啟發的算法，比如通過修改連接對特定神經元的重要性來反向或正向調整連接。通常，反向傳播與前饋神經網絡有關，而后向–前向傳播與受限玻爾茲曼機有關（將在第10章中介紹）。

前饋神經網絡是一種輸入通過沒有反向連接的中間層直接流向輸出層的神經網絡，如圖1.8所示，我們將在本書中一直討論前饋神經網絡。

我們通常可以假設，除非是其他情況，否則所有的神經網絡都有一個前饋結構。本書的大部分內容都將討論深度神經網絡，其中絕大多數都是類前饋的，除了諸如受限玻爾茲曼機或循環神經網絡之類的神經網絡。

反向傳播使人們能夠以一種前所未見的方式訓練神經網絡，然而，在大型數據集和更大（更深）的架構上訓練神經網絡則會存在問題。如果你去看20世紀80年代末90年代初的神經網絡論文，會發現網絡架構的尺寸都很小：網絡通常不超過兩到三層，神經元的數量通常不超過數百的數量級。這些網絡（今天）被稱為淺層神經網絡。

主要的問題是訓練算法運行更大數據集所需要的收斂時間，以及用于訓練更深層次網絡模型所需要的收斂時間。LeCun博士的貢獻正是在這個領域，因為他設想了以不同的方式來加快訓練過程。其他的進步，如圖形處理單元（GPU）上的向量（張量）計算也極大地提高了訓練速度。

因此，在過去的幾年里，我們看到了深度學習的興起，也就是訓練深度神經網絡的能力，從三層到四層，再從幾十層到幾百層。此外，我們可以使用各種各樣的程序架構完成過去十年無法完成的事情。

圖1.10所示的深度網絡在30年前是不可能訓練的，現在看，它也不算很深。

圖1.10　一個八層的深度及全連接的前饋神經網絡

在本書中，我們將研究深度神經網絡，即總體上超過三層或四層的網絡。然而，對于到底有多深才算是深度，并沒有一個標準的定義。同時，你需要考慮到，到了二三十年之后，我們今天認為是深度的算法可能不會被認為是深度的。

不管DL的未來如何，現在讓我們討論一下到底是什么原因使得DL在現代社會中變得如此重要。