2.4　神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡（Artificial Neural Network），簡稱神經(jīng)網(wǎng)絡，是由一些具有適應性的簡單單元組成的連接網(wǎng)絡，能夠通過模擬生物神經(jīng)系統(tǒng)對真實世界物體所做出的交互反應。

之前討論的線性模型，比如線性回歸和對數(shù)概率回歸，是非常好用的模型，可以通過解析解或者優(yōu)化方法，實現(xiàn)高效且可靠的擬合。但是這種方法對非線性關系有很大的局限性，并且無法處理變量與變量之間的關系。為了擴展線性模型，之前提到過使用一個非線性的連接函數(shù)將輸出與最終目標相聯(lián)系。剩下的問題就是如何選擇這樣一個非線性的連接函數(shù)。其中一種方法是選擇使用一個通用的連接函數(shù)，這個函數(shù)有足夠高的維度，有足夠的能力來擬合訓練數(shù)據(jù)集，但是這樣得到的結果往往會過擬合，有很大的泛化誤差。另一種方法是手動地設計連接函數(shù)，在深度學習出現(xiàn)以前，這是比較主流的方法，但是由于這種方法需要對每個單獨的任務進行研究，往往需要很多的時間與經(jīng)驗，并且各個任務上使用的連接函數(shù)不能跨任務使用。最后一種方法就是即將要討論的神經(jīng)網(wǎng)絡的方法，本節(jié)將先介紹神經(jīng)元模型的基本結構，然后介紹前饋神經(jīng)網(wǎng)絡及反向傳播算法的理論推導，最后介紹深度學習的概念。