1.4.2　深度學習獨領風騷

機器學習有很多經典算法，其中有一個叫作神經網絡的算法。神經網絡最初是一個生物學的概念，一般是指大腦神經元、觸點、細胞等組成的網絡，用于產生意識，幫助生物思考和行動，后來人工智能受神經網絡的啟發，發展出了人工神經網絡。人工神經網絡是指由計算機模擬一層一層的神經元組成的系統。這些神經元與人類大腦中的神經元相似，通過加權連接相互影響，并且通過改變連接上的權重，可以改變神經網絡執行的計算。

最初的神經網絡是感知器（Perceptron）模型，可以認為是單層神經網絡，但由于感知器算法無法處理多分類問題和線性不可分問題，當時計算能力也落后，因此對神經網絡的研究沉寂了一段時間。2006年，Geoffrey Hinton在科學雜志Science上發表了一篇文章，不僅解決了神經網絡在計算上的難度，同時也說明了深層神經網絡在學習上的優異性。深度神經網絡（Deep Neural Network，DNN）的深度指的是這個神經網絡的復雜度，神經網絡的層數越多，就越復雜，它所具備的學習能力就越深，因此我們稱之為深度神經網絡。從此神經網絡重新成為機器學習界主流強大的學習技術，同時具有多個隱藏層的神經網絡被稱為深度神經網絡，基于深度神經網絡的學習研究稱為深度學習。

如圖1-1所示，神經網絡與深度神經網絡的區別在于隱藏層級，神經網絡一般有輸入層→隱藏層→輸出層，一般來說隱藏層大于2的神經網絡叫作深度神經網絡，深度學習就是采用像深度神經網絡這種深層架構的一種機器學習方法。它的實質就是通過構建具有很多隱藏層的神經網絡模型和海量的訓練數據來學習更有用的特征，從而最終提升分類或預測的準確性。

圖1-1

有計算機界諾貝爾獎之稱的ACM A.M.圖靈獎（ACM A.M. Turing Award）公布2018年獲獎者由引起這次人工智能革命的三位深度學習之父—蒙特利爾大學教授Yoshua Bengio、多倫多大學名譽教授Geoffrey Hinton、紐約大學教授Yann LeCun獲得，他們使深度神經網絡成為計算的關鍵。ACM這樣介紹他們三人的成就：Hinton、LeCun和Bengio三人為深度神經網絡這一領域建立起了概念基礎，通過實驗揭示了神奇的現象，還貢獻了足以展示深度神經網絡實際進步的工程進展。

Google的AlphaGo與李世石九段驚天動地的大戰，AlphaGo以絕對優勢完勝李世石九段，擊敗棋圣李世石的AlphaGo所用到的算法實際上就是基于神經網絡的深度學習算法。在自然語言處理領域，深度學習技術已經取得了很多重大突破。這些深度學習模型可以對大量的文本數據進行自動學習，自動生成豐富的語言表示，這些表示可以被用來解決多種自然語言處理任務，如火爆的ChatGPT的技術架構就是深度學習模型。人工智能、深度學習成為這幾年計算機行業、互聯網行業最火的技術名詞。