1.1.1 機器學習簡史

機器學習是一門不斷發展的學科，雖然在近些年才成為一個獨立學科，但機器學習的起源可以追溯到20世紀30年代以來人工智能的符號演算、邏輯推理、自動機模型、模糊數學及神經網絡的誤差逆傳播算法（Back Propagation Algorithm,BP，也叫反向傳播算法）等。雖然這些技術在當時并沒有被冠以機器學習之名，但時至今日它們依然是機器學習的理論基石。從學科發展過程的角度思考機器學習，有助于讀者理解目前層出不窮、日益復雜的各類機器學習算法。機器學習的大致演變過程如表1-1所示。

表1-1 機器學習的大致演變過程

續表

機器學習的發展也可分為知識推理期、知識工程期、淺層學習（Shallow Learning）和深度學習（Deep Learning）幾個階段。知識推理期始于20世紀50年代中期，這時候的人工智能主要通過專家系統賦予計算機邏輯推理能力，赫伯特·西蒙和艾倫·紐厄爾實現的自動定理證明了邏輯學家拉賽爾（Russell）和懷特黑德（Whitehead）編寫的《數學原理》中的52條定理。20世紀70年代開始，人工智能進入知識工程期，費根鮑姆作為“知識工程之父”在1994年獲得了圖靈獎。由于人工無法將所有知識都總結出來教給計算機系統，因此這一階段的人工智能面臨知識獲取的瓶頸。實際上，在20世紀50年代，就已經有機器學習的相關研究，代表性工作主要是羅森布拉特基于神經感知科學提出的計算機神經網絡（即感知機）。在隨后的10年中，淺層學習的神經網絡曾經風靡一時，特別是馬文·明斯基提出了著名的 XOR 問題和感知機線性不可分的問題。由于當時計算機的運算能力有限，多層網絡訓練困難，模型通常都是只有一層隱層的淺層模型，各種各樣的淺層機器學習模型相繼被提出，在理論分析和應用方面都產生了較大的影響，但是理論分析的難度和訓練方法需要很多經驗和技巧。隨著 k 近鄰（K-Nearest Neighbor,KNN）等算法的相繼提出，淺層模型在模型理解、準確率、模型訓練等方面被超越，機器學習的發展幾乎處于停滯狀態。

2006年，辛頓發表了深度信念網絡論文，本希奧等人發表了論文“Greedy Layer-Wise Training of Deep Networks”（深層網絡的貪婪層智慧訓練），楊立昆團隊發表了論文“Efficient Learning of Sparse Representations with an Energy-Based Model”（基于能量模型的稀疏表示的高效學習），這些事件標志著人工智能正式進入了深層網絡的實踐階段。同時，云計算和 GPU （Graphics Processing Unit，圖形處理單元）并行計算為深度學習的發展提供了基礎保障。近年來，機器學習在各個領域都取得了突飛猛進的發展。

新的機器學習算法面臨的主要問題更加復雜，機器學習的應用領域從廣度向深度發展，這對模型訓練和應用都提出了更高的要求。隨著人工智能的發展，馮·諾依曼式的有限狀態機的理論基礎越來越難以應對目前神經網絡中層數和參數增加的要求，這些都對機器學習提出了挑戰。借助量子計算的高并行性，量子機器學習可以優化傳統機器學習的效率。