1.2 機器學習發展歷程
機器學習作為人工智能的一個重要研究領域隨著人工智能的產生而產生，并且隨著人工智能理論的發展而發展。目前，機器學習理論大致分為連接學習、符號學習和統計學習這三種基本類型。符號學習和連接學習分別源自人工智能的符號主義和連接主義，統計學習則源自符號學習中的歸納學習。從歷史上看，連接學習是機器學習最初采用的策略，感知機和神經網絡是機器學習初創時期的代表性成果。20世紀80年代，隨著人工智能符號主義的發展，符號學習逐步成為機器學習的主流技術。20世紀90年代以來，統計學習方法逐步走向成熟，并以其巨大理論創新和良好應用效果逐步取代符號學習成為機器學習的研究熱點。近年來，得益于計算機運算能力的巨大提升和數據量的快速增長，以深度學習為代表的連接學習再次興起，涌現出一大批優秀的理論和應用成果。統計學習和深度學習的巨大成功使得人工智能全面進入機器學習時代，并成為引領社會未來的戰略性技術。
1.2.1 感知機與連接學習
人工智能最早期的探索是從模仿人類或動物大腦的生物結構開始的。人類或動物大腦神經系統最基本的組成結構是神經元，相互連接的多個神經元通過相互傳送某些化學物質以改變電位的方式來實現信息傳遞與交互。麥卡洛克和皮茨在1943年發表論文《神經活動中內在思想的邏輯演算》（A Logical Calculus of the Ideas Immanent in Nervous Activity），首次提出模擬生物神經元的數學模型，名為M-P模型。圖1-10表示該模型的基本結構，其中{x1，…，xm}為m個模型輸入變量，xi∈（0，1），θ為閾值，模型輸出y有兩種可能的取值狀態：當
時，y=1；否則，y=0。
圖1-10 M-P模型示意圖
M-P模型是對單個神經元的簡單模擬，模型的輸出值僅為0或1，沒有區分m個輸入在重要性方面的差異，不能很好地體現神經元對外部環境變化的自適應性。為此，赫布在1949年提出赫布學習規則，指出神經系統在對一個信號進行響應的同時，相關被激活神經元之間的聯系也會隨之得到增強，各單個神經元的輸入之間應存在某種重要性差別。為此，赫布對M-P模型進行改進，對其m個輸入變量{x1，…，xm}添加了權重信息，使得M-P模型能夠根據實際情況自動修改這些權重以達到模型優化或機器學習的目的。這是機器學習最早期的思想萌芽。
人類或動物大腦的神經網絡是一種由大量神經元通過層級連接構成的復雜網絡。通過模仿生物大腦神經網絡結構的方式實現機器智能是人工智能研究的一個基本思想，稱為人工智能的連接主義思想，簡稱為連接主義。連接主義分別將每個神經元模型作為一個簡單的獨立計算單元，并按照一定的結構和規則對多個神經元模型進行組合和連接，形成一個復雜龐大的神經元網絡模型用于模擬生物大腦的神經網絡，實現人工智能。
基于連接主義思想和赫布學習規則，羅森布拉特在1957年提出一種名為感知機的神經網絡模型。如圖1-11所示，該模型根據連接主義思想將多個神經元模型進行分層互聯，基于赫布學習規則通過使用樣例信息調整連接權重的方式實現模型優化。這種使用樣例信息調節神經元之間連接權重的學習方式被稱為連接學習。連接學習是機器學習初創時期的基本學習理論，感知機和神經網絡模型是機器學習早期的代表性成果。
圖1-11 單層感知機示意圖
圖1-11所示的感知機模型包括輸入層與輸出層，但只有輸出層參與數值計算，故亦稱為單層感知機。單層感知機可用于二分類任務，若存在超平面可以將兩類樣本分隔開來，則單層感知機有能力確定一個這樣的超平面，圖1-12表示單層感知機的分類效果，但若兩類樣本不能通過簡單超平面進行劃分，則單層感知機亦無能為力。
單層感知機能夠完成一些簡單的視覺處理任務，在當時引起了社會各界的廣泛關注。然而，單層感知機的實際能力卻名過其實。明斯基在其出版的著作《感知機：計算幾何學導論》中證明單層感知機難以解決簡單的異或分類問題。這使得單層感知機的實際能力被當時的社會所質疑，連接學習和連接主義的研究隨之陷入低谷。
沃波斯在1974年提出多層感知機模型，有效解決了單層感知機無法解決的異或分類問題。如圖1-13所示，多層感知機在單層感知機基礎之上添加了一個隱藏層，通過基于反向傳播的連接學習算法優化模型參數，圖中輸入數據+1為線性組合中關于常數項的輸入。然而，沃波斯的多層感知機模型未能給連接學習發展的低谷帶來轉機，其中影響連接學習甚至整個機器學習發展的反向傳播學習算法也未能獲得應有的重視，因為當時整個神經網絡和連接主義的研究正處低谷，基于符號邏輯推理的人工智能符號主義和專家系統的研究正如日中天。
圖1-12 單層感知機的分類效果
圖1-13 多層感知機模型
霍普菲爾德在1982年提出一種新的神經網絡，即霍普菲爾德網絡。它是一種基于神經動力學的神經網絡模型，其連接學習過程可簡單理解為模型穩定狀態的優化搜索過程。霍普菲爾德網絡不僅可以有效解決一大類的模式識別問題，還可以求得一類組合優化問題的近似解，這一成果振奮了連接學習領域。1989年，塞班克在理論上證明了神經網絡模型在本質上是一個通用的逼近函數，其擬合能力十分強大，包含一個隱藏層的神經網絡模型可以逼近任意連續函數，而包含兩個隱藏層的神經網絡模型則可以逼近任意函數。這使得連接學習在理論上又向前邁進了一大步。這些成果使得連接主義和連接學習再次成為研究熱點。
然而，連接學習的研究在20世紀90年代初遭遇發展瓶頸。由于在當時的計算條件下，隨著網絡層數的加深，網絡模型變得難以收斂且超出計算能力，故具有強大擬合能力的淺層網絡是當時最主要的研究對象。然而，關于淺層網絡的理論研究進展緩慢，淺層網絡模型在實際應用中難以取得滿意的效果，連接主義和連接學習的研究再次進入低谷。
1.2.2 符號學習與統計學習
連接主義和連接學習從模擬生物大腦結構出發實現人工智能，這些理論認為智能的基本單元為神經元，智能活動過程則是神經元之間的連接交互過程。這種基于模擬生物大腦結構的人工智能理論并非得到所有人的認可。很多研究者從人類思維內涵和過程出發研究人工智能，建立一套符號主義理論。符號主義認為思維的基本單元是符號信息，智能活動過程就是符號推理或符號計算的過程，生物大腦的本質就是一個能夠高效處理符號信息的物理系統。基于符號主義理論，機器學習發展出另一套學習理論——符號學習。
人工智能的符號主義理論認為，只要機器具備自動的邏輯推理能力便可擁有智能。因此，以謂詞邏輯推理理論為基礎的自動定理證明成為人工智能的重要研究領域。紐厄爾和西蒙等人在1956年編寫完成的名為邏輯理論家的程序是符號主義的代表性成果。該程序自動證明了羅素的著作《數學原理》中的全部52條定理，初步驗證了用計算機來實現人類思維的可行性。紐厄爾和西蒙因這項成果獲得1975年度圖靈獎。
然而，人們逐漸發現僅賦予機器自動邏輯推理能力難以使其具有智能，擁有專業領域知識是實現人工智能不可或缺的條件。為此，費根鮑姆在1965年提出了專家系統的概念，并據此實現了一個名為DENDRAL的歷史上第一個專家系統。在此之后，出現了一大批成功應用于故障診斷、輔助設計等不同專業領域的專家系統，專家系統迅速成為人工智能的研究焦點和主流技術，專家系統的構造也提升到了工程的高度，名為知識工程。費根鮑姆由于在這方面的重大貢獻被人們稱為知識工程之父，并獲得1994年度圖靈獎。
所謂專家系統，是指一個擁有某領域專家級知識、能夠模擬專家思維方式、能夠像人類專家一樣解決實際問題的計算機系統，其基本結構如圖1-14所示。知識庫和推理機是專家系統的兩大核心模塊，推理機依據知識庫提供的專業領域知識進行自動的演繹或歸納推理，獲得所需推理結論實現人工智能。顯然，知識庫的構造是實現專家系統的關鍵要點。
早期專家系統知識庫中的知識是通過人工方式獲取的，經過專業訓練的知識工程師與領域專家進行人工交互獲得專家知識并將其整理成適當的數據結構存入知識庫。這種人工構造知識庫的方式存在如下弊端：
（1）知識庫的普適性差，很多情況下需要針對特定的具體任務構造相應的知識庫，需要頻繁地人工改變知識庫以適應任務的變化。例如，用于識別貓的知識庫不能用于識別狗，如果想用一個識別貓的專家系統來識別狗，就必須手工修改知識庫；
（2）專家對事物的認識有時候具有一定的主觀性，甚至會有一些錯誤，而且不同的專家對同一個事務給出的知識有時會有一些分歧，如何消除專家知識的主觀錯誤或分歧有時候是一件非常困難的事情。
上述弊端很快成為制約專家系統和知識工程進一步發展的瓶頸。20世紀80年代，人們開始意識到讓機器自己從樣本數據中學習所需知識的重要性，并從符號主義的基本理論出發，比較系統地研究機器學習的基本理論和方法，逐步形成一套基于符號計算的機器學習理論和方法，稱為符號學習。
符號學習分為記憶學習、演繹學習和歸納學習這三種基本類型。記憶學習是一種最基本的學習方式，有時亦稱為死記硬背式學習，這種學習只需將知識記錄下來，需要時再做原樣輸出，在本質上是對信息進行存儲和檢索。演繹學習是一種以演繹推理為基礎的學習方式，即從現有知識當中通過由一般到特殊的演繹推理獲得并保存推理結論。歸納學習是一種以歸納推理為基礎的學習方式，試圖從具體示例或樣例中歸納出一般規律。
歸納學習是最重要的一種符號學習方式，研究成果也較為突出。作為符號學習代表性成果的決策樹模型就是基于歸納學習。決策樹模型是一種樹形結構，包含了一個根結點、若干內部結點和若干葉子結點。該模型主要用于表示某種級聯判斷或決策，例如，圖1-15表示一個用于挑選籃球運動員的決策樹模型，其中每個結點對應一次判斷或決策，葉子結點表示判斷或決策的最終結果。可以通過ID3、C4.5和CART等機器學習算法對數據樣本自動構造決策樹模型，構造用于符號推理的知識庫。1995年布瑞曼等人在決策樹模型的基礎上進一步提出了隨機森林模型及相關的機器學習算法，該模型通過構造多棵決策樹并將它們各自的輸出進行組合使模型輸出更具穩定性。
圖1-14 專家系統的基本結構
圖1-15 決策樹模型示例
符號學習在機器學習歷史上長期占據主導地位，基于符號學習方法的專家系統在多個領域獲得成功應用，例如輔助醫療診斷專家系統（MYCIN）、工業指導專家系統（CONPHYDE）等。直到20世紀90年代，基于概率統計理論的統計學習方法逐漸走向成熟，并憑借其理論的完備性和實際應用中的卓越表現取代符號學習成為機器學習的主流方式。
統計學習源于符號學習中的歸納學習，它繼承了歸納學習通過分析數據獲得一般化規律的思想，由基于概率統計的學習理論指導其歸納推理過程。統計學習的目標是理解樣本數據，從樣本數據中發現其內在規律，并利用這些規律去進行預測分析。統計學習的基本策略是假設同一類型的數據滿足一定的統計學規律，并據此使用概率統計工具分析處理數據。
統計學習中最具代表性的成果是支持向量機模型及相關的統計學習算法。該模型由萬普尼克和凱爾特斯在1995年正式提出，是一種基于小樣本統計學習的二值分類器模型，目前已廣泛應用于模式識別、自然語言處理等實際問題并取得較好的實踐效果。
事實上，萬普尼克早在20世紀70年代后期便提出了支持向量機的兩個核心思想，即最大間隔和核方法。所謂最大間隔，是指正負兩類樣本與分離超平面之間的距離最大。如圖1-16a所示，對于一個可用超平面進行樣本分類的線性可分任務，一般都存在無數個分離超平面，其中與兩類樣本的幾何間隔最大的分離超平面具有最強的泛化能力，故而支持向量機所要尋找的分離超平面便是兩類樣本的幾何間隔最大的分離超平面，如圖1-16b所示，其中虛線上面的點表示支持向量，實線表示間隔最大的分離超平面。
最大間隔分離超平面雖然是線性可分任務的最優解，但大部分的二分類任務都是線性不可分的，即不存在任何一個超平面可以將兩類數據完美分隔開來，對于此類任務，核方法便是解決問題的關鍵所在。核方法的基本思想是將低維特征空間當中線性不可分的數據映射到高維特征空間當中，使得這些數據在高維特征空間當中線性可分，如圖1-17a所示，兩類數據在二維平面當中線性不可分，但若利用某一映射將其轉變為圖1-17b中所示的情況，原本線性不可分的分類任務便被轉化為了線性可分的任務，再通過最大間隔思想便可求得泛化性能最佳的分離超平面。
圖1-16 分離超平面與最大間隔分離超平面
a）分離超平面
b）間隔最大的分離超平面
圖1-17 核方法示意圖
a）二維特征空間的數據分布
b）三維特征空間的數據分布
支持向量機具有一套比較完整的理論支撐，已被理論證明具有以下兩方面的優勢：
（1）支持向量機使用的最大間隔思想使得分類器模型只取決于支持向量，模型計算復雜度只與支持向量的數目有關，有效避免了維數災難問題并使支持向量機對訓練樣本的變化具有較強的魯棒性。
（2）支持向量機的核方法在一定程度上避免了直接在高維空間中處理問題，有效降低了問題求解的難度。
20世紀90年代以來，以支持向量機為代表的統計機器學習理論和方法得到蓬勃發展并取代符號學習成為機器學習的主流。在統計機器學習的帶動下，機器學習進入快速發展的階段，研究成果大量涌現，監督學習、無監督學習、半監督學習、強化學習、集成學習、遷移學習等機器學習方法不斷得到發展和完善。這些機器學習方法在計算機視覺、自然語言理解、數據挖掘、經濟決策與預測等多個領域的成功應用使機器學習在人工智能方面的重要性逐步顯現，并將人工智能的發展帶入機器學習時代。
1.2.3 連接學習的興起
進入21世紀，計算機硬件計算能力獲得飛躍發展。特別是英偉達公司（NVIDIA）在2007年推出基于計算統一設備體系結構（Compute Unified Device Architecture，CUDA）的通用圖形處理單元（Graphics Processing Unit，GPU）版大大增強了GPU的開放性和通用性，吸引了大量使用各種編程語言的工程師紛紛使用GPU進行系統開發。人們在2009年開始嘗試使用GPU訓練人工神經網絡，以有效降低多層神經網絡的訓練時間。2010年推出的NVIDIA-480GPU芯片已經達到每秒1.3萬億次浮點運算，能夠很好地滿足多層神經網絡訓練的高速度、大規模矩陣運算的需要，使得連接學習訓練困難的問題得到了很好的解決，也為以深度學習為代表的連接學習的興起奠定了良好的硬件算力基礎。
與此同時，連接學習算法和理論研究取得了重要突破。2006年，辛頓使用逐層學習策略對樣本數據進行訓練，獲得了一個效果較好的深層神經網絡——深度信念網絡，打破了深層網絡難以被訓練的局面。逐層學習策略首先將深層神經網絡拆分成若干相對獨立的淺層自編碼網絡，各個自編碼網絡可以根據其輸入與輸出一致的特點進行無監督學習，由此計算出連接權重；然后通過將多個訓練好的自編碼網絡進行堆疊的方式獲得一個參數較優的深層神經網絡；最后，通過少量帶標注的樣本對網絡進行微調，便可獲得一種性能優良的深層神經網絡，即深度信念網絡。
深度信念網絡以受限玻爾茲曼機（RBM）為基本構件堆疊組建而成。RBM是一種自編碼網絡，其結構如圖1-18所示，包含可視層和隱藏層。圖1-19表示深度信念網絡的堆疊結構，由圖1-19可知，深度信念網絡通過堆疊受限玻爾茲曼機的方式構造，前一個訓練完成的RBM的隱藏層作為后一個RBM的可視層，層層堆疊，由此形成深度信念網絡。
圖1-18 受限玻爾茲曼機（RBM）示意圖
圖1-19 多個RBM堆疊示意圖
用于堆疊的受限玻爾茲曼機通過逐層訓練的方式已經獲得了較優的權重設置，這使得深度信念網絡的初始權重較優，只需利用反向傳播算法對連接權重進行微調即可完成訓練。深度信念網絡在效果上要優于支持向量機，這使得人們將目光再次轉回到連接學習上。為此次連接學習復興做出重要貢獻的辛頓將深層次神經網絡的訓練構造過程命名為深度學習，此后連接學習的理論和應用研究便在深度學習的名號下如火如荼地展開。
在2012年，基于深度卷積神經結構的Alexnet圖像分類模型利用分布式GPU完成了Ima?geNet數據集中海量圖像分類樣本的訓練，在合適的訓練時間長度內取得了較好的訓練效果，贏得了2012年圖像識別大賽的冠軍并實現了識別準確率高達10.8%的提升。ImageNet數據集在普林斯頓大學李飛飛教授主導下，通過眾包平臺Mechanical Turk歷時兩年時間創建，由1500萬個標記圖像組成，分為22000個類別，是當時最大的圖像分類開源數據集，也是各種機器視覺算法的最有力的檢測工具。
卷積神經網絡是一個特殊的神經網絡，它利用卷積操作使得網絡層與層之間采用局部連接方式，這種連接方式不僅可以減少網絡參數，并且更加符合生物神經系統工作的感受野[1]機制。除此之外，卷積神經網絡各層中對不同感受野進行處理時共享同一組參數，這進一步減少了模型參數的數量。Alexnet圖像分類模型的成功表明，通過大量樣本訓練獲得的深層次的卷積神經網絡可以有效解決過擬合問題。這項研究成果使得卷積神經網絡迅速成為模式識別與計算機視覺研究領域的新寵，并涌現出了大批優秀研究成果，例如用于圖像分類任務的GoogleNet，VGG，ResNet等深度卷積網絡模型。目前，面向圖像分類的深度卷積網絡模型已呈百花齊放的發展態勢。
近幾年，人們進一步將深度卷積網絡等深度網絡模型用于圖像中目標的自動檢測，并取得了豐碩的研究成果。目前，基于深度網絡模型的目標檢測的算法主要分為兩大類：第一類是兩階段檢測算法，這類算法將檢測問題劃分為兩個階段，即首先產生候選區域，然后對候選區域進行分類，主要使用R-CNN，Fast R-CNN，Faster R-CNN等深度卷積網絡模型；第二類是單階段檢測算法，這類算法不需要產生候選區域，直接生成物體類別概率和位置坐標值，主要使用YOLO和SSD等深度卷積網絡模型。這兩類目標檢測算法各具特色，在一般情況下，兩階段算法準確度較高，單階段算法則速度較快。
圖像分類和目標檢測這類任務的研究對象都是獨立的圖像樣本，模型不用考慮樣本之間的聯系，使用深度卷積網絡往往就能取得較好的效果。如果所處理的信息都是一個連續序列，例如一段音頻或視頻，此時卷積神經網絡模型就會割裂信息序列項的前后聯系，為解決這一問題，人們進一步提出了可以處理序列信息的深度循環神經網絡（RNN）和長短時記憶網絡（LSTM），以有效解決信息序列的表示和處理問題。目前，RNN和LSTM已在視頻行為分析、語音信息的識別與合成、自然語言理解與機器翻譯等多個領域取得了成功應用。
深度學習方法也使強化學習領域的研究取得了長足的進展，利用基于深層神經網絡模型所實現的深度價值網絡和深度策略網絡在強化學習領域起到了重要的作用，例如著名的AlphaGO圍棋程序使用強化學習策略構造深度策略網絡，將其用于根據當前盤面狀態確定行棋策略，并通過構造深度Q網絡模型實現對行棋策略的評估，以尋求策略和評估策略的交互的方式實現布局并取得了很好的效果。
此外，人們還嘗試使用深度學習模型模擬現實生活中的真實數據。2014年6月，古德費勒等學者提出了名為生成對抗網絡（GAN）的生成模型，該模型可以根據需要生成新的樣本。該模型由兩個子模型組成，第一個為生成器，它可以根據訓練樣本來生成新的樣本，另一個為判別器，它的輸入為訓練集中的真實樣本或生成器所生成的虛假樣本，目標是判斷輸入樣本是否為真實樣本或虛假樣本。當判別器無法判別時，就意味著生成器所生成的樣本與真實樣本幾乎來自同一分布，從而完成了新樣本的生成任務。
深度學習除了實際效果上的大幅改善之外，還能避免特征人工選擇或構造方式的不足，深度學習利用網絡模型自動提取的特征往往更有利于模型解決實際問題。但這種特征自動提取方式也存在不容忽視的問題：首先，深度學習缺乏嚴格的理論基礎，實現過程是個黑盒，即深度學習模型所用的特征所表達的信息往往難以理解；其次，深度學習模型擁有大量參數，通常需要海量訓練樣本，這無疑增加了訓練的難度。如何在保證效果的基礎上減小模型、減少參數或者實現大模型的小樣本訓練仍然是一個具有挑戰性的問題。