1.3　機器學習的分類

1．基于所獲取知識的表示形式分類

學習系統獲取的知識可能有行為規則、物理對象的描述、問題求解策略、各種分類及其他用于任務實現的知識類型。

根據表示的精細程度，可將知識表示形式分為兩大類：泛化程度高的粗粒度符號表示、泛化程度低的精粒度亞符號（Sub-symbolic）表示。決策樹、形式文法、產生式規則、形式邏輯表達式、框架和模式等屬于符號表示類；代數表達式參數、圖和網絡、神經網絡等屬于亞符號表示類。

對于學習中獲取的知識，主要有以下一些表示形式：

（1）代數表達式參數

學習的目標是調節一個固定函數形式的代數表達式參數或系數來達到一個理想的性能。

（2）決策樹

用決策樹來劃分物體的類屬，樹中每一內部節點對應一個物體屬性，而每一邊對應于這些屬性的可選值，樹的葉節點則對應于物體的每個基本分類。

（3）形式文法

在識別一個特定語言的學習中，通過對該語言的一系列表達式進行歸納，形成該語言的形式文法。

（4）產生式規則

產生式規則表示為“條件-動作對”，已被極為廣泛地使用。學習系統中的學習行為主要是生成、泛化、特化（Specialization）或合成產生式規則。

（5）形式邏輯表達式

形式邏輯表達式的基本成分是命題、謂詞、變量、約束變量范圍的語句，以及嵌入的邏輯表達式。

（6）圖和網絡

有的系統采用圖匹配和圖轉換方案來有效地比較和索引知識。

（7）框架和模式（Schema）

每個框架包含一組槽，用于描述事物（概念和個體）的各個方面。

（8）計算機程序和其他的過程編碼

獲取這種形式的知識，目的在于取得一種能實現特定過程的能力，而不是為了推斷該過程的內部結構。

（9）神經網絡

這主要用在聯接學習中。學習所獲取的知識，最后歸納為一個神經網絡。

（10）多種表示形式的組合

有時一個學習系統中獲取的知識需要綜合應用上述幾種知識表示形式。

2．按應用領域分類

最主要的應用領域有專家系統、認知模擬、規劃和問題求解、數據挖掘、網絡信息服務、圖像識別、故障診斷、自然語言理解、機器人和博弈等。

從機器學習的執行部分所反映的任務類型上看，大部分的應用研究領域基本上集中于以下兩個范疇：分類和問題求解。

（1）分類任務要求系統依據已知的分類知識對輸入的未知模式（該模式的描述）做分析，以確定輸入模式的類屬。相應的學習目標就是學習用于分類的準則（如分類規則）。

（2）問題求解任務要求對于給定的目標狀態，尋找一個將當前狀態轉換為目標狀態的動作序列；機器學習在這一領域的研究工作大部分集中于通過學習來獲取能提高問題求解效率的知識（如搜索控制知識、啟發式知識等）。

3．綜合分類

綜合考慮各種學習方法出現的歷史淵源、知識表示、推理策略、結果評估的相似性、研究人員交流的相對集中性以及應用領域等諸因素。將機器學習方法區分為以下6類：

（1）經驗歸納學習（Empirical Inductive Learning）

經驗歸納學習采用一些數據密集的經驗方法（如版本空間法、ID3法、定律發現法）對例子進行歸納學習。其例子和學習結果一般都采用屬性、謂詞、關系等符號表示。它相當于基于學習策略分類中的歸納學習，但扣除聯接學習、遺傳算法、增強學習的部分。

（2）分析學習（Analytic Learning）

分析學習方法是從一個或少數幾個實例出發，運用領域知識進行分析。其主要特征為：

·　推理策略主要是演繹，而非歸納。

·　使用過去的問題求解經驗（實例）指導新的問題求解，或產生能更有效地運用領域知識的搜索控制規則。

分析學習的目標是改善系統的性能，而不是新的概念描述。分析學習包括應用解釋學習、演繹學習、多級結構組塊以及宏操作學習等技術。

（3）類比學習

它相當于基于學習策略分類中的類比學習。在這一類型的學習中比較引人注目的研究是通過與過去經歷的具體事例做類比來學習，稱為基于范例的學習（Case-based Learning），或簡稱范例學習。

（4）遺傳算法（Genetic Algorithm）

遺傳算法模擬生物繁殖的突變、交換和達爾文的自然選擇（在每一生態環境中適者生存）。它把問題可能的解編碼為一個向量（稱為個體，向量的每一個元素稱為基因），并利用目標函數（相應于自然選擇標準）對群體（個體的集合）中的每一個個體進行評價，根據評價值（適應度）對個體進行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復雜和困難的環境，比如帶有大量噪聲和無關數據、事物不斷更新、問題目標不能明顯和精確地定義，以及通過很長的執行過程才能確定當前行為的價值等。同神經網絡一樣，遺傳算法的研究已經發展為人工智能的一個獨立分支，其代表人物為霍勒德（J.H.Holland）。

（5）聯接學習

典型的聯接模型實現為人工神經網絡，其由稱為神經元的一些簡單計算單元以及單元間的加權聯接組成。

（6）增強學習（Reinforcement Learning）

增強學習的特點是通過與環境的試探性（Trial and Error）交互來確定和優化動作的選擇，以實現所謂的序列決策任務。在這種任務中，學習機制通過選擇并執行動作，導致系統狀態的變化，并有可能得到某種強化信號（立即回報），從而實現與環境的交互。強化信號就是對系統行為的一種標量化的獎懲。系統學習的目標是尋找一個合適的動作選擇策略，即在任一給定的狀態下選擇哪種動作的方法，使產生的動作序列可獲得某種最優的結果。

在綜合分類中，經驗歸納學習、遺傳算法、聯接學習和增強學習均屬于歸納學習，其中經驗歸納學習采用符號表示方式，而遺傳算法、聯接學習和增強學習則采用亞符號表示方式；分析學習屬于演繹學習。

4．學習形式分類

（1）監督學習（Supervised Learning）

監督學習在機械學習過程中提供對錯指示。通過算法讓機器自我減少誤差。這一類學習主要應用于分類和回歸（Classify & Regression，也稱為分類和預測）。監督學習從給定的訓練數據集中學習出一個函數，當新的數據到來時，可以根據這個函數預測結果。監督學習的訓練集要求是包括輸入和輸出，也可以說是特征和目標。訓練集中的目標是由人標注的。常見的監督學習算法包括回歸分析和統計分類。

（2）無監督學習（Unsupervised Learning）

無監督學習又稱歸納性學習（Clustering），利用K方式（K-Means）建立中心（Centriole），通過循環和遞減運算（Iteration & Descent）來減小誤差，以達到分類的目的。