2.4　元學習方法分類

元學習方法各不相同，對這些方法進行分類并沒有嚴格的界限，只是對這些方法和思想進行提煉和總結。具體的元學習模型常常包含不同方法的組合，接下來介紹的元學習方法的分類只是對這些方法的總結。本節末尾的表2.1總結了元學習的主要框架，列出了每種框架下的主要思路。

2.4.1　神經網絡適應法

神經網絡適應法依賴于深度神經網絡模型豐富強大的表示力來描述復雜問題，在小樣本高維輸入數據上，神經網絡模型對高維輸入數據進行降維。由于樣本少，神經網絡模型參數很多，只能依靠對預訓練的深度模型進行局部調參，適應到小樣本任務上來解決問題。

任務之間的相似性很復雜，它會隨著任務復雜度的提高變得更加復雜，也會隨著任務之間相似性不那么顯而易見變得更加復雜，此時需要用神經網絡豐富強大的表示力來對任務之間的相似性進行建模。正確考慮任務相似性非常重要，相似性是元學習模型損失函數的重要組成部分，指導模型按照最相似的任務訓練經驗進行適應，因此，相似性的建模非常重要。只有了解了任務之間的相似性，才能知道如何將一個任務上的訓練經驗應用到另一個任務上。

深度神經網絡參數的冗余度高，用少量的參數就可以快速準確地預測剩下的參數，因此深度神經網絡在不同任務之間適應更新時，只需要更新這少量的參數以及參數之間映射的規律，就可以將深度神經網絡適應到新任務上。

另一種思路是重新設計神經網絡模型的結構，在新結構中將描述任務特性的參數（Task-Specific Parameter）和描述任務之間共性的參數（Meta-Parameter）進行解耦。在任務內進行模型訓練時，只更新描述任務特性的參數，在許多任務之間進行模型適應時，只更新描述任務共性的參數。

遞歸神經網絡RNN包含遞歸自連接神經元和記憶細胞，記憶細胞可以保存過去的模型訓練結果，遞歸自連接神經元可以使用序列數據完成自我更新，RNN可以讓機器實現學會學習和自我更新以適應新任務。長短期記憶網絡LSTM包含遺忘門，可以避免記憶細胞存儲爆炸，也包含梯度在傳導過程中不爆炸且不消失的機制，可以考慮序列數據中的長程相關性。

2.4.2　度量學習適應法

在比較任務之間的相似程度時，需要合適的度量以反映任務之間的距離，在進行圖像分類時，分類函數中也需要輸入距離。距離函數中可以包含超參數，超參數可以反映數據點的離散程度，在不同的任務中，數據點的分布情況差別較大。距離函數中包含這樣的超參數有利于距離函數更好地更新來適應新任務，使得屬于同一類別的樣本點之間的距離最小，屬于不同類別的樣本點之間的距離最大。

由于任務之間的相似性很復雜，僅僅使用距離函數來表示還不夠，還需要引入神經網絡模型。一般使用卷積神經網絡模型對高維輸入數據進行降維，卷積神經網絡作為特征提取函數，包含很多參數，這些參數在許多任務的訓練集上共同訓練得到，此時任務之間的共性蘊含在卷積神經網絡的參數中。

元學習模型可以借鑒過去的模型訓練結果，這些結果存儲在記憶模塊中。記憶模塊需要具備以下功能，一是記憶更新功能，二是記憶刪除功能，三是記憶搜索功能。記憶模塊可以被添加到任何神經網絡模型中，在模型訓練過程中，存儲模型訓練中產生的重要參數。記憶搜索功能可以提取記憶模塊中最相似任務的訓練經驗，而記憶搜索依賴于度量函數，使用度量函數找到相似程度最高的任務經驗來借鑒。

在分類問題中，可以計算每一類樣本特征的平均值，作為該類樣本特征的中心點（Centroid）或者典型（Prototype）。對于新任務中的訓練數據，計算新任務特征與所有類別中心點之間的距離度量，然后對新任務進行分類。度量常常出現在損失函數中，不同度量的定義也會改變損失函數的性質，影響模型優化方法的選取。

2.4.3　基礎學習器和元學習器適應法

這一類元學習方法應用很廣，最早提出元學習概念的論文中提出的就是這一類方法。這一類方法的優勢是，將任務特性的建模和任務共性的建模進行解耦，使得模型部件可以分別在這兩個方面都達到最優，然后進行交流和組合，保持模型精度，提高模型泛化能力。

基礎學習器是用來對任務特性建模的方法，基礎學習器在任務上進行訓練，適應了任務的特性。元學習器用來對任務共性進行建模，綜合許多任務的訓練結果，訓練元學習器中描述任務共性的參數。任務特性的建模和任務共性的建模常常是共軛的，使用同一個模型同時對任務特性和共性進行分析，難以同時將二者反映得最好。例如，基礎學習器適應任務的特性后，將任務訓練的結果傳遞回元學習器，元學習器綜合許多任務的訓練結果提煉出任務之間的共性，更新元學習器中描述任務共性的參數。

一種情況是基礎學習器簡單而元學習器復雜，簡單的基礎學習器在任務上不會過擬合，復雜的元學習器可以描述復雜的任務相似性。另一種情況是基礎學習器和元學習器都復雜，任務本身復雜，需要復雜的基礎學習器來進行建模，復雜的元學習器來描述復雜的任務相似性。一般需要對基礎學習器和元學習器的復雜度超參數進行調參，在小樣本高維輸入數據上，由于數據少，對復雜度的超參數進行調參可能無法實現。在樣本量允許的情況下，對基礎學習器和元學習器的復雜度超參數進行調參，有利于提高元學習模型的性能。

一類方法引入元元學習器來指導元學習器的訓練，元元學習器能夠考慮更加復雜的任務相似性，但是在元學習器本身足夠復雜時，引入元元學習器可能沒有必要。另一類方法加強基礎學習器和元學習器之間的溝通交流，設計新的基礎學習器和元學習器的結合方式。值得注意的是，在聯邦學習中需要考慮溝通交流的內容是否符合隱私法律的要求。

實際應用中的元學習模型往往綜合了幾種學習框架，基礎學習器和元學習器之間的界限也不明晰，參數交替進行更新，難以判斷哪些參數描述任務特性、哪些參數描述任務共性。元學習方法的發展思路即是這樣，元學習器和基礎學習器的結合更加親密無間、難分你我，在實際應用中，基礎學習器和元學習器的結合更加靈活多變。雖然如此，通過仔細分析，仍然可以區分出基礎學習器和元學習器的部分，區分出任務專屬參數和任務共性參數。

這種元學習方法常常與任務的分解配合進行，任務分解后在不同層級上使用不同的學習器，這些學習器之間再發生溝通交流。此時根據任務分解的情況，學習器也難以明確區分基礎學習器和元學習器，且不同學習器之間可能會共享訓練數據，不同訓練數據也可能會用在同一個學習器的訓練中。針對不同任務，可以訓練出合適的任務分解與學習器層級模型以實現元學習的目標。

2.4.4　貝葉斯元學習適應法

在統計學中，貝葉斯思想是相對于頻率論（Frequentist）思想的，學生時代大家經常討論的例子是明天下雨的概率。在貝葉斯思想下，明天下雨的概率本身是一個隨機變量，具有先驗分布，結合實際觀察數據的似然函數，給出明天下雨概率的后驗分布，在后驗分布中概率最大的區間代表了明天下雨的概率。在頻率論思想下，明天下雨的概率是用過去很多年這個季節下雨的頻率值來進行估計的。在這個簡單的問題上，貝葉斯思想通過先驗概率和后驗概率的機制對過去經驗和當下數據進行靈活組合，可以對過去經驗加上更多權重，也可以對當下數據加上更多權重，對問題的描述更加靈活。頻率論思想給出明天下雨概率的估計值和置信區間，描述簡潔且直接。因此，貝葉斯思想將所有參數視為服從概率分布的隨機變量，而頻率論思想給出參數的估計值和置信區間，考慮參數的假設檢驗。

在貝葉斯思想下，參數被視為隨機變量，隨機變量的概率分布用樣本進行模擬。貝葉斯思想包括以下方面：一是根據聯合分布和條件分布，生成新的數據，以假亂真，對數據集進行擴充；二是實現數據的遺傳演化和漸變，根據新數據基于過去數據的條件分布，由過去的數據生成新數據；三是使用多層貝葉斯模型，對模型中的參數進行建模，給出所有參數的先驗分布和后驗分布；四是貝葉斯變分推理，給出后驗分布的最優近似，快速有效，得到隱藏層參數或者背景參數的后驗分布近似。除此之外，還有貝葉斯決策理論、貝葉斯網絡模型、重要性抽樣和非參數貝葉斯等重要貝葉斯理論。

統計學習方法和機器學習方法的結合有許多例子。例如，貝葉斯深度學習、支持向量機模型SVM、神經網絡中的顯式或隱式正則項、隨機誤差擾動等，這里的元學習與貝葉斯思想的結合也是這樣的案例，基于貝葉斯模型生成更復雜的任務環境，隨之改變的是完成任務的深度學習器。任務環境和深度學習器的協同進化創造了更加復雜的任務和相應的深度學習器，深度學習器可以應用于更加復雜的環境，而這樣的復雜環境依靠重新訓練深度模型來解決可能是無法辦到的，這樣的協同進化機制可以完成復雜任務。

學習器中的隨機梯度下降法可以用貝葉斯思想下的SVGD（Stein Variational Gradient Descent）來替代，這里用樣本來描述每個隨機變量的分布。貝葉斯方法往往需要生成大量的模擬樣本，用模擬樣本擴充訓練數據，或者使用模擬樣本代表每個隨機變量的后驗分布，使用模擬樣本之間的距離來估計隨機變量分布之間的距離，通過優化模型實現對參數的估計。使用拉普拉斯似然函數中的高斯分布函數積分運算，更新任務專屬參數的后驗分布來適應不同任務，拉普拉斯近似后的MAML模型計算起來更快，精度損失不大。

2.4.5　元學習與其他學習框架結合

元學習與許多領域都有結合，元學習與域遷移之間的結合非常有趣。域遷移是遷移學習中的方法，域指的是不同的數據源，Jiechao Guan等作者于2020年在論文“Few-Shot Learning as Domain Adaptation: Algorithm and Analysis”[8]中提出在小樣本學習中將元學習方法中的Prototypical Network和遷移學習方法中的Domain Adaptation結合起來，考慮每新增一個小樣本數據集就對原有小樣本集計算出的類特征典型（Class Prototype）進行偏移，然后使用Prototypical Network對小樣本圖像數據集進行分類，這樣做提高了小樣本圖片分類的精度，論文作者將元學習與域遷移結合形成的方法稱為Meta-DA。Jianzhu Guo等作者于2020年在論文“Learning Meta Face Recognition in Unseen Domains”[9]中提出一個將MAML和域遷移結合起來的人臉識別模型框架，不經過調參就可以將訓練好的深度網絡模型直接應用到目標域上并且獲得了不錯的精度。考慮域遷移之后，元學習模型的適應性得到了提高，可以適應到差別更大的任務上。

元學習與聯邦學習的結合也受到了很多關注。Jeffrey Li等作者于2019年在論文“Differentially Private Meta-Learning”[10]中提出將元學習和聯邦學習結合起來考慮。聯邦學習將大量用戶端的數據在用戶端進行加密脫敏之后匯集起來進行數據分析，以此來保護用戶端數據的隱私。在元學習模型進行數據分析時，不同層次的學習器之間需要進行數據交流、共享信息，此時需要考慮用戶端數據的隱私問題，信息的交流受到限制。例如，在MAML中，基礎學習器和元學習器之間需要交流損失函數對初始參數的梯度，這樣的數據交流會受到聯邦學習中數據隱私的限制，在這種限制下完成模型最優化是具有挑戰性的工作。在元學習模型中，需要考慮聯邦學習下的隱私保護限制，對信息進行加密處理，然后才能在基礎學習器和元學習器之間傳遞。

元學習與強化學習的結合被稱為元強化學習（Meta-RL），其價值主要體現在機器人領域。機器人與環境發生交互，估計出不同行動的收益，優化機器人的行動策略。環境常常是多變的，預訓練的模型需要快速準確地適應新環境，機器人可能會遇到極少遇到的情形，例如，機器人部件的損壞等。在這樣的情況下，預訓練好的最優行動策略需要快速準確地適應到這樣的情況，并且采取最優行動。Chelsea Finn教授在機器人領域進行了大量元強化學習的研究。除此之外，模仿學習可教會機器人通過一兩次示范就快速準確地學會新動作，一兩次示范是小樣本的高維輸入數據，可以用元學習模型進行分析。元學習與模仿學習、強化學習常常結合起來解決機器人通過一兩次示范快速準確學會新動作的問題。Allan Zhou等作者于2019年在論文“Watch, Try, Learn: Meta-Learning from Demonstrations and Reward”[11]中提出基于試錯的方法，將元學習、模仿學習、強化學習結合起來解決機器人通過少量示例快速準確學會新動作的問題，通過多次訓練并且多次優化目標函數，提高機器人學會新動作的成功率。

對小樣本學習的關注緣于有標注數據的缺乏。對于沒有標注數據的情況，需要考慮將元學習與無監督學習（Unsupervised Learning）結合起來，使用無監督分類方法對數據點進行分類標注，將估計的標注作為元學習模型的輸入，或者將元學習模型適應過程中的有監督適應模式轉變為無監督適應模式，使模型的適應過程只使用無標注數據。自監督學習（Self-Supervised Learning）也是使用無標注數據進行學習的，對學習的監督都來自數據集本身。Xiao Liu等作者于2020年在論文“Self-Supervised Learning: Generative or Contrastive”[12]中對主流的自監督學習方法進行了分析歸納，主要有生成式方法（Generative）、對比式方法（Contrastive）、生成式和對比式結合的方法。類似地，自監督學習也可以與元學習結合進行應用。

Aoxue Li等作者于2020年在論文“Boosting Few-Shot Learning With Adaptive Margin Loss”[13]中使用元學習中的Prototypical Network與多模態學習（Multi-Modal Learning）結合的方法實現小樣本學習，獲得了不錯的小樣本圖片分類精度。多模態學習是將多個感官獲取的信息進行整合來完成一個任務，例如，首先從圖片中訓練提取圖片相應的語義文本，在這個過程中需要將圖片與一些帶有文字標注的圖片進行比對，獲得圖片相應的語義文本。獲得的語義文本在小樣本圖片分類中會有益處，有利于提高小樣本圖片分類的精度。