? 聯(lián)邦學(xué)習(xí)的分類

從技術(shù)本身的類型上，我們認為聯(lián)邦學(xué)習(xí)是基于機器學(xué)習(xí)、分布式計算、密碼學(xué)等多個技術(shù)的融合衍生品。

事實上，聯(lián)邦學(xué)習(xí)的技術(shù)內(nèi)核，是通過交互各參與方本地計算的中間因子來實現(xiàn)模型的聚合和優(yōu)化的。

聯(lián)邦學(xué)習(xí)通過交互中間因子來替代原始數(shù)據(jù)，但直接交互明文的中間因子也有泄露和反推原始數(shù)據(jù)的可能性。因此，為提升建模過程中對數(shù)據(jù)隱私的安全保護，現(xiàn)有的實現(xiàn)方案大多是在聯(lián)邦學(xué)習(xí)的基礎(chǔ)上結(jié)合多方安全計算、同態(tài)加密、差分隱私等密碼學(xué)技術(shù)，對交互的中間因子進行加密保護，利用同態(tài)加密技術(shù)對中間因子進行加密交互，是目前我們看到最多的方案。另外還有方案結(jié)合了可信執(zhí)行環(huán)境，實現(xiàn)基于可信硬件的中間因子安全交互。

如果再對聯(lián)邦學(xué)習(xí)進行分類，可以根據(jù)各參與方數(shù)據(jù)特點的不同，具體分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。

橫向聯(lián)邦學(xué)習(xí)更適用于在特征重合較多，而樣本重合較少的數(shù)據(jù)集間進行聯(lián)合計算的場景。以樣本維度（即橫向）對數(shù)據(jù)集進行切分，以特征相同而樣本不完全相同的數(shù)據(jù)部分為對象進行訓(xùn)練，如圖2-9所示。谷歌在2016年提出的安卓手機智能輸入法推薦方案，就是使用橫向聯(lián)邦學(xué)習(xí)，是利用單個用戶使用安卓手機時的輸入序列特征，建立輸入“熱門詞”的模型，并不斷在本地更新模型后將參數(shù)上傳到安卓云上，從而基于數(shù)千萬個特征維度相同的用戶輸入習(xí)慣進行聯(lián)合建模，最終實現(xiàn)對用戶輸入習(xí)慣的預(yù)測，在用戶打字時自動給出下一個輸入的關(guān)聯(lián)詞。

圖2-9 橫向聯(lián)邦學(xué)習(xí)

縱向聯(lián)邦學(xué)習(xí)更適用于樣本重合較多，而特征重合較少的數(shù)據(jù)集間聯(lián)合計算的場景。以特征維度（即縱向）對數(shù)據(jù)集進行切分，以樣本相同而特征不完全相同的數(shù)據(jù)部分為對象進行訓(xùn)練，如圖2-10所示。在金融行業(yè)的風(fēng)控場景中，有大量縱向聯(lián)邦學(xué)習(xí)的實踐案例。以同一地區(qū)的銀行和電商為例，兩機構(gòu)在特定地區(qū)的用戶群體交集較大，但各自擁有的用戶特征不同，銀行掌握的是用戶的資產(chǎn)信息、借貸歷史等，而電商掌握的是用戶的消費習(xí)慣，利用兩機構(gòu)不同維度的用戶特征進行聯(lián)合建模，可以更好地評估、判斷和預(yù)測用戶信用違約風(fēng)險的大小，以增強風(fēng)控能力。

聯(lián)邦遷移學(xué)習(xí)則適用于數(shù)據(jù)集間樣本和特征重合均較少的場景。在這樣的場景中，不再對數(shù)據(jù)進行切分，而是利用遷移學(xué)習(xí)來彌補數(shù)據(jù)或標簽的不足，如圖2-11所示。以不同地區(qū)不同行業(yè)的機構(gòu)間進行聯(lián)合建模為例，兩家機構(gòu)的用戶群體和特征維度的交集都很小，雖然業(yè)務(wù)不同，但兩家機構(gòu)具有相似的業(yè)務(wù)目標。比如資訊公司的廣告投放和電商平臺的商品推薦，利用雙方相似的用戶瀏覽序列，抽取深層用戶行為特征作為知識，在雙方模型間共享和遷移，可以共同提升業(yè)務(wù)效果。聯(lián)邦遷移學(xué)習(xí)的目標就是針對性地解決單邊數(shù)據(jù)規(guī)模小、標簽樣本少的問題，主要適用于以深度神經(jīng)網(wǎng)絡(luò)為基模型的場景。

圖2-10 縱向聯(lián)邦學(xué)習(xí)

圖2-11 聯(lián)邦遷移學(xué)習(xí)

目前，大部分落地應(yīng)用的場景仍以縱向聯(lián)邦學(xué)習(xí)為主，橫向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)在實際應(yīng)用中的占比并不高，這也跟現(xiàn)有的隱私計算應(yīng)用場景較為集中有關(guān)，相關(guān)內(nèi)容我們會在之后的章節(jié)里進行討論。