1.5 聯(lián)邦學(xué)習(xí)算法現(xiàn)狀

隨著聯(lián)邦學(xué)習(xí)研究的不斷深入，越來越多的傳統(tǒng)機(jī)器學(xué)習(xí)算法開始支持聯(lián)邦學(xué)習(xí)框架。本節(jié)對(duì)當(dāng)前常用的機(jī)器學(xué)習(xí)算法在聯(lián)邦學(xué)習(xí)上的實(shí)現(xiàn)進(jìn)行一個(gè)簡(jiǎn)短小結(jié)。

? 橫向聯(lián)邦學(xué)習(xí)：文獻(xiàn)[148]指出，它常用于跨設(shè)備端（Cross-Device）的場(chǎng)景，是當(dāng)前研究最多的聯(lián)邦學(xué)習(xí)類型。當(dāng)前線性模型（如線性回歸、邏輯回歸等）、GBDT提升樹模型^[166]、遞歸神經(jīng)網(wǎng)絡(luò)^{[122，286，68]}、卷積神經(jīng)網(wǎng)絡(luò)^[185]、個(gè)性化推薦中的橫向矩陣分解等都已經(jīng)在橫向聯(lián)邦上實(shí)現(xiàn)。事實(shí)上，使用梯度下降等最優(yōu)化算法迭代優(yōu)化的機(jī)器學(xué)習(xí)模型基本都能使用橫向聯(lián)邦學(xué)習(xí)框架訓(xùn)練。

? 縱向聯(lián)邦學(xué)習(xí)：文獻(xiàn)[148]指出，它常用于跨機(jī)構(gòu)（Cross-Silo）的場(chǎng)景，當(dāng)前的線性模型（如線性回歸、邏輯回歸等）、提升樹模型SecureBoost^[70]、神經(jīng)網(wǎng)絡(luò)、個(gè)性化推薦中的縱向矩陣分解、縱向因子分解機(jī)（我們將在第9章中深入講解）等都已經(jīng)在縱向聯(lián)邦上實(shí)現(xiàn)。

? 聯(lián)邦遷移學(xué)習(xí)：聯(lián)邦遷移學(xué)習(xí)是將聯(lián)邦學(xué)習(xí)與遷移學(xué)習(xí)相結(jié)合的一項(xiàng)新技術(shù)，其目的是在保護(hù)數(shù)據(jù)隱私的前提下，強(qiáng)調(diào)即使在異構(gòu)特征分布的多方場(chǎng)景下，也能夠協(xié)同并提升模型性能，文獻(xiàn)[188]提出了一種安全的聯(lián)邦遷移學(xué)習(xí)框架，包括基于同態(tài)加密和秘密共亨（secret sharing）的實(shí)現(xiàn)。文獻(xiàn)[69]提出一種在可穿戴設(shè)備中進(jìn)行聯(lián)邦遷移的方法；文獻(xiàn)[145]在Google Cloud上用FATE對(duì)聯(lián)邦遷移學(xué)習(xí)的性能進(jìn)行了實(shí)驗(yàn)分析，并提出了可以提高性能的幾個(gè)優(yōu)化方案。總體來說，F(xiàn)TL與前面兩種類型相比，當(dāng)前的研究還比較少，是今后聯(lián)邦學(xué)習(xí)的重點(diǎn)研究方向。

[1] 為簡(jiǎn)潔起見，書中會(huì)視上下文情況將橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)分別簡(jiǎn)述為橫向聯(lián)邦、縱向聯(lián)邦，含義完全一樣。