1.2.2 效率挑戰(zhàn)

聯(lián)邦學(xué)習(xí)的訓(xùn)練時間一般長于傳統(tǒng)的數(shù)據(jù)集中式的機器學(xué)習(xí)。一方面由于數(shù)據(jù)統(tǒng)計異質(zhì)性帶來更長的模型收斂時間；另一方面由于客戶端與服務(wù)器之間頻繁通信，深度學(xué)習(xí)模型所需要傳遞的參數(shù)數(shù)量遠高于一般的機器學(xué)習(xí)模型，隨著聯(lián)邦學(xué)習(xí)參與客戶端數(shù)量的增加，聯(lián)邦學(xué)習(xí)的內(nèi)部通信負載也會隨之線性增加。因此對于大型聯(lián)邦學(xué)習(xí)系統(tǒng)而言，通信所占用的時間高于本地模型參數(shù)更新所用的時間。為此，聯(lián)邦學(xué)習(xí)系統(tǒng)通常需要降低本地模型與服務(wù)器交換參數(shù)的頻率，并通過壓縮模型或者梯度來減少通信環(huán)節(jié)的通信量，對于某些大規(guī)模系統(tǒng)，需要限制每一輪參與模型聚合的客戶端數(shù)量來減少服務(wù)器的等待時間。

1.聯(lián)邦學(xué)習(xí)拓撲架構(gòu)

由于地理位置、數(shù)據(jù)之間的統(tǒng)計性的差異，客戶端之間的可信任程度也不盡相同，人們在設(shè)計聯(lián)邦學(xué)習(xí)系統(tǒng)的時候也會考慮不同的架構(gòu)，來保證隱私與效率之間的平衡。聯(lián)邦學(xué)習(xí)的拓撲架構(gòu)包括星狀架構(gòu)、層級架構(gòu)與去中心化架構(gòu)。

（1）星狀架構(gòu)

星狀架構(gòu)中所有的客戶端與服務(wù)器直接相連，便于網(wǎng)絡(luò)控制與管理。故障診斷與隔離非常容易，單方的故障調(diào)試不會對全局有影響。但是服務(wù)器的負載要求很大，一旦服務(wù)器節(jié)點癱瘓，會使得整個網(wǎng)絡(luò)服務(wù)崩潰且不容易擴大網(wǎng)絡(luò)規(guī)模。

（2）層級架構(gòu)

層級架構(gòu)通過層級聚合來優(yōu)化，聚合原則可以基于地理位置，也可以是用戶特征。層級聚合緩解了中央服務(wù)器的負載壓力，同時有助于實現(xiàn)模型的本地化與特征化。層級聚合需要設(shè)計額外的聚合策略。對聚合的標(biāo)準(zhǔn)以及不同層級間的模型同步策略需要調(diào)優(yōu)。

（3）去中心化架構(gòu)

去中心化架構(gòu)可在網(wǎng)絡(luò)的中央及邊緣區(qū)域共享內(nèi)容和資源。拓撲結(jié)構(gòu)的資源較為分散，對所有參與方的資源進行備份與恢復(fù)是較為復(fù)雜的。從機器學(xué)習(xí)的角度來看，去中心化架構(gòu)優(yōu)化算法非常復(fù)雜，一般是基于謠言協(xié)議（Gossip Protocol）實現(xiàn)謠言學(xué)習(xí)（Gossip Learning）。

2.設(shè)備限制

影響聯(lián)邦學(xué)習(xí)系統(tǒng)效率的另一個原因就是設(shè)備限制，包括存儲、CPU與GPU計算能力、網(wǎng)絡(luò)傳輸帶寬等多個方面的差異，這些使得設(shè)備的計算時間不同，甚至?xí)霈F(xiàn)客戶端設(shè)備掉隊/退出的問題。此外在跨設(shè)備聯(lián)邦學(xué)習(xí)中，終端設(shè)備過多，同樣會導(dǎo)致通信負載加劇，帶寬緊張。在一些典型的聯(lián)邦學(xué)習(xí)框架下，系統(tǒng)會將一些網(wǎng)絡(luò)帶寬受限或訪問受限的客戶端排除在訓(xùn)練的輪次之外，即不將全局模型發(fā)送給這些客戶端進行本地優(yōu)化。這種簡單的處理方式會大大影響這些客戶端所提供的服務(wù)，進而影響用戶的使用體驗。