1.2.1 性能挑戰

通常，聯邦學習通過聚合客戶端模型得到的最終全局模型的性能相比于通過傳統的集中數據的訓練方式得到的模型性能會有不同程度的下降，也被稱為性能降級（Performance Degradation）。性能降級的原因是多方面的，一方面是數據原因。在聯邦學習的框架下，聯邦學習算法的設計者會缺乏對聯邦數據的洞見。當前的研究僅能證明分布式數據在滿足獨立同分布的條件時，聯邦學習的理論性能會逼近集中訓練模型。而當跨設備數據不能滿足獨立同分布的條件時，聯邦學習基線算法FedAvg學習得到的全局模型上下界便會缺乏理論保證，甚至在某些極端情況下，模型將不能收斂。造成數據非獨立同分布的原因可能是多方面的，以醫療聯邦學習為例，不同的醫療機構加入同一個聯邦學習協議，但是其擁有的訓練樣本的體量是不一樣的，大型醫院生產收集的數據遠多余普通小型醫院的醫療數據。由于區域差異、門診設置的區別、不同醫院不同類型疾病的樣本數量差異明顯。即使對應于同一種疾病，不同的數據采集設備、不同的醫務人員、不同的醫院其要求也各不相同，難以保證圖像標注采用的是相同的標準。此外，由于缺乏對全體數據的了解，有些特殊樣本可能不能被正確分析，所以數據預處理由于不能及時過濾這些樣本而導致樣本比設想的要臟。另一個可能導致模型下降的原因是在算法層面。在某些場景下，聯邦學習需要通過密碼學機制，比如同態加密，來交換不同客戶端之間的參數。在此過程中需要進行多項式逼近來評估機器學習算法中的非線性函數。大規模部署的聯邦學習系統中，如果某個參與方的本地模型參數變化不太大，沒有必要頻繁地把模型更新上傳到中央服務器上。同樣，也沒有必要在每一步都對本地模型進行校準。因此聯邦學習需要在模型性能與系統效率間尋找一個平衡點。