1.4　機器學習系統生態

以機器學習框架為核心，人工智能社區創造出了龐大的機器學習系統生態。廣義來說，機器學習系統是指實現和支持機器學習應用的各類型軟硬件系統的泛稱。圖1.2總結了各種類型的機器學習系統和相關生態。

（1）聯邦學習：隨著用戶隱私保護和數據保護法的出現，許多機器學習應用無法直接接觸用戶數據完成模型訓練。因此這一類應用需要通過機器學習框架實現聯邦學習（Federated Learning）。

（2）推薦系統：將機器學習（特別是深度學習）引入推薦系統在過去數年取得了巨大的成功。相比于傳統基于規則的推薦系統，深度學習推薦系統能夠有效分析用戶的海量特征數據，從而實現在推薦準確度和推薦時效性上的巨大提升。

（3）強化學習：強化學習具有數據收集和模型訓練方法的特殊性。因此，需要基于機器學習框架進一步開發專用的強化學習系統。

（4）可解釋AI：隨著機器學習在金融、醫療和政府治理等關鍵領域的推廣，基于機器學習框架進一步開發的可解釋性AI系統正得到日益增長的重視。

（5）機器人：機器人是另一個開始廣泛使用機器學習框架的領域。相比于傳統的機器人視覺方法，機器學習方法在特征自動提取、目標識別、路徑規劃等多個機器人任務中獲得了巨大成功。

（6）圖學習：圖（Graph）是最廣泛使用的數據結構之一。許多互聯網數據（如社交網絡、產品關系圖）都由圖來表達。機器學習算法已經被證明是行之有效的分析大型圖數據的方法。這種針對圖數據的機器學習系統被稱為圖學習系統（Graph Learning System）。

（7）科學計算：科學計算覆蓋許多傳統領域（如電磁仿真、圖形學、天氣預報等），這些領域中的許多大規模問題都可以有效利用機器學習方法求解。因此，針對科學計算開發機器學習系統變得日益普遍。

（8）機器學習集群調度：機器學習集群一般由異構處理器、異構網絡甚至異構存儲設備構成。同時，機器學習集群中的計算任務往往具有共同的執行特點（如基于集合通信算子AllReduce迭代進行）。因此，針對異構設備和任務特點，機器學習集群往往具有特定的調度方法與設計。

（9）量子計算：量子計算機一般通過混合架構實現。其中，量子計算由量子計算機完成，而量子仿真由傳統計算機完成。由于量子仿真往往涉及大量矩陣計算，許多量子仿真系統（如TensorFlow Quantum和MindQuantum）都基于機器學習框架實現。

限于篇幅，本書不會對所有機器學習系統進行深入講解。目前，本書會從系統設計者的角度出發，對應用在聯邦學習、推薦系統、強化學習、可解釋AI和機器人中的相關核心系統進行講解。