2.2.2 MoE架構

DeepSeek采用了MoE架構，為了更好地將MoE架構與大模型體系結合，其對MoE架構進行了創新。

1.“細粒度專家+共享專家”的融合

傳統MoE架構通常采用少量“大專家”結構，而DeepSeek采用了大量極小的專家結構，并結合共享專家的設計。

（1）細粒度專家：通過使用大量小型專家，模型能夠更精細地捕捉不同領域的知識，提升模型的表達能力。

（2）共享專家：共享專家始終被路由到，負責處理通用信息，而路由專家則專注于特定領域的任務。

這種設計避免了傳統MoE架構中專家能力分散的問題。

2.無輔助損耗負載均衡策略

傳統MoE架構通常依賴輔助損失函數實現負載均衡，即強制每個專家在訓練批次中被激活的次數大致相等。這種方法存在一些問題：一方面，強制平衡路由會導致同領域的知識分散到不同專家中，降低模型性能；另一方面，理想情況下，MoE架構應有一些高頻訪問的通用專家和一些低頻訪問的專業專家，但強制平衡路由會破壞這種靈活性。

DeepSeek采用了無輔助損耗負載均衡策略來解決這些問題。一是動態調整偏差項。在路由機制中引入特定于專家的偏差項，這些偏差項不通過梯度下降更新，而是在訓練過程中動態調整。如果某個專家的命中次數不足，系統會微調偏差項以增加其命中概率。二是共享專家與路由專家的分工。共享專家始終被路由到，確保通用信息的處理；路由專家則通過動態調整實現負載均衡，避免過度分散。

通過上述創新設計，DeepSeek-V3在訓練過程中表現出色：

（1）負載均衡效果。動態調整偏差項的方法使得路由專家的負載分配更加合理，避免了傳統輔助損失函數帶來的性能損失問題。

（2）模型性能提升。與依賴輔助損失的模型相比，DeepSeek-V3在訓練穩定性和任務表現上均有顯著提升。

DeepSeek通過以上技術創新，克服了傳統MoE架構的訓練難題。這為MoE架構在大模型中的應用提供了新思路。未來，隨著這些技術的進一步優化，DeepSeek有望在更多復雜任務中展現其強大的潛力。