1.3.1 DeepSeek的訓練成本之謎

DeepSeek的亮點在于成本創新，以低成本訓練打造了高性能模型。之所以能夠實現低成本，主要得益于DeepSeek在模型架構、訓練方法等方面的創新。

1.MoE架構

傳統大模型架構通常使用單一的神經網絡結構，計算資源消耗較大。而DeepSeek采用的MoE架構在數據流轉過程中設計了一個專家網絡層，通過使用更細粒度的專家、設置共享專家等，避免了專家間的知識冗余，從而降低了計算資源的消耗。MoE架構可根據需求動態選擇專家網絡，減少不必要的計算，進而降低訓練成本。

2.MLA（Multi-head Latent Attention，多頭潛在注意力）機制

傳統的多頭注意力、分組查詢注意力等注意力機制在推理過程中需要較大的KV（Key Value，鍵值）緩存，增加了計算成本。而DeepSeek的MLA機制能夠實現KV壓縮，降低訓練中的KV緩存成本。這使得推理中的內存占用和計算成本降低，降低了訓練成本。

3.FP8訓練

傳統訓練方法通常采用高精度的FP16（16位浮點數）或FP32（32位浮點數）進行訓練，計算資源消耗較大。而DeepSeek采用的FP8（8位浮點數）訓練是一種低精度訓練方式，降低了資源消耗，在保證模型性能的同時顯著降低了訓練成本。

通過以上幾方面的技術創新，DeepSeek不僅降低了模型的訓練成本和推理成本，同時保持了與頂尖模型相當的性能。這大幅提升了DeepSeek在AI領域的競爭力。