1.1.3　殘差連接與層歸一化

1．殘差連接的核心概念

殘差連接是深度神經網絡中的重要技術，用于緩解模型訓練中常見的梯度消失問題，同時提升深層網絡的訓練效果和性能，其結構如圖1-3所示。

圖1-3　殘差連接模塊

在深層網絡中，隨著層數的增加，信息在層間傳播時可能出現逐漸丟失的現象，導致模型難以優化。殘差連接通過在每一層的輸出中直接添加輸入值，使模型學習的重點從原始輸入轉移到殘差，即網絡只需學習如何調整輸入以獲得更好的輸出，從而降低了訓練的難度。

這一機制的核心思想是“跳躍連接”，通過讓信息在網絡中直接流通，確保了梯度可以順利傳播到較淺的層，避免了信息的過度衰減。在Transformer模型中，每個子層都引入了殘差連接，以保持穩定的模型訓練效果并提升收斂速度。

2．層歸一化的作用與實現

層歸一化（Layer Normalization）是深度學習中常用的正則化技術，用于規范化每一層的輸出，使其分布更加穩定，進而提升模型的訓練效果。

其主要作用包括以下幾個方面。

（1）穩定訓練過程：調整每層輸出的分布，使梯度在傳播過程中保持穩定，避免出現訓練震蕩或不收斂的問題。

（2）加速收斂：采用標準化處理方式降低了因參數初始化或輸入分布不均導致的模型訓練困難，從而顯著提高訓練效率。

（3）提升模型泛化能力：層歸一化可以有效降低模型對輸入變化的敏感性，使其對于不同測試數據的表現更加穩健。

在實現上，層歸一化與批量歸一化不同，它僅對單個樣本的特征進行歸一化，不依賴于小批量數據的統計特性，因此在Transformer等序列模型中尤為適用。

3．殘差連接與層歸一化的結合

在Transformer模型中，每個子層都通過殘差連接和層歸一化進行結構化組合，以確保模型訓練的穩定性和高效性。具體體現為以下兩個方面。

（1）殘差連接的作用：為每一層的輸出添加輸入的“跳躍連接”，形成一個短路通道，使模型更容易優化，同時避免信息的過度丟失。

（2）層歸一化的位置：通常在每個子層的輸出之后添加層歸一化處理，以規范化處理輸出分布，確保下一層能夠接收到穩定的輸入信號。

這種結合方式在提升模型表現的同時，顯著減少了深度網絡常見的優化問題，為Transformer模型的廣泛應用奠定了基礎。

4．DeepSeek-V3中的優化與創新

在DeepSeek-V3中，殘差連接與層歸一化的使用不僅繼承了Transformer的基本設計，還在以下多個方面進行了優化。

（1）增強的殘差機制：通過引入動態殘差比例調整策略，DeepSeek-V3能夠根據任務復雜度動態調整殘差連接的權重，提高模型在不同任務中的適應性。

（2）層歸一化的加速優化：DeepSeek-V3采用了稀疏矩陣計算方法，使層歸一化能夠在長序列任務中高效運行，同時降低了內存占用。

（3）結合MoE架構：在混合專家（Mixture of Experts，MoE）模型中，殘差連接和層歸一化被優化為能夠支持專家路由的形式，從而進一步提升了訓練效率和推理性能。

5．殘差連接與層歸一化的實際意義

殘差連接和層歸一化的結合是Transformer成功的關鍵，它們在保持模型深度的同時，解決了深層網絡中的梯度消失與訓練不穩定問題。通過這些技術，Transformer不僅實現了高效的序列建模，還為大規模預訓練模型提供了強大的結構基礎。

DeepSeek-V3在這些基礎技術上進行了深入優化，通過創新設計顯著提升了模型的效率與適應能力，使其能夠在多種復雜任務中展現卓越性能。無論是語言生成、代碼補全，還是數學推理，這些優化都為模型的卓越性能提供了技術保障。