1.1　Transformer的基本結構

Transformer模型憑借其靈活的模塊化設計和強大的并行計算能力，成為深度學習領域的里程碑。其核心架構基于Encoder-Decoder模型（見圖1-1），結合自注意力（Self-Attention）機制和多頭注意力（Multi-Head Attention）機制的創新設計，實現了對復雜序列關系的精準建模。

圖1-1　 Encoder-Decoder架構

同時，殘差連接與層歸一化（Layer Normalization）的引入，有效緩解了梯度消失和訓練不穩定等問題。本節將詳細解析Transformer的核心模塊，為讀者深入理解其他大模型的架構奠定技術基礎。