1.2　注意力機制的核心原理

注意力機制是Transformer模型的核心技術，通過動態分配輸入序列中不同元素的重要性，實現了對復雜序列關系的高效建模。

本節從點積注意力與加性注意力的比較出發，闡明其在計算效率與適用場景上的差異，并詳細解析Softmax歸一化在注意力分數中的作用，展示其如何將分布映射為權重。

最后，針對大規模模型和長序列任務的需求，探討注意力矩陣的稀疏性及其優化技術，為理解深度學習中的計算加速策略奠定基礎。通過對這些關鍵內容的剖析，讀者可全面了解注意力機制在現代模型中的廣泛應用與技術細節。