第2章 大模型網絡結構

近年來，深度學習領域涌現(xiàn)出許多優(yōu)秀的模型和技術。這些里程碑式的工作推動了自然語言處理領域的飛速發(fā)展，奠定了大模型的技術基礎。

本章主要介紹構成大模型的基本組件和基礎算法。我們首先從Seq2Seq網絡結構入手，介紹生成模型的基本結構；然后，深入探討注意力機制解決的問題；隨后，進一步剖析基于注意力機制構建的Transformer模型的結構，并特別介紹多頭注意力機制和位置編碼的細節(jié)，還闡述常見的詞元化方法；最后，詳細講解文本生成中的不同解碼策略及其應用。