隨著ChatGPT等大語言模型的迅速發展，大語言模型已經成為人工智能領域發展的快車道，不同領域涌現出各種強大的新模型。開發者想要獨立構建、部署符合自身需求的大語言模型，需要理解大語言模型的實現框架和基本原理。本書梳理大語言模型的發展，首先介紹Transformer模型的基本原理、結構和模塊及在NLP任務中的應用；然后介紹由只編碼（Encoder-Only）到只解碼（Decoder-Only）的技術路線發展過程中對應的BERT、GPT等大語言模型；接下來介紹大語言模型在部署、訓練、調優過程中涉及的各種關鍵技術，如自動并行、預訓練與微調、RLHF等，并提供相應的實踐指導；最后以開源大語言模型BLOOM和LLaMA為樣例，介紹其架構和實現過程，幫助讀者理解并構建、部署自己的大語言模型。本書還提供了基于MindSpore框架的豐富樣例代碼。本書適合人工智能、智能科學與技術、計算機科學與技術、電子信息工程、自動化等專業的本科生和研究生閱讀，同時也為從事大語言模型相關工作的軟件開發工程師和科研人員提供翔實的參考資料。