前言

以ChatGPT為代表的大型語言模型（簡稱大模型）首次實現(xiàn)了基于語言的智能涌現(xiàn)，推動了通用人工智能的技術(shù)飛躍和快速進化，大模型已成為人工智能領(lǐng)域的熱門發(fā)展方向，引起了國內(nèi)外的廣泛關(guān)注，成為全球科技競爭的焦點。

大模型技術(shù)通過強大的數(shù)據(jù)處理能力和廣泛的適用性，極大地提升了生產(chǎn)力，改變了生產(chǎn)要素的構(gòu)成。一方面，它加速了信息處理的速度和精度，使得數(shù)據(jù)成為新的生產(chǎn)資料，提高了知識創(chuàng)造和應(yīng)用的效率；另一方面，通過促進跨領(lǐng)域知識融合和技術(shù)迭代，大模型技術(shù)增強了勞動者的技能和創(chuàng)新能力，同時催生了新的商業(yè)模式和服務(wù)形態(tài)，從而推動了社會經(jīng)濟活動的整體智能化和數(shù)字化轉(zhuǎn)型。此外，大模型技術(shù)還通過提升自動化水平、優(yōu)化資源配置、促進個性化服務(wù)和強化決策支持，進一步釋放了生產(chǎn)潛能，推動了經(jīng)濟增長和社會進步。

為什么要寫這本書

當前，從國家到地方都在制定大模型的鼓勵政策，大模型技術(shù)發(fā)展得如火如荼。各AI（人工智能）相關(guān)的企業(yè)、科研院所以及高校迅速組建技術(shù)團隊研發(fā)大模型應(yīng)用產(chǎn)品，以參與到最新一輪的科技變革當中。

本書寫作的初衷是更好地幫助大模型領(lǐng)域的相關(guān)技術(shù)人員，讓他們跟上時代的步伐，盡快跨越從核心技術(shù)原理到領(lǐng)域?qū)嵺`的鴻溝。掌握這些技術(shù)不僅能夠幫助他們解決更為復(fù)雜的問題，提高開發(fā)效率，還能幫助他們參與到跨領(lǐng)域和傳統(tǒng)行業(yè)的數(shù)字化轉(zhuǎn)型項目中，為職業(yè)生涯開辟更廣闊的空間，進而利用大模型強大的數(shù)據(jù)處理能力，推動產(chǎn)業(yè)升級。

在本書的寫作過程中，大模型技術(shù)也在不斷變化。秉承大道至簡的原則，筆者一方面盡可能在大模型原理和技術(shù)章節(jié)統(tǒng)籌各種概念，另一方面盡可能在領(lǐng)域應(yīng)用章節(jié)跳出概念進行應(yīng)用實踐。筆者希望能拋磚引玉，以個人的一些想法和見解，為讀者拓展出更深入、更全面的思路去解決業(yè)務(wù)問題。

本書特色

1）本書基于中國科學技術(shù)大學（以下簡稱中國科大）研究團隊在大模型方面的技術(shù)積累，結(jié)合科大訊飛實驗室產(chǎn)品部在大模型方面的應(yīng)用實踐經(jīng)驗編寫而成，涉及多個領(lǐng)域的開發(fā)實踐，方便讀者觸類旁通，掌握一手的大模型應(yīng)用開發(fā)技術(shù)。

2）為了讓讀者輕松入門，本書將大模型的核心技術(shù)和技術(shù)拓展分開講解，并屏蔽了一些復(fù)雜的底層技術(shù)，讓讀者先打通原理層面，再結(jié)合實踐入門，為后續(xù)的深入學習打下基礎(chǔ)，避免因細節(jié)問題而停滯不前。當然，為了讓初級甚至無AI基礎(chǔ)的讀者能看懂基本原理，在一些AI術(shù)語第一次出現(xiàn)時給出簡單的介紹，既有良好的可讀性與一定的深度，也兼顧了整體內(nèi)容推進的合理性。

3）為了讓讀者快速掌握大模型應(yīng)用開發(fā)技術(shù)，本書詳細解釋了大模型開發(fā)過程中多種技術(shù)的應(yīng)用方式以及需要考慮的問題，幫助讀者提前定位業(yè)務(wù)問題，為實現(xiàn)大模型應(yīng)用的最佳效果打下堅實的基礎(chǔ)。

讀者對象

（1）應(yīng)用開發(fā)工程師

本書深入淺出地講解大模型的工作流程和技術(shù)原理，通過組合多種大模型行業(yè)應(yīng)用方式及多個大模型領(lǐng)域的應(yīng)用實踐案例，縮小了傳統(tǒng)應(yīng)用開發(fā)人員與大模型應(yīng)用開發(fā)人員之間的技術(shù)鴻溝，有助于傳統(tǒng)應(yīng)用開發(fā)工程師實現(xiàn)快速轉(zhuǎn)型。

（2）算法工程師

本書聚焦于核心技術(shù)原理，使算法工程師能夠快速理解大模型的工作流程、Transformer模型結(jié)構(gòu)、提示工程、模型微調(diào)技術(shù)等，并根據(jù)實際情況進行擴展學習，身臨其境地“體驗”各種場景，準確定位不同場景下的優(yōu)化重點，通過不同場景的模型微調(diào)實踐，快速適配合適的模型優(yōu)化方法。

（3）技術(shù)方案工程師

本書圍繞大模型的組合應(yīng)用方式，通過精心編寫每個實踐案例的應(yīng)用背景、環(huán)境構(gòu)建、代碼實現(xiàn)及部署評測，幫助技術(shù)方案工程師進行效果閉環(huán)驗證，從而實現(xiàn)大模型應(yīng)用的最佳效果，這對解決業(yè)務(wù)問題有很好的借鑒作用。

（4）提示工程師

本書圍繞提示工程的設(shè)計開發(fā)流程，詳細講解各種提示技巧，幫助提示工程師通過設(shè)計、實驗和優(yōu)化輸入（提示）來引導(dǎo)大模型輸出特定結(jié)果。

如何閱讀本書

本書共10章，從邏輯上分為“基礎(chǔ)知識”“原理與技術(shù)”“應(yīng)用開發(fā)實踐”三部分，從大模型概念引出大模型核心技術(shù)，再到多個行業(yè)實踐案例與代碼實現(xiàn)，層層推進，便于讀者的系統(tǒng)學習與落地應(yīng)用。

基礎(chǔ)知識（第1章），介紹大模型定義、應(yīng)用現(xiàn)狀、存在的問題，以及多個維度的發(fā)展趨勢。

原理與技術(shù)（第2章和第3章），詳細講解大模型的構(gòu)建流程，Transformer模型，以及模型微調(diào)、對齊優(yōu)化、提示工程等核心技術(shù)，之后介紹了推理優(yōu)化、大模型訓(xùn)練、大模型評估、大模型部署等拓展技術(shù)。

應(yīng)用開發(fā)實踐（第4～10章），詳細講解大模型插件應(yīng)用開發(fā)、RAG（檢索增強生成）實踐，以及智能客服問答、學科知識問答、法律領(lǐng)域應(yīng)用、醫(yī)療領(lǐng)域應(yīng)用、智能助寫平臺等多領(lǐng)域的實踐。

通過本書，讀者不僅能深入理解大模型的工作流程和技術(shù)原理，還能加深對大模型應(yīng)用場景的理解，準確定位不同場景下的優(yōu)化重點，提高大模型應(yīng)用開發(fā)能力，并提升解決業(yè)務(wù)問題的能力。

勘誤和支持

由于筆者水平有限，撰寫時間倉促，書中難免會出現(xiàn)一些不當之處，懇請讀者批評指正。限于篇幅，本書提及的一些文件和代碼（如第5～10章）只給出了關(guān)鍵信息，或直接引用了相關(guān)的代碼文件，讀者可以從GitHub上進行下載，下載路徑為https://github.com/datadance/book-llm.git。同時，你也可以通過AI技術(shù)交流QQ群435263033，或者郵箱datadance@163.com聯(lián)系我們。期待得到大家的反饋，讓我們在大模型應(yīng)用開發(fā)與領(lǐng)域?qū)嵺`的征程中互勉共進。

致謝

科大訊飛的于俊負責大模型概述、插件應(yīng)用開發(fā)實踐、RAG實踐、智能客服問答實踐等內(nèi)容的編寫，程禮磊負責學科知識問答實踐、法律領(lǐng)域應(yīng)用實踐、醫(yī)療領(lǐng)域應(yīng)用實踐等內(nèi)容的編寫。中國科大的程明月副研究員負責大模型核心技術(shù)、技術(shù)拓展內(nèi)容以及智能助寫平臺實踐的編寫。

感謝中國科大的研究生張征、楊紀千，以及科大訊飛的張志勇、王文輝、陶柘、汪得志、陳遷、丁可、張偉等技術(shù)專家，在本書編寫遇到困難的時候，他們一直給予我們鼓勵和支持，并提供了寶貴的意見，使本書的質(zhì)量更上一層樓。

本書參考了科大訊飛星火發(fā)布會的資料以及部分星火開源大模型的代碼和數(shù)據(jù)，并使用了智譜AI開源的ChatGLM3、GLM-4-9B-Chat等基礎(chǔ)模型，以及LangChain框架、Langchain-Chatchat框架、網(wǎng)易QAnything框架、訊飛開放平臺API、高德開放平臺API、AutoGen工具、DeepSpeed工具等公開資料，在這里特別致謝。

最后，感謝我的家人，他們的激勵給了我奮斗的信心和力量，他們的支持使得本書得以面世。

謹以此書獻給平凡世界中默默努力的小伙伴，以及眾多熱愛大模型技術(shù)的朋友。

于俊