舉報 
會員
揭秘大模型：從原理到實戰
文亮 江維 著
更新時間：2025-04-17 18:47:23
開會員，本書免費讀 >
最新章節：
12.8 參考文獻
本書從技術角度深度解析大模型的原理，從大模型的基礎概念及領域發展現狀入手，概述大模型的理論基礎，介紹OpenAIGPT、清華大學GLM、MetaLlama等主流大模型的技術原理，并從大模型參數高效微調、大模型指令微調、大模型訓練優化和大模型推理優化等多角度解析大模型背后的技術，帶領讀者全方位掌握大模型的原理和實踐方法。本書最后介紹私有大模型的構建，手把手指導讀者做技術選型并搭建自己的私有大模型。本書適合人工智能領域有大模型開發需求或對大模型技術感興趣的技術人員閱讀，也適合普通用戶擴展了解大模型的前沿應用。
- 12.8 參考文獻 更新時間：2025-04-17 18:47:23
- 12.7 小結
- 12.6.5 程序思維提示——解決復雜數值推理
- 12.6.4 災難性遺忘問題
- 12.6.3 部署私有大模型
- 12.6.2 有監督微調
- 12.6.1 數據準備
- 12.6 構建自己的私有大模型
- 12.5.4 多卡部署
- 12.5.3 Mac部署
- 12.5.2 CPU部署
- 12.5.1 模型量化
- 12.5 低成本部署
- 12.4.3 命令行交互
- 12.4.2 網頁版啟動
- 12.4.1 代碼調用
- 12.4 模型加載
- 12.3 環境安裝
- 12.2 選擇基座模型
- 12.1 大模型百花齊放
- 第12章 構建私有大模型
- 11.5 參考文獻
- 11.4 小結
- 11.3.4 預訓練+兩階段/端到端+ID特征模式
- 11.3.3 預訓練+兩階段/端到端模式
- 11.3.2 端到端模式
- 11.3.1 兩階段模式
- 11.3 大模型和推薦系統的結合效果
- 11.2.3 基于行為序列微調大模型
- 11.2.2 基于大模型建模行為序列
- 11.2.1 基于大模型構建特征
- 11.2 大模型和推薦系統的3種不同結合方法
- 11.1 大模型和推薦系統的異同
- 第11章 大模型和推薦系統結合
- 10.7 參考文獻
- 10.6 小結
- 10.5.5 Stable Diffusion應用場景
- 10.5.4 Stable Diffusion的完整流程
- 10.5.3 Stable Diffusion反向去噪過程優化
- 10.5.2 Stable Diffusion前向擴散過程優化
- 10.5.1 Stable Diffusion的文字生成圖像過程
- 10.5 去噪擴散概率模型改進版——Stable Diffusion
- 10.4.4 引入文字的去噪擴散概率模型的訓練過程
- 10.4.3 在U-Net模型中使用文本向量
- 10.4.2 利用CLIP模型生成文本向量
- 10.4.1 去噪擴散概率模型的文字生成圖像過程
- 10.4 引入文字的去噪擴散概率模型
- 10.3.3 去噪擴散概率模型實戰——生成手寫體數字圖像
- 10.3.2 去噪擴散概率模型的訓練過程
- 10.3.1 去噪擴散概率模型的原理
- 10.3 AIGC主流模型——去噪擴散概率模型
- 10.2.3 生成對抗網絡實戰——生成手寫體數字圖像
- 10.2.2 生成對抗網絡的訓練過程
- 10.2.1 生成對抗網絡的模型結構
- 10.2 生成對抗網絡
- 10.1 AIGC引來新一輪投資熱
- 第10章 AIGC和大模型結合
- 9.3 小結
- 9.2.5 聯合采樣
- 9.2.4 溫度采樣
- 9.2.3 top-p采樣
- 9.2.2 top-k采樣
- 9.2.1 束搜索
- 9.2 大模型文本生成的解碼策略
- 9.1.2 對稱量化和非對稱量化
- 9.1.1 量化的優勢
- 9.1 大模型量化
- 第9章 大模型推理優化
- 8.7 參考文獻
- 8.6 小結
- 8.5 大模型并行訓練
- 8.4 樣本拼接
- 8.3.3 混合精度訓練相關技術
- 8.3.2 使用FP16訓練神經網絡的問題
- 8.3.1 浮點數據類型
- 8.3 大模型混合精度訓練
- 8.2.7 旋轉位置編碼的外推性
- 8.2.6 Llama和ChatGLM中的旋轉位置編碼實現
- 8.2.5 旋轉位置編碼的遠程衰減
- 8.2.4 旋轉位置編碼的高效計算
- 8.2.3 多維旋轉位置編碼
- 8.2.2 二維旋轉位置編碼
- 8.2.1 傳統位置編碼——絕對位置編碼
- 8.2 旋轉位置編碼
- 8.1.2 稀疏Transformer實現原理
- 8.1.1 稀疏Transformer提出背景
- 8.1 稀疏Transformer
- 第8章 大模型訓練優化
- 7.6 參考文獻
- 7.5 小結
- 7.4 谷歌指令微調數據集——Flan 2022
- 7.3.7 思維鏈的局限
- 7.3.6 微調思維鏈
- 7.3.5 大模型微調
- 7.3.4 最少到最多提示過程
- 7.3.3 多數投票——自洽性
- 7.3.2 零樣本提示思維鏈
- 7.3.1 思維鏈的開山之作——思維鏈提示
- 7.3 大模型思維鏈——優化模型推理能力
- 7.2 指令微調和提示的異同
- 7.1 指令微調
- 第7章 大模型指令微調
- 6.9 參考文獻
- 6.8 小結
- 6.7.2 安裝P-Tuning v2環境依賴
- 6.7.1 安裝ChatGLM2-6B環境依賴
- 6.7 大模型參數高效微調實踐
- 6.6 P-Tuning改進版——P-Tuning v2
- 6.5 清華大學參數微調——P-Tuning
- 6.4 谷歌微調方法——Prompt Tuning
- 6.3 斯坦福輕量級微調——Prefix-Tuning
- 6.2 谷歌參數高效微調——Adapter Tuning
- 6.1.3 LoRA開源實現
- 6.1.2 LoRA低秩矩陣初始化
- 6.1.1 LoRA基本原理
- 6.1 LoRA——低秩矩陣分解
- 第6章 大模型參數高效微調
- 5.6 參考文獻
- 5.5 小結
- 5.4.2 微調Llama 2
- 5.4.1 Hugging Face玩轉Llama 2
- 5.4 Llama 2應用實踐
- 5.3.4 基于人類反饋的強化學習
- 5.3.3 Llama 2有監督微調
- 5.3.2 Llama 2預訓練
- 5.3.1 Llama 2簡介
- 5.3 Llama改進版——Llama 2
- 5.2.3 Llama優化器
- 5.2.2 Llama的模型結構
- 5.2.1 Llama預訓練數據
- 5.2 Llama技術原理
- 5.1 Llama簡介
- 第5章 Meta開源大模型——Llama
- 4.6 參考文獻
- 4.5 小結
- 4.4.3 效果評估
- 4.4.2 全參數微調
- 4.4.1 代碼結構
- 4.4 GLM-10B全參數微調實踐
- 4.3.3 效果評估
- 4.3.2 全參數微調
- 4.3.1 環境搭建
- 4.3 ChatGLM-6B全參數微調實踐
- 4.2.4 效果評估
- 4.2.3 微調GLM
- 4.2.2 GLM的模型結構
- 4.2.1 預訓練目標
- 4.2 GLM技術原理
- 4.1 GLM簡介
- 第4章 清華大學通用預訓練模型——GLM
- 3.8 參考文獻
- 3.7 小結
- 3.6.4 GPT-4應用
- 3.6.3 GPT-4性能分析
- 3.6.2 大模型預測擴展
- 3.6.1 GPT-4的涌現能力
- 3.6 GPT-4
- 3.5.5 ChatGPT應用
- 3.5.4 使用強化學習微調預訓練模型
- 3.5.3 訓練獎勵模型
- 3.5.2 有監督微調
- 3.5.1 真正的通用人工智能——ChatGPT
- 3.5 橫空出世——ChatGPT
- 3.4.2 GPT-3多項任務評估
- 3.4.1 GPT-3的模型結構
- 3.4 GPT-3技術原理
- 3.3.2 GPT-2應用實踐——文本分類和文本生成
- 3.3.1 GPT-2的模型結構
- 3.3 GPT-2技術原理
- 3.2.2 GPT-1應用實踐——中文文本分類
- 3.2.1 GPT-1的模型結構
- 3.2 GPT-1技術原理
- 3.1 GPT發展歷史——從GPT-1到GPT-4
- 第3章 OpenAI GPT系列大模型
- 2.6 參考文獻
- 2.5 小結
- 2.4.2 英文翻譯為中文
- 2.4.1 葡萄牙文翻譯為英文
- 2.4 Transformer應用實踐——機器翻譯
- 2.3.6 Softmax輸出
- 2.3.5 解碼器結構
- 2.3.4 編碼器結構
- 2.3.3 多頭注意力
- 2.3.2 Transformer輸入表示
- 2.3.1 Transformer的模型結構
- 2.3 大模型基礎結構——Transformer
- 2.2.3 門控循環單元（GRU）
- 2.2.2 長短期記憶（LSTM）網絡
- 2.2.1 循環神經網絡（RNN）
- 2.2 傳統語言模型
- 2.1 什么是語言模型
- 第2章 大模型理論基礎
- 1.6 參考文獻
- 1.5 小結
- 1.4.3 GPT是對數據的無損壓縮
- 1.4.2 如何實現無損壓縮
- 1.4.1 直觀理解通用人工智能
- 1.4 壓縮即智能——為什么ChatGPT擁有智能
- 1.3 百花齊放——大模型發展現狀
- 1.2 大模型的概念
- 1.1.2 國內大模型——360智腦
- 1.1.1 OpenAI大模型ChatGPT
- 1.1 大模型初探
- 第1章 大模型簡介
- 關于異步社區和異步圖書
- 與我們聯系
- 提交勘誤
- 配套資源
- 資源與支持
- 讀者對象
- 本書結構
- 寫作目的
- 寫作背景
- 前言
- 內容提要
- 版權
- 版權信息
- 封面
- 封面
- 版權信息
- 版權
- 內容提要
- 前言
- 寫作背景
- 寫作目的
- 本書結構
- 讀者對象
- 資源與支持
- 配套資源
- 提交勘誤
- 與我們聯系
- 關于異步社區和異步圖書
- 第1章 大模型簡介
- 1.1 大模型初探
- 1.1.1 OpenAI大模型ChatGPT
- 1.1.2 國內大模型——360智腦
- 1.2 大模型的概念
- 1.3 百花齊放——大模型發展現狀
- 1.4 壓縮即智能——為什么ChatGPT擁有智能
- 1.4.1 直觀理解通用人工智能
- 1.4.2 如何實現無損壓縮
- 1.4.3 GPT是對數據的無損壓縮
- 1.5 小結
- 1.6 參考文獻
- 第2章 大模型理論基礎
- 2.1 什么是語言模型
- 2.2 傳統語言模型
- 2.2.1 循環神經網絡（RNN）
- 2.2.2 長短期記憶（LSTM）網絡
- 2.2.3 門控循環單元（GRU）
- 2.3 大模型基礎結構——Transformer
- 2.3.1 Transformer的模型結構
- 2.3.2 Transformer輸入表示
- 2.3.3 多頭注意力
- 2.3.4 編碼器結構
- 2.3.5 解碼器結構
- 2.3.6 Softmax輸出
- 2.4 Transformer應用實踐——機器翻譯
- 2.4.1 葡萄牙文翻譯為英文
- 2.4.2 英文翻譯為中文
- 2.5 小結
- 2.6 參考文獻
- 第3章 OpenAI GPT系列大模型
- 3.1 GPT發展歷史——從GPT-1到GPT-4
- 3.2 GPT-1技術原理
- 3.2.1 GPT-1的模型結構
- 3.2.2 GPT-1應用實踐——中文文本分類
- 3.3 GPT-2技術原理
- 3.3.1 GPT-2的模型結構
- 3.3.2 GPT-2應用實踐——文本分類和文本生成
- 3.4 GPT-3技術原理
- 3.4.1 GPT-3的模型結構
- 3.4.2 GPT-3多項任務評估
- 3.5 橫空出世——ChatGPT
- 3.5.1 真正的通用人工智能——ChatGPT
- 3.5.2 有監督微調
- 3.5.3 訓練獎勵模型
- 3.5.4 使用強化學習微調預訓練模型
- 3.5.5 ChatGPT應用
- 3.6 GPT-4
- 3.6.1 GPT-4的涌現能力
- 3.6.2 大模型預測擴展
- 3.6.3 GPT-4性能分析
- 3.6.4 GPT-4應用
- 3.7 小結
- 3.8 參考文獻
- 第4章 清華大學通用預訓練模型——GLM
- 4.1 GLM簡介
- 4.2 GLM技術原理
- 4.2.1 預訓練目標
- 4.2.2 GLM的模型結構
- 4.2.3 微調GLM
- 4.2.4 效果評估
- 4.3 ChatGLM-6B全參數微調實踐
- 4.3.1 環境搭建
- 4.3.2 全參數微調
- 4.3.3 效果評估
- 4.4 GLM-10B全參數微調實踐
- 4.4.1 代碼結構
- 4.4.2 全參數微調
- 4.4.3 效果評估
- 4.5 小結
- 4.6 參考文獻
- 第5章 Meta開源大模型——Llama
- 5.1 Llama簡介
- 5.2 Llama技術原理
- 5.2.1 Llama預訓練數據
- 5.2.2 Llama的模型結構
- 5.2.3 Llama優化器
- 5.3 Llama改進版——Llama 2
- 5.3.1 Llama 2簡介
- 5.3.2 Llama 2預訓練
- 5.3.3 Llama 2有監督微調
- 5.3.4 基于人類反饋的強化學習
- 5.4 Llama 2應用實踐
- 5.4.1 Hugging Face玩轉Llama 2
- 5.4.2 微調Llama 2
- 5.5 小結
- 5.6 參考文獻
- 第6章 大模型參數高效微調
- 6.1 LoRA——低秩矩陣分解
- 6.1.1 LoRA基本原理
- 6.1.2 LoRA低秩矩陣初始化
- 6.1.3 LoRA開源實現
- 6.2 谷歌參數高效微調——Adapter Tuning
- 6.3 斯坦福輕量級微調——Prefix-Tuning
- 6.4 谷歌微調方法——Prompt Tuning
- 6.5 清華大學參數微調——P-Tuning
- 6.6 P-Tuning改進版——P-Tuning v2
- 6.7 大模型參數高效微調實踐
- 6.7.1 安裝ChatGLM2-6B環境依賴
- 6.7.2 安裝P-Tuning v2環境依賴
- 6.8 小結
- 6.9 參考文獻
- 第7章 大模型指令微調
- 7.1 指令微調
- 7.2 指令微調和提示的異同
- 7.3 大模型思維鏈——優化模型推理能力
- 7.3.1 思維鏈的開山之作——思維鏈提示
- 7.3.2 零樣本提示思維鏈
- 7.3.3 多數投票——自洽性
- 7.3.4 最少到最多提示過程
- 7.3.5 大模型微調
- 7.3.6 微調思維鏈
- 7.3.7 思維鏈的局限
- 7.4 谷歌指令微調數據集——Flan 2022
- 7.5 小結
- 7.6 參考文獻
- 第8章 大模型訓練優化
- 8.1 稀疏Transformer
- 8.1.1 稀疏Transformer提出背景
- 8.1.2 稀疏Transformer實現原理
- 8.2 旋轉位置編碼
- 8.2.1 傳統位置編碼——絕對位置編碼
- 8.2.2 二維旋轉位置編碼
- 8.2.3 多維旋轉位置編碼
- 8.2.4 旋轉位置編碼的高效計算
- 8.2.5 旋轉位置編碼的遠程衰減
- 8.2.6 Llama和ChatGLM中的旋轉位置編碼實現
- 8.2.7 旋轉位置編碼的外推性
- 8.3 大模型混合精度訓練
- 8.3.1 浮點數據類型
- 8.3.2 使用FP16訓練神經網絡的問題
- 8.3.3 混合精度訓練相關技術
- 8.4 樣本拼接
- 8.5 大模型并行訓練
- 8.6 小結
- 8.7 參考文獻
- 第9章 大模型推理優化
- 9.1 大模型量化
- 9.1.1 量化的優勢
- 9.1.2 對稱量化和非對稱量化
- 9.2 大模型文本生成的解碼策略
- 9.2.1 束搜索
- 9.2.2 top-k采樣
- 9.2.3 top-p采樣
- 9.2.4 溫度采樣
- 9.2.5 聯合采樣
- 9.3 小結
- 第10章 AIGC和大模型結合
- 10.1 AIGC引來新一輪投資熱
- 10.2 生成對抗網絡
- 10.2.1 生成對抗網絡的模型結構
- 10.2.2 生成對抗網絡的訓練過程
- 10.2.3 生成對抗網絡實戰——生成手寫體數字圖像
- 10.3 AIGC主流模型——去噪擴散概率模型
- 10.3.1 去噪擴散概率模型的原理
- 10.3.2 去噪擴散概率模型的訓練過程
- 10.3.3 去噪擴散概率模型實戰——生成手寫體數字圖像
- 10.4 引入文字的去噪擴散概率模型
- 10.4.1 去噪擴散概率模型的文字生成圖像過程
- 10.4.2 利用CLIP模型生成文本向量
- 10.4.3 在U-Net模型中使用文本向量
- 10.4.4 引入文字的去噪擴散概率模型的訓練過程
- 10.5 去噪擴散概率模型改進版——Stable Diffusion
- 10.5.1 Stable Diffusion的文字生成圖像過程
- 10.5.2 Stable Diffusion前向擴散過程優化
- 10.5.3 Stable Diffusion反向去噪過程優化
- 10.5.4 Stable Diffusion的完整流程
- 10.5.5 Stable Diffusion應用場景
- 10.6 小結
- 10.7 參考文獻
- 第11章 大模型和推薦系統結合
- 11.1 大模型和推薦系統的異同
- 11.2 大模型和推薦系統的3種不同結合方法
- 11.2.1 基于大模型構建特征
- 11.2.2 基于大模型建模行為序列
- 11.2.3 基于行為序列微調大模型
- 11.3 大模型和推薦系統的結合效果
- 11.3.1 兩階段模式
- 11.3.2 端到端模式
- 11.3.3 預訓練+兩階段/端到端模式
- 11.3.4 預訓練+兩階段/端到端+ID特征模式
- 11.4 小結
- 11.5 參考文獻
- 第12章 構建私有大模型
- 12.1 大模型百花齊放
- 12.2 選擇基座模型
- 12.3 環境安裝
- 12.4 模型加載
- 12.4.1 代碼調用
- 12.4.2 網頁版啟動
- 12.4.3 命令行交互
- 12.5 低成本部署
- 12.5.1 模型量化
- 12.5.2 CPU部署
- 12.5.3 Mac部署
- 12.5.4 多卡部署
- 12.6 構建自己的私有大模型
- 12.6.1 數據準備
- 12.6.2 有監督微調
- 12.6.3 部署私有大模型
- 12.6.4 災難性遺忘問題
- 12.6.5 程序思維提示——解決復雜數值推理
- 12.7 小結
- 12.8 參考文獻 更新時間：2025-04-17 18:47:23
