- 參考文獻 更新時間:2024-08-13 15:52:36
- 12.5 課后習題
- 12.4 小結
- 12.3.7 模型評估
- 12.3.6 保存模型
- 12.3.5 模型訓練
- 12.3.4 數據準備
- 12.3.3 載入模型
- 12.3.2 環境準備
- 12.3.1 模型使用申請
- 12.3 LLaMA2模型部署與微調
- 12.2.7 模型評估
- 12.2.6 保存模型
- 12.2.5 模型訓練
- 12.2.4 定義模型
- 12.2.3 數據準備
- 12.2.2 載入模型
- 12.2.1 環境準備
- 12.2 Baichuan2模型部署與微調
- 12.1.7 模型評估
- 12.1.6 保存模型
- 12.1.5 模型訓練
- 12.1.4 定義模型
- 12.1.3 數據準備
- 12.1.2 載入模型
- 12.1.1 環境準備
- 12.1 ChatGLM3模型部署與微調
- 第12章 常用開源模型的部署與微調
- 11.6 課后習題
- 11.5 小結
- 11.4.6 構建問答系統
- 11.4.5 創建向量數據庫
- 11.4.4 生成詞向量
- 11.4.3 構建提示詞模板
- 11.4.2 模型測試
- 11.4.1 環境準備
- 11.4 基于私域數據的問答系統
- 11.3.3 結合向量數據庫實現問答
- 11.3.2 長短文本總結
- 11.3.1 對話式檢索問答
- 11.3 進階實戰
- 11.2.4 Memory的用法
- 11.2.3 Agents的用法
- 11.2.2 Chains的用法
- 11.2.1 Prompts的用法
- 11.2 基礎操作
- 11.1.6 Agents
- 11.1.5 Chains
- 11.1.4 Memory
- 11.1.3 Indexes
- 11.1.2 Prompts
- 11.1.1 Models
- 11.1 LangChain組件
- 第11章 LangChain
- 10.4 課后習題
- 10.3 小結
- 10.2.5 狀態存儲
- 10.2.4 頁面布局API
- 10.2.3 控件API
- 10.2.2 數據展示API
- 10.2.1 安裝與配置
- 10.2 Streamlit
- 10.1.4 Blocks使用詳解
- 10.1.3 Interface使用詳解
- 10.1.2 常用操作
- 10.1.1 Gradio安裝
- 10.1 Gradio
- 第10章 前端可視化工具
- 9.5 課后習題
- 9.4 小結
- 9.3.2 基本操作
- 9.3.1 安裝與配置
- 9.3 Chroma
- 9.2.2 基本操作
- 9.2.1 注冊與配置
- 9.2 Pinecone
- 9.1.3 Milvus 2.0的基本操作
- 9.1.2 Milvus 1.0的基本操作
- 9.1.1 安裝與配置
- 9.1 Milvus
- 第9章 向量數據庫
- 8.6 課后習題
- 8.5 小結
- 8.4.9 模型測試
- 8.4.8 模型訓練
- 8.4.7 構建Transformer
- 8.4.6 編碼器與解碼器
- 8.4.5 前饋神經網絡
- 8.4.4 注意力計算
- 8.4.3 掩碼操作
- 8.4.2 位置編碼
- 8.4.1 數據準備與參數設置
- 8.4 構建Transformer模型
- 8.3 構建線性回歸模型
- 8.2.4 DataLoader
- 8.2.3 Autograd
- 8.2.2 CUDA張量
- 8.2.1 張量
- 8.2 基礎組件
- 8.1 安裝與配置
- 第8章 PyTorch框架
- 7.4 課后習題
- 7.3 小結
- 7.2.2 PagedAttention
- 7.2.1 KV Cache
- 7.2 推理服務提升技術
- 7.1.4 稀疏激活
- 7.1.3 模型剪枝
- 7.1.2 知識蒸餾
- 7.1.1 模型量化
- 7.1 模型壓縮和加速技術
- 第7章 模型推理
- 6.5 課后習題
- 6.4 小結
- 6.3.2 微調方法
- 6.3.1 關鍵步驟
- 6.3 PEFT庫
- 6.2.7 QLoRA
- 6.2.6 LoRA
- 6.2.5 P-tuning v2
- 6.2.4 P-tuning v1
- 6.2.3 Prompt tuning
- 6.2.2 Prefix tuning
- 6.2.1 Adapter tuning
- 6.2 PEFT技術
- 6.1 監督微調
- 第6章 模型微調
- 5.5 課后習題
- 5.4 小結
- 5.3.4 BMTrain
- 5.3.3 Colossal-AI
- 5.3.2 Megatron-LM
- 5.3.1 DeepSpeed
- 5.3 訓練加速工具
- 5.2.4 混合精度訓練
- 5.2.3 流水線并行
- 5.2.2 模型并行
- 5.2.1 數據并行
- 5.2 訓練優化技術
- 5.1 模型訓練挑戰
- 第5章 訓練優化
- 4.6 課后習題
- 4.5 小結
- 4.4 預訓練模型的應用
- 4.3.2 微調
- 4.3.1 遷移學習
- 4.3 應用于下游任務的方法
- 4.2 預訓練任務
- 4.1.3 掩碼預訓練
- 4.1.2 模型類型
- 4.1.1 發展歷程
- 4.1 預訓練介紹
- 第4章 預訓練
- 3.7 課后習題
- 3.6 小結
- 3.5.3 微調實踐
- 3.5.2 使用方法
- 3.5.1 基本組成
- 3.5 transformers庫
- 3.4 Q-Former
- 3.3.2 與Transformer對比
- 3.3.1 模型結構
- 3.3 Visual Transformer簡介
- 3.2.3 稀疏Transformer
- 3.2.2 整體結構
- 3.2.1 位置編碼
- 3.2 Transformer簡介
- 3.1.2 多頭自注意力機制
- 3.1.1 自注意力機制
- 3.1 注意力機制
- 第3章 Transformer
- 2.6 課后習題
- 2.5 小結
- 2.4.2 使用方法
- 2.4.1 安裝與配置
- 2.4 Datasets庫
- 2.3 圖文對數據預處理
- 2.2.3 圖像增強
- 2.2.2 圖像重采樣
- 2.2.1 圖像去噪
- 2.2 圖像數據預處理
- 2.1.4 常用類庫
- 2.1.3 處理手段
- 2.1.2 構造流程
- 2.1.1 構造方法
- 2.1 文本數據預處理
- 第2章 數據預處理
- 1.7 課后習題
- 1.6 小結
- 1.5.2 具身智能
- 1.5.1 AI智能體
- 1.5 未來發展方向
- 1.4 應用場景
- 1.3.6 模型應用
- 1.3.5 模型部署
- 1.3.4 模型訓練
- 1.3.3 模型設計
- 1.3.2 數據準備
- 1.3.1 確定項目目標
- 1.3 大模型的開發流程
- 1.2.4 帶插件系統的大模型
- 1.2.3 按微調方式劃分
- 1.2.2 按模態劃分
- 1.2.1 按模型結構劃分
- 1.2 大模型分類
- 1.1.3 關鍵術語
- 1.1.2 關鍵技術
- 1.1.1 生成原理
- 1.1 大模型介紹
- 第1章 大模型概述
- 資源與支持
- 前言
- 推薦語(排名不分先后)
- 內容提要
- 版權信息
- 封面
- 封面
- 版權信息
- 內容提要
- 推薦語(排名不分先后)
- 前言
- 資源與支持
- 第1章 大模型概述
- 1.1 大模型介紹
- 1.1.1 生成原理
- 1.1.2 關鍵技術
- 1.1.3 關鍵術語
- 1.2 大模型分類
- 1.2.1 按模型結構劃分
- 1.2.2 按模態劃分
- 1.2.3 按微調方式劃分
- 1.2.4 帶插件系統的大模型
- 1.3 大模型的開發流程
- 1.3.1 確定項目目標
- 1.3.2 數據準備
- 1.3.3 模型設計
- 1.3.4 模型訓練
- 1.3.5 模型部署
- 1.3.6 模型應用
- 1.4 應用場景
- 1.5 未來發展方向
- 1.5.1 AI智能體
- 1.5.2 具身智能
- 1.6 小結
- 1.7 課后習題
- 第2章 數據預處理
- 2.1 文本數據預處理
- 2.1.1 構造方法
- 2.1.2 構造流程
- 2.1.3 處理手段
- 2.1.4 常用類庫
- 2.2 圖像數據預處理
- 2.2.1 圖像去噪
- 2.2.2 圖像重采樣
- 2.2.3 圖像增強
- 2.3 圖文對數據預處理
- 2.4 Datasets庫
- 2.4.1 安裝與配置
- 2.4.2 使用方法
- 2.5 小結
- 2.6 課后習題
- 第3章 Transformer
- 3.1 注意力機制
- 3.1.1 自注意力機制
- 3.1.2 多頭自注意力機制
- 3.2 Transformer簡介
- 3.2.1 位置編碼
- 3.2.2 整體結構
- 3.2.3 稀疏Transformer
- 3.3 Visual Transformer簡介
- 3.3.1 模型結構
- 3.3.2 與Transformer對比
- 3.4 Q-Former
- 3.5 transformers庫
- 3.5.1 基本組成
- 3.5.2 使用方法
- 3.5.3 微調實踐
- 3.6 小結
- 3.7 課后習題
- 第4章 預訓練
- 4.1 預訓練介紹
- 4.1.1 發展歷程
- 4.1.2 模型類型
- 4.1.3 掩碼預訓練
- 4.2 預訓練任務
- 4.3 應用于下游任務的方法
- 4.3.1 遷移學習
- 4.3.2 微調
- 4.4 預訓練模型的應用
- 4.5 小結
- 4.6 課后習題
- 第5章 訓練優化
- 5.1 模型訓練挑戰
- 5.2 訓練優化技術
- 5.2.1 數據并行
- 5.2.2 模型并行
- 5.2.3 流水線并行
- 5.2.4 混合精度訓練
- 5.3 訓練加速工具
- 5.3.1 DeepSpeed
- 5.3.2 Megatron-LM
- 5.3.3 Colossal-AI
- 5.3.4 BMTrain
- 5.4 小結
- 5.5 課后習題
- 第6章 模型微調
- 6.1 監督微調
- 6.2 PEFT技術
- 6.2.1 Adapter tuning
- 6.2.2 Prefix tuning
- 6.2.3 Prompt tuning
- 6.2.4 P-tuning v1
- 6.2.5 P-tuning v2
- 6.2.6 LoRA
- 6.2.7 QLoRA
- 6.3 PEFT庫
- 6.3.1 關鍵步驟
- 6.3.2 微調方法
- 6.4 小結
- 6.5 課后習題
- 第7章 模型推理
- 7.1 模型壓縮和加速技術
- 7.1.1 模型量化
- 7.1.2 知識蒸餾
- 7.1.3 模型剪枝
- 7.1.4 稀疏激活
- 7.2 推理服務提升技術
- 7.2.1 KV Cache
- 7.2.2 PagedAttention
- 7.3 小結
- 7.4 課后習題
- 第8章 PyTorch框架
- 8.1 安裝與配置
- 8.2 基礎組件
- 8.2.1 張量
- 8.2.2 CUDA張量
- 8.2.3 Autograd
- 8.2.4 DataLoader
- 8.3 構建線性回歸模型
- 8.4 構建Transformer模型
- 8.4.1 數據準備與參數設置
- 8.4.2 位置編碼
- 8.4.3 掩碼操作
- 8.4.4 注意力計算
- 8.4.5 前饋神經網絡
- 8.4.6 編碼器與解碼器
- 8.4.7 構建Transformer
- 8.4.8 模型訓練
- 8.4.9 模型測試
- 8.5 小結
- 8.6 課后習題
- 第9章 向量數據庫
- 9.1 Milvus
- 9.1.1 安裝與配置
- 9.1.2 Milvus 1.0的基本操作
- 9.1.3 Milvus 2.0的基本操作
- 9.2 Pinecone
- 9.2.1 注冊與配置
- 9.2.2 基本操作
- 9.3 Chroma
- 9.3.1 安裝與配置
- 9.3.2 基本操作
- 9.4 小結
- 9.5 課后習題
- 第10章 前端可視化工具
- 10.1 Gradio
- 10.1.1 Gradio安裝
- 10.1.2 常用操作
- 10.1.3 Interface使用詳解
- 10.1.4 Blocks使用詳解
- 10.2 Streamlit
- 10.2.1 安裝與配置
- 10.2.2 數據展示API
- 10.2.3 控件API
- 10.2.4 頁面布局API
- 10.2.5 狀態存儲
- 10.3 小結
- 10.4 課后習題
- 第11章 LangChain
- 11.1 LangChain組件
- 11.1.1 Models
- 11.1.2 Prompts
- 11.1.3 Indexes
- 11.1.4 Memory
- 11.1.5 Chains
- 11.1.6 Agents
- 11.2 基礎操作
- 11.2.1 Prompts的用法
- 11.2.2 Chains的用法
- 11.2.3 Agents的用法
- 11.2.4 Memory的用法
- 11.3 進階實戰
- 11.3.1 對話式檢索問答
- 11.3.2 長短文本總結
- 11.3.3 結合向量數據庫實現問答
- 11.4 基于私域數據的問答系統
- 11.4.1 環境準備
- 11.4.2 模型測試
- 11.4.3 構建提示詞模板
- 11.4.4 生成詞向量
- 11.4.5 創建向量數據庫
- 11.4.6 構建問答系統
- 11.5 小結
- 11.6 課后習題
- 第12章 常用開源模型的部署與微調
- 12.1 ChatGLM3模型部署與微調
- 12.1.1 環境準備
- 12.1.2 載入模型
- 12.1.3 數據準備
- 12.1.4 定義模型
- 12.1.5 模型訓練
- 12.1.6 保存模型
- 12.1.7 模型評估
- 12.2 Baichuan2模型部署與微調
- 12.2.1 環境準備
- 12.2.2 載入模型
- 12.2.3 數據準備
- 12.2.4 定義模型
- 12.2.5 模型訓練
- 12.2.6 保存模型
- 12.2.7 模型評估
- 12.3 LLaMA2模型部署與微調
- 12.3.1 模型使用申請
- 12.3.2 環境準備
- 12.3.3 載入模型
- 12.3.4 數據準備
- 12.3.5 模型訓練
- 12.3.6 保存模型
- 12.3.7 模型評估
- 12.4 小結
- 12.5 課后習題
- 參考文獻 更新時間:2024-08-13 15:52:36