最新章節

• 看完了
• 六、在有限預算下開發推理模型
• 五、關于 DeepSeek R1的思考
• 四、構建和優化推理模型的四大核心方法
• 三、簡要介紹 DeepSeek R1的訓練流程
• 二、何時應該使用推理模型

• 看完了 更新時間：2025-05-07 11:44:47
• 六、在有限預算下開發推理模型
• 五、關于 DeepSeek R1的思考
• 四、構建和優化推理模型的四大核心方法
• 三、簡要介紹 DeepSeek R1的訓練流程
• 二、何時應該使用推理模型
• 一、如何定義“推理模型”
• 附錄F 理解推理大語言模型：構建與優化推理模型的方法和策略
• E.4 使用 LoRA 進行參數高效微調
• E.3 初始化模型
• E.2 準備數據集
• E.1 LoRA簡介
• 附錄E 使用 LoRA 進行參數高效微調
• D.4 修改的訓練函數
• D.3 梯度裁剪
• D.2 余弦衰減
• D.1 學習率預熱
• 附錄D 為訓練循環添加更多細節和優化功能
• 附錄A
• 第7章
• 第6章
• 第5章
• 第4章
• 第3章
• 第2章
• 附錄C 練習的解決方案
• 附錄A
• 第7章
• 第6章
• 第5章
• 第4章
• 第3章
• 第2章
• 第1章
• 附錄B 參考文獻和延伸閱讀
• A.10 小結
• A.9.3 使用多個GPU訓練
• A.9.2 單個GPU訓練
• A.9.1 在GPU設備上運行PyTorch
• A.9 使用GPU優化訓練性能
• A.8 保存和加載模型
• A.7 典型的訓練循環
• A.6 設置高效的數據加載器
• A.5 實現多層神經網絡
• A.4 輕松實現自動微分
• A.3 將模型視為計算圖
• A.2.3 常見的PyTorch張量操作
• A.2.2 張量數據類型
• A.2.1 標量、向量、矩陣和張量
• A.2 理解張量
• A.1.3 安裝PyTorch
• A.1.2 定義深度學習
• A.1.1 PyTorch的三大核心組件
• A.1 什么是PyTorch
• 附錄A PyTorch簡介
• 7.10 小結
• 7.9.3 寫在最后
• 7.9.2 跟上領域的最新進展
• 7.9.1 下一步
• 7.9 結論
• 7.8 評估微調后的大語言模型
• 7.7 抽取并保存模型回復
• 7.6 在指令數據上微調大語言模型
• 7.5 加載預訓練的大語言模型
• 7.4 創建指令數據集的數據加載器
• 7.3 將數據組織成訓練批次
• 7.2 為有監督指令微調準備數據集
• 7.1 指令微調介紹
• 第7章 通過微調遵循人類指令
• 6.9 小結
• 6.8 使用大語言模型作為垃圾消息分類器
• 6.7 在有監督數據上微調模型
• 6.6 計算分類損失和準確率
• 6.5 添加分類頭
• 6.4 初始化帶有預訓練權重的模型
• 6.3 創建數據加載器
• 6.2 準備數據集
• 6.1 不同類型的微調
• 第6章 針對分類的微調
• 5.6 小結
• 5.5 從OpenAI加載預訓練權重
• 5.4 使用PyTorch加載和保存模型權重
• 5.3.3 修改文本生成函數
• 5.3.2 Top-k采樣
• 5.3.1 溫度縮放
• 5.3 控制隨機性的解碼策略
• 5.2 訓練大語言模型
• 5.1.3 計算訓練集和驗證集的損失
• 5.1.2 計算文本生成損失
• 5.1.1 使用GPT來生成文本
• 5.1 評估文本生成模型
• 第5章 在無標簽數據上進行預訓練
• 4.8 小結
• 4.7 生成文本
• 4.6 實現GPT模型
• 4.5 連接Transformer塊中的注意力層和線性層
• 4.4 添加快捷連接
• 4.3 實現具有GELU激活函數的前饋神經網絡
• 4.2 使用層歸一化進行歸一化激活
• 4.1 構建一個大語言模型架構
• 第4章 從頭實現GPT模型進行文本生成
• 3.7 小結
• 3.6.2 通過權重劃分實現多頭注意力
• 3.6.1 疊加多個單頭注意力層
• 3.6 將單頭注意力擴展到多頭注意力
• 3.5.3 實現一個簡化的因果注意力類
• 3.5.2 利用dropout掩碼額外的注意力權重
• 3.5.1 因果注意力的掩碼實現
• 3.5 利用因果注意力隱藏未來詞匯
• 3.4.2 實現一個簡化的自注意Python類
• 3.4.1 逐步計算注意力權重
• 3.4 實現帶可訓練權重的自注意力機制
• 3.3.2 計算所有輸入詞元的注意力權重
• 3.3.1 沒有可訓練權重的簡單自注意力機制
• 3.3 通過自注意力機制關注輸入的不同部分
• 3.2 使用注意力機制捕捉數據依賴關系
• 3.1 長序列建模中的問題
• 第3章 編碼注意力機制
• 2.9 小結
• 2.8 編碼單詞位置信息
• 2.7 創建詞元嵌入
• 2.6 使用滑動窗口進行數據采樣
• 2.5 BPE
• 2.4 引入特殊上下文詞元
• 2.3 將詞元轉換為詞元ID
• 2.2 文本分詞
• 2.1 理解詞嵌入
• 第2章 處理文本數據
• 1.8 小結
• 1.7 構建大語言模型
• 1.6 深入剖析GPT架構
• 1.5 利用大型數據集
• 1.4 Transformer架構介紹
• 1.3 構建和使用大語言模型的各個階段
• 1.2 大語言模型的應用
• 1.1 什么是大語言模型
• 第1章 理解大語言模型
• 關于封面插圖
• 其他在線資源
• 本書論壇
• 關于代碼
• 本書結構概覽
• 目標讀者
• 關于本書
• 致謝
• 前言
• 版權聲明
• 版權信息
• 封面

• 封面
• 版權信息
• 版權聲明
• 前言
• 致謝
• 關于本書
• 目標讀者
• 本書結構概覽
• 關于代碼
• 本書論壇
• 其他在線資源
• 關于封面插圖
• 第1章 理解大語言模型
• 1.1 什么是大語言模型
• 1.2 大語言模型的應用
• 1.3 構建和使用大語言模型的各個階段
• 1.4 Transformer架構介紹
• 1.5 利用大型數據集
• 1.6 深入剖析GPT架構
• 1.7 構建大語言模型
• 1.8 小結
• 第2章 處理文本數據
• 2.1 理解詞嵌入
• 2.2 文本分詞
• 2.3 將詞元轉換為詞元ID
• 2.4 引入特殊上下文詞元
• 2.5 BPE
• 2.6 使用滑動窗口進行數據采樣
• 2.7 創建詞元嵌入
• 2.8 編碼單詞位置信息
• 2.9 小結
• 第3章 編碼注意力機制
• 3.1 長序列建模中的問題
• 3.2 使用注意力機制捕捉數據依賴關系
• 3.3 通過自注意力機制關注輸入的不同部分
• 3.3.1 沒有可訓練權重的簡單自注意力機制
• 3.3.2 計算所有輸入詞元的注意力權重
• 3.4 實現帶可訓練權重的自注意力機制
• 3.4.1 逐步計算注意力權重
• 3.4.2 實現一個簡化的自注意Python類
• 3.5 利用因果注意力隱藏未來詞匯
• 3.5.1 因果注意力的掩碼實現
• 3.5.2 利用dropout掩碼額外的注意力權重
• 3.5.3 實現一個簡化的因果注意力類
• 3.6 將單頭注意力擴展到多頭注意力
• 3.6.1 疊加多個單頭注意力層
• 3.6.2 通過權重劃分實現多頭注意力
• 3.7 小結
• 第4章 從頭實現GPT模型進行文本生成
• 4.1 構建一個大語言模型架構
• 4.2 使用層歸一化進行歸一化激活
• 4.3 實現具有GELU激活函數的前饋神經網絡
• 4.4 添加快捷連接
• 4.5 連接Transformer塊中的注意力層和線性層
• 4.6 實現GPT模型
• 4.7 生成文本
• 4.8 小結
• 第5章 在無標簽數據上進行預訓練
• 5.1 評估文本生成模型
• 5.1.1 使用GPT來生成文本
• 5.1.2 計算文本生成損失
• 5.1.3 計算訓練集和驗證集的損失
• 5.2 訓練大語言模型
• 5.3 控制隨機性的解碼策略
• 5.3.1 溫度縮放
• 5.3.2 Top-k采樣
• 5.3.3 修改文本生成函數
• 5.4 使用PyTorch加載和保存模型權重
• 5.5 從OpenAI加載預訓練權重
• 5.6 小結
• 第6章 針對分類的微調
• 6.1 不同類型的微調
• 6.2 準備數據集
• 6.3 創建數據加載器
• 6.4 初始化帶有預訓練權重的模型
• 6.5 添加分類頭
• 6.6 計算分類損失和準確率
• 6.7 在有監督數據上微調模型
• 6.8 使用大語言模型作為垃圾消息分類器
• 6.9 小結
• 第7章 通過微調遵循人類指令
• 7.1 指令微調介紹
• 7.2 為有監督指令微調準備數據集
• 7.3 將數據組織成訓練批次
• 7.4 創建指令數據集的數據加載器
• 7.5 加載預訓練的大語言模型
• 7.6 在指令數據上微調大語言模型
• 7.7 抽取并保存模型回復
• 7.8 評估微調后的大語言模型
• 7.9 結論
• 7.9.1 下一步
• 7.9.2 跟上領域的最新進展
• 7.9.3 寫在最后
• 7.10 小結
• 附錄A PyTorch簡介
• A.1 什么是PyTorch
• A.1.1 PyTorch的三大核心組件
• A.1.2 定義深度學習
• A.1.3 安裝PyTorch
• A.2 理解張量
• A.2.1 標量、向量、矩陣和張量
• A.2.2 張量數據類型
• A.2.3 常見的PyTorch張量操作
• A.3 將模型視為計算圖
• A.4 輕松實現自動微分
• A.5 實現多層神經網絡
• A.6 設置高效的數據加載器
• A.7 典型的訓練循環
• A.8 保存和加載模型
• A.9 使用GPU優化訓練性能
• A.9.1 在GPU設備上運行PyTorch
• A.9.2 單個GPU訓練
• A.9.3 使用多個GPU訓練
• A.10 小結
• 附錄B 參考文獻和延伸閱讀
• 第1章
• 第2章
• 第3章
• 第4章
• 第5章
• 第6章
• 第7章
• 附錄A
• 附錄C 練習的解決方案
• 第2章
• 第3章
• 第4章
• 第5章
• 第6章
• 第7章
• 附錄A
• 附錄D 為訓練循環添加更多細節和優化功能
• D.1 學習率預熱
• D.2 余弦衰減
• D.3 梯度裁剪
• D.4 修改的訓練函數
• 附錄E 使用 LoRA 進行參數高效微調
• E.1 LoRA簡介
• E.2 準備數據集
• E.3 初始化模型
• E.4 使用 LoRA 進行參數高效微調
• 附錄F 理解推理大語言模型：構建與優化推理模型的方法和策略
• 一、如何定義“推理模型”
• 二、何時應該使用推理模型
• 三、簡要介紹 DeepSeek R1的訓練流程
• 四、構建和優化推理模型的四大核心方法
• 五、關于 DeepSeek R1的思考
• 六、在有限預算下開發推理模型
• 看完了 更新時間：2025-05-07 11:44:47