舉報

會員
從零開始大模型開發與微調:基于PyTorch與ChatGLM
最新章節:
18.5 本章小結
大模型是深度學習自然語言處理皇冠上的一顆明珠,也是當前AI和NLP研究與產業中最重要的方向之一。本書使用PyTorch2.0作為學習大模型的基本框架,以ChatGLM為例詳細講解大模型的基本理論、算法、程序實現、應用實戰以及微調技術,為讀者揭示大模型開發技術。《從零開始大模型開發與微調:基于PyTorch與ChatGLM》共18章,內容包括人工智能與大模型、PyTorch2.0深度學習環境搭建、從零開始學習PyTorch2.0、深度學習基礎算法詳解、基于PyTorch卷積層的MNIST分類實戰、PyTorch數據處理與模型展示、ResNet實戰、有趣的詞嵌入、基于PyTorch循環神經網絡的中文情感分類實戰、自然語言處理的編碼器、預訓練模型BERT、自然語言處理的解碼器、強化學習實戰、只具有解碼器的GPT-2模型、實戰訓練自己的ChatGPT、開源大模型ChatGLM使用詳解、ChatGLM高級定制化應用實戰、對ChatGLM進行高級微調。《從零開始大模型開發與微調:基于PyTorch與ChatGLM》適合PyTorch深度學習初學者、大模型開發初學者、大模型開發人員學習,也適合高等院校人工智能、智能科學與技術、數據科學與大數據技術、計算機科學與技術等專業的師生作為教學參考書。
最新章節
- 18.5 本章小結
- 18.4.3 Huggingface專用PEFT的使用
- 18.4.2 PEFT的使用與參數設計
- 18.4.1 PEFT技術詳解
- 18.4 高級微調方法3——基于Huggingface的PEFT模型微調
- 18.3.5 基于基本原理的LoRA實現
品牌:清華大學
上架時間:2024-12-31 17:21:32
出版社:清華大學出版社
本書數字版權由清華大學提供,并由其授權上海閱文信息技術有限公司制作發行
- 18.5 本章小結 更新時間:2024-12-31 17:38:36
- 18.4.3 Huggingface專用PEFT的使用
- 18.4.2 PEFT的使用與參數設計
- 18.4.1 PEFT技術詳解
- 18.4 高級微調方法3——基于Huggingface的PEFT模型微調
- 18.3.5 基于基本原理的LoRA實現
- 18.3.4 基于自定義LoRA的模型推斷
- 18.3.3 基于自定義LoRA的模型訓練
- 18.3.2 自定義LoRA的使用方法
- 18.3.1 對ChatGLM進行微調的方法——LoRA
- 18.3 高級微調方法2——基于LoRA的模型微調
- 18.2.3 更快的速度——使用INT8(INT4)量化模型加速訓練
- 18.2.2 加速的秘密——Accelerate模型加速工具詳解
- 18.2.1 數據的準備——將文本內容轉化成三元組的知識圖譜
- 18.2 高級微調方法1——基于加速庫Accelerator的全量數據微調
- 18.1.3 構建GLM模型的輸入輸出示例
- 18.1.2 修正自定義的本地化模型
- 18.1.1 下載ChatGLM源碼與合并存檔
- 18.1 ChatGLM模型的本地化處理
- 第18章 對訓練成本上億美元的ChatGLM進行高級微調
- 17.4 本章小結
- 17.3.2 一種新的基于ChatGLM的文本檢索方案
- 17.3.2 清華大學推薦的ChatGLM微調方法
- 17.3.1 語言的藝術——Prompt的前世今生
- 17.3 基于ChatGLM的一些補充內容
- 17.2.4 基于知識鏈的ChatGLM本地化知識庫檢索與智能答案生成
- 17.2.3 查詢文本編碼的相關性比較與排序
- 17.2.2 獲取專業(范疇內)文檔與編碼存儲
- 17.2.1 基于ChatGLM搭建智能答案生成機器人的思路
- 17.2 金融信息抽取實戰——基于知識鏈的ChatGLM本地化知識庫檢索與智能答案生成
- 17.1.5 基于單個文檔的GLMQABot的搭建
- 17.1.4 提示語句Prompt的構建
- 17.1.3 文本相關性(相似度)的比較算法
- 17.1.2 基于真實醫療問答的數據準備
- 17.1.1 基于ChatGLM搭建專業領域問答機器人的思路
- 17.1 醫療問答GLMQABot搭建實戰——基于ChatGLM搭建專業客服問答機器人
- 第17章 開源大模型ChatGLM高級定制化應用實戰
- 16.3 本章小結
- 16.2.3 ChatGLM的使用與Prompt介紹
- 16.2.2 下載ChatGLM
- 16.2.1 ChatGLM簡介及應用前景
- 16.2 ChatGLM使用詳解
- 16.1.2 一個神奇的現象——大模型的涌現能力
- 16.1.1 大模型與普通模型的區別
- 16.1 為什么要使用大模型
- 第16章 開源大模型ChatGLM使用詳解
- 15.4 本章小結
- 15.3.5 RLHF中的PPO算法——損失函數
- 15.3.4 RLHF中的PPO算法——KL散度
- 15.3.3 帶有評分函數的ChatGPT模型的構建
- 15.3.2 ChatGPT評分模塊簡介
- 15.3.1 RLHF模型進化的總體講解
- 15.3 基于RLHF實戰的ChatGPT正向評論的生成
- 15.2.2 RLHF中的具體實現——PPO算法
- 15.2.1 RLHF技術分解
- 15.2 RLHF模型簡介
- 15.1 什么是ChatGPT
- 第15章 實戰訓練自己的ChatGPT
- 14.5 本章小結
- 14.4.2 創造性參數temperature與采樣個數topK
- 14.4.1 GPT輸出的結構
- 14.4 自定義模型的輸出
- 14.3.2 基于預訓練模型的評論描述微調
- 14.3.1 模型的使用與自定義數據集的微調
- 14.3 Hugging Face GPT-2模型的使用與自定義微調
- 14.2.4 MLP類詳解
- 14.2.3 Attention類詳解
- 14.2.2 Block類詳解
- 14.2.1 GPT2LMHeadModel類和GPT2Model類詳解
- 14.2 Hugging Face GPT-2模型源碼模型詳解
- 14.1.3 GPT-2模型輸入輸出格式的實現
- 14.1.2 GPT-2模型的PyTorch實現
- 14.1.1 GPT-2模型的輸入和輸出結構——自回歸性
- 14.1 GPT-2模型簡介
- 第14章 ChatGPT前身——只具有解碼器的GPT-2模型
- 13.3 本章小結
- 13.2.5 對于獎勵的倒序構成的說明
- 13.2.4 基于TD-error的結果修正
- 13.2.3 一學就會的TD-error理論介紹
- 13.2.2 函數使用說明
- 13.2.1 PPO算法簡介
- 13.2 強化學習的基本算法——PPO算法
- 13.1.4 強化學習的基本內容
- 13.1.3 基于強化學習的火箭回收實戰
- 13.1.2 火箭回收參數介紹
- 13.1.1 火箭回收基本運行環境介紹
- 13.1 基于強化學習的火箭回收實戰
- 第13章 基于PyTorch 2.0的強化學習實戰
- 12.3 本章小結
- 12.2.4 拼音漢字模型的使用
- 12.2.3 拼音漢字模型的訓練
- 12.2.2 翻譯模型
- 12.2.1 數據集的獲取與處理
- 12.2 解碼器實戰——拼音漢字翻譯模型
- 12.1.4 解碼器的實現
- 12.1.3 解碼器的輸出(移位訓練方法)
- 12.1.2 為什么通過掩碼操作能夠減少干擾
- 12.1.1 解碼器的輸入和交互注意力層的掩碼
- 12.1 解碼器的核心——注意力模型
- 第12章 從1開始自然語言處理的解碼器
- 11.4 本章小結
- 11.3 更多的預訓練模型
- 11.2.2 BERT實戰文本分類
- 11.2.1 使用Hugging Face獲取BERT預訓練模型
- 11.2 實戰BERT:中文文本分類
- 11.1.2 BERT預訓練任務與微調
- 11.1.1 BERT的基本架構與應用
- 11.1 預訓練模型BERT
- 第11章 站在巨人肩膀上的預訓練模型BERT
- 10.4 本章小結
- 10.3.3 模型訓練部分的編寫
- 10.3.2 漢字拼音轉化模型的確定
- 10.3.1 漢字拼音數據集處理
- 10.3 實戰編碼器:拼音漢字轉化模型
- 10.2.2 編碼器的實現
- 10.2.1 前饋層的實現
- 10.2 編碼器的實現
- 10.1.4 多頭注意力
- 10.1.3 ticks和Layer Normalization
- 10.1.2 自注意力層
- 10.1.1 輸入層——初始詞向量層和位置編碼器層
- 10.1 編碼器的核心——注意力模型
- 第10章 從零開始學習自然語言處理的編碼器
- 9.3 本章小結
- 9.2.2 單向不行,那就雙向
- 9.2.1 什么是GRU
- 9.2 循環神經網絡理論講解
- 9.1 實戰:循環神經網絡與情感分類
- 第9章 基于循環神經網絡的中文情感分類實戰
- 8.6 本章小結
- 8.5.2 其他細節
- 8.5.1 漢字的文本處理
- 8.5 使用卷積對文本分類的補充內容
- 8.4.2 卷積神經網絡文本分類模型的實現——Conv2d(二維卷積)
- 8.4.1 單詞的文本處理
- 8.4 針對文本的卷積神經網絡模型簡介——詞卷積
- 8.3.2 卷積神經網絡文本分類模型的實現——Conv1d(一維卷積)
- 8.3.1 字符(非單詞)文本的處理
- 8.3 針對文本的卷積神經網絡模型簡介——字符卷積
- 8.2.3 使用其他預訓練參數來生成PyTorch 2.0詞嵌入矩陣(中文)
- 8.2.2 FastText訓練及其與PyTorch 2.0的協同使用
- 8.2.1 FastText的原理與基礎算法
- 8.2 更多的詞嵌入方法——FastText和預訓練詞向量
- 8.1.5 文本主題的提取:基于TextRank
- 8.1.4 文本主題的提取:基于TF-IDF
- 8.1.3 詞向量訓練模型Word2Vec使用介紹
- 8.1.2 停用詞的使用
- 8.1.1 Ag_news數據集介紹和數據清洗
- 8.1 文本數據處理
- 第8章 有趣的詞嵌入
- 7.3 本章小結
- 7.2.2 基于ResNet的CIFAR-10數據集分類
- 7.2.1 CIFAR-10數據集簡介
- 7.2 ResNet實戰:CIFAR-10數據集分類
- 7.1.4 ResNet網絡的實現
- 7.1.3 ResNet殘差模塊的實現
- 7.1.2 PyTorch 2.0中的模塊工具
- 7.1.1 ResNet誕生的背景
- 7.1 ResNet基礎原理與程序設計基礎
- 第7章 ResNet實戰
- 6.3 本章小結
- 6.2.3 tensorboardX對模型訓練過程的展示
- 6.2.2 tensorboardX可視化組件的使用
- 6.2.1 可視化組件tensorboardX的簡介與安裝
- 6.2 實戰:基于tensorboardX的訓練可視化展示
- 6.1.3 批量輸出數據的DataLoader類詳解
- 6.1.2 改變數據類型的Dataset類中的transform的使用
- 6.1.1 使用torch.utils.data. Dataset封裝自定義數據集
- 6.1 用于自定義數據集的torch.utils.data工具箱使用詳解
- 第6章 可視化的PyTorch數據處理與模型展示
- 5.4 本章小結
- 5.3.4 實戰:基于深度可分離膨脹卷積的MNIST手寫體識別
- 5.3.3 膨脹卷積詳解
- 5.3.2 深度的定義以及不同計算層待訓練參數的比較
- 5.3.1 深度可分離卷積的定義
- 5.3 PyTorch的深度可分離膨脹卷積詳解
- 5.2.3 基于卷積的MNIST分類模型
- 5.2.2 模型的設計
- 5.2.1 數據的準備
- 5.2 實戰:基于卷積的MNIST手寫體分類
- 5.1.5 卷積神經網絡的原理
- 5.1.4 Softmax激活函數
- 5.1.3 池化運算
- 5.1.2 PyTorch中的卷積函數實現詳解
- 5.1.1 基本卷積運算示例
- 5.1 卷積運算的基本概念
- 第5章 基于PyTorch卷積層的MNIST分類實戰
- 4.4 本章小結
- 4.3.5 反饋神經網絡原理的Python實現
- 4.3.4 反饋神經網絡原理的激活函數
- 4.3.3 反饋神經網絡的原理與公式推導
- 4.3.2 鏈式求導法則
- 4.3.1 深度學習基礎
- 4.3 反饋神經網絡反向傳播算法介紹
- 4.2.3 最小二乘法的梯度下降算法及其Python實現
- 4.2.2 梯度下降算法
- 4.2.1 最小二乘法詳解
- 4.2 反向傳播神經網絡兩個基礎算法詳解
- 4.1 反向傳播神經網絡的前身歷史
- 第4章 一學就會的深度學習基礎算法詳解
- 3.3 本章小結
- 3.2.2 自定義神經網絡框架的具體實現
- 3.2.1 神經網絡框架的抽象實現
- 3.2 自定義神經網絡框架的基本設計
- 3.1.3 基于Netron庫的PyTorch 2.0模型可視化
- 3.1.2 實戰基于PyTorch 2.0的手寫體識別模型
- 3.1.1 數據圖像的獲取與標簽的說明
- 3.1 實戰MNIST手寫體識別
- 第3章 從零開始學習PyTorch 2.0
- 2.5 本章小結
- 2.4.5 基于深度學習的模型訓練
- 2.4.4 對目標的逼近——模型的損失函數與優化函數
- 2.4.3 模型的準備和介紹
- 2.4.2 MNIST數據集的特征和標簽介紹
- 2.4.1 MNIST數據集的準備
- 2.4 圖像降噪:手把手實戰第一個深度學習模型
- 2.3 生成式模型實戰:古詩詞的生成
- 2.2.3 PyTorch 2.0小練習:Hello PyTorch
- 2.2.2 PyTorch 2.0 GPU Nvidia運行庫的安裝
- 2.2.1 Nvidia 10/20/30/40系列顯卡選擇的GPU版本
- 2.2 環境搭建2:安裝PyTorch 2.0
- 2.1.3 Python代碼小練習:計算Softmax函數
- 2.1.2 PyCharm的下載與安裝
- 2.1.1 Miniconda的下載與安裝
- 2.1 環境搭建1:安裝Python
- 第2章 PyTorch 2.0深度學習環境搭建
- 1.3 本章小結
- 1.2.3 近在咫尺的未來——大模型的應用前景
- 1.2.2 最強的中文大模型——清華大學ChatGLM介紹
- 1.2.1 大模型帶來的變革
- 1.2 大模型開啟人工智能的新時代
- 1.1.3 選擇PyTorch 2.0實戰框架
- 1.1.2 深度學習與人工智能
- 1.1.1 人工智能的歷史與未來
- 1.1 人工智能:思維與實踐的融合
- 第1章 新時代的曙光——人工智能與大模型
- 前言
- 內容簡介
- 作者簡介
- 版權頁
- 封面
- 封面
- 版權頁
- 作者簡介
- 內容簡介
- 前言
- 第1章 新時代的曙光——人工智能與大模型
- 1.1 人工智能:思維與實踐的融合
- 1.1.1 人工智能的歷史與未來
- 1.1.2 深度學習與人工智能
- 1.1.3 選擇PyTorch 2.0實戰框架
- 1.2 大模型開啟人工智能的新時代
- 1.2.1 大模型帶來的變革
- 1.2.2 最強的中文大模型——清華大學ChatGLM介紹
- 1.2.3 近在咫尺的未來——大模型的應用前景
- 1.3 本章小結
- 第2章 PyTorch 2.0深度學習環境搭建
- 2.1 環境搭建1:安裝Python
- 2.1.1 Miniconda的下載與安裝
- 2.1.2 PyCharm的下載與安裝
- 2.1.3 Python代碼小練習:計算Softmax函數
- 2.2 環境搭建2:安裝PyTorch 2.0
- 2.2.1 Nvidia 10/20/30/40系列顯卡選擇的GPU版本
- 2.2.2 PyTorch 2.0 GPU Nvidia運行庫的安裝
- 2.2.3 PyTorch 2.0小練習:Hello PyTorch
- 2.3 生成式模型實戰:古詩詞的生成
- 2.4 圖像降噪:手把手實戰第一個深度學習模型
- 2.4.1 MNIST數據集的準備
- 2.4.2 MNIST數據集的特征和標簽介紹
- 2.4.3 模型的準備和介紹
- 2.4.4 對目標的逼近——模型的損失函數與優化函數
- 2.4.5 基于深度學習的模型訓練
- 2.5 本章小結
- 第3章 從零開始學習PyTorch 2.0
- 3.1 實戰MNIST手寫體識別
- 3.1.1 數據圖像的獲取與標簽的說明
- 3.1.2 實戰基于PyTorch 2.0的手寫體識別模型
- 3.1.3 基于Netron庫的PyTorch 2.0模型可視化
- 3.2 自定義神經網絡框架的基本設計
- 3.2.1 神經網絡框架的抽象實現
- 3.2.2 自定義神經網絡框架的具體實現
- 3.3 本章小結
- 第4章 一學就會的深度學習基礎算法詳解
- 4.1 反向傳播神經網絡的前身歷史
- 4.2 反向傳播神經網絡兩個基礎算法詳解
- 4.2.1 最小二乘法詳解
- 4.2.2 梯度下降算法
- 4.2.3 最小二乘法的梯度下降算法及其Python實現
- 4.3 反饋神經網絡反向傳播算法介紹
- 4.3.1 深度學習基礎
- 4.3.2 鏈式求導法則
- 4.3.3 反饋神經網絡的原理與公式推導
- 4.3.4 反饋神經網絡原理的激活函數
- 4.3.5 反饋神經網絡原理的Python實現
- 4.4 本章小結
- 第5章 基于PyTorch卷積層的MNIST分類實戰
- 5.1 卷積運算的基本概念
- 5.1.1 基本卷積運算示例
- 5.1.2 PyTorch中的卷積函數實現詳解
- 5.1.3 池化運算
- 5.1.4 Softmax激活函數
- 5.1.5 卷積神經網絡的原理
- 5.2 實戰:基于卷積的MNIST手寫體分類
- 5.2.1 數據的準備
- 5.2.2 模型的設計
- 5.2.3 基于卷積的MNIST分類模型
- 5.3 PyTorch的深度可分離膨脹卷積詳解
- 5.3.1 深度可分離卷積的定義
- 5.3.2 深度的定義以及不同計算層待訓練參數的比較
- 5.3.3 膨脹卷積詳解
- 5.3.4 實戰:基于深度可分離膨脹卷積的MNIST手寫體識別
- 5.4 本章小結
- 第6章 可視化的PyTorch數據處理與模型展示
- 6.1 用于自定義數據集的torch.utils.data工具箱使用詳解
- 6.1.1 使用torch.utils.data. Dataset封裝自定義數據集
- 6.1.2 改變數據類型的Dataset類中的transform的使用
- 6.1.3 批量輸出數據的DataLoader類詳解
- 6.2 實戰:基于tensorboardX的訓練可視化展示
- 6.2.1 可視化組件tensorboardX的簡介與安裝
- 6.2.2 tensorboardX可視化組件的使用
- 6.2.3 tensorboardX對模型訓練過程的展示
- 6.3 本章小結
- 第7章 ResNet實戰
- 7.1 ResNet基礎原理與程序設計基礎
- 7.1.1 ResNet誕生的背景
- 7.1.2 PyTorch 2.0中的模塊工具
- 7.1.3 ResNet殘差模塊的實現
- 7.1.4 ResNet網絡的實現
- 7.2 ResNet實戰:CIFAR-10數據集分類
- 7.2.1 CIFAR-10數據集簡介
- 7.2.2 基于ResNet的CIFAR-10數據集分類
- 7.3 本章小結
- 第8章 有趣的詞嵌入
- 8.1 文本數據處理
- 8.1.1 Ag_news數據集介紹和數據清洗
- 8.1.2 停用詞的使用
- 8.1.3 詞向量訓練模型Word2Vec使用介紹
- 8.1.4 文本主題的提取:基于TF-IDF
- 8.1.5 文本主題的提取:基于TextRank
- 8.2 更多的詞嵌入方法——FastText和預訓練詞向量
- 8.2.1 FastText的原理與基礎算法
- 8.2.2 FastText訓練及其與PyTorch 2.0的協同使用
- 8.2.3 使用其他預訓練參數來生成PyTorch 2.0詞嵌入矩陣(中文)
- 8.3 針對文本的卷積神經網絡模型簡介——字符卷積
- 8.3.1 字符(非單詞)文本的處理
- 8.3.2 卷積神經網絡文本分類模型的實現——Conv1d(一維卷積)
- 8.4 針對文本的卷積神經網絡模型簡介——詞卷積
- 8.4.1 單詞的文本處理
- 8.4.2 卷積神經網絡文本分類模型的實現——Conv2d(二維卷積)
- 8.5 使用卷積對文本分類的補充內容
- 8.5.1 漢字的文本處理
- 8.5.2 其他細節
- 8.6 本章小結
- 第9章 基于循環神經網絡的中文情感分類實戰
- 9.1 實戰:循環神經網絡與情感分類
- 9.2 循環神經網絡理論講解
- 9.2.1 什么是GRU
- 9.2.2 單向不行,那就雙向
- 9.3 本章小結
- 第10章 從零開始學習自然語言處理的編碼器
- 10.1 編碼器的核心——注意力模型
- 10.1.1 輸入層——初始詞向量層和位置編碼器層
- 10.1.2 自注意力層
- 10.1.3 ticks和Layer Normalization
- 10.1.4 多頭注意力
- 10.2 編碼器的實現
- 10.2.1 前饋層的實現
- 10.2.2 編碼器的實現
- 10.3 實戰編碼器:拼音漢字轉化模型
- 10.3.1 漢字拼音數據集處理
- 10.3.2 漢字拼音轉化模型的確定
- 10.3.3 模型訓練部分的編寫
- 10.4 本章小結
- 第11章 站在巨人肩膀上的預訓練模型BERT
- 11.1 預訓練模型BERT
- 11.1.1 BERT的基本架構與應用
- 11.1.2 BERT預訓練任務與微調
- 11.2 實戰BERT:中文文本分類
- 11.2.1 使用Hugging Face獲取BERT預訓練模型
- 11.2.2 BERT實戰文本分類
- 11.3 更多的預訓練模型
- 11.4 本章小結
- 第12章 從1開始自然語言處理的解碼器
- 12.1 解碼器的核心——注意力模型
- 12.1.1 解碼器的輸入和交互注意力層的掩碼
- 12.1.2 為什么通過掩碼操作能夠減少干擾
- 12.1.3 解碼器的輸出(移位訓練方法)
- 12.1.4 解碼器的實現
- 12.2 解碼器實戰——拼音漢字翻譯模型
- 12.2.1 數據集的獲取與處理
- 12.2.2 翻譯模型
- 12.2.3 拼音漢字模型的訓練
- 12.2.4 拼音漢字模型的使用
- 12.3 本章小結
- 第13章 基于PyTorch 2.0的強化學習實戰
- 13.1 基于強化學習的火箭回收實戰
- 13.1.1 火箭回收基本運行環境介紹
- 13.1.2 火箭回收參數介紹
- 13.1.3 基于強化學習的火箭回收實戰
- 13.1.4 強化學習的基本內容
- 13.2 強化學習的基本算法——PPO算法
- 13.2.1 PPO算法簡介
- 13.2.2 函數使用說明
- 13.2.3 一學就會的TD-error理論介紹
- 13.2.4 基于TD-error的結果修正
- 13.2.5 對于獎勵的倒序構成的說明
- 13.3 本章小結
- 第14章 ChatGPT前身——只具有解碼器的GPT-2模型
- 14.1 GPT-2模型簡介
- 14.1.1 GPT-2模型的輸入和輸出結構——自回歸性
- 14.1.2 GPT-2模型的PyTorch實現
- 14.1.3 GPT-2模型輸入輸出格式的實現
- 14.2 Hugging Face GPT-2模型源碼模型詳解
- 14.2.1 GPT2LMHeadModel類和GPT2Model類詳解
- 14.2.2 Block類詳解
- 14.2.3 Attention類詳解
- 14.2.4 MLP類詳解
- 14.3 Hugging Face GPT-2模型的使用與自定義微調
- 14.3.1 模型的使用與自定義數據集的微調
- 14.3.2 基于預訓練模型的評論描述微調
- 14.4 自定義模型的輸出
- 14.4.1 GPT輸出的結構
- 14.4.2 創造性參數temperature與采樣個數topK
- 14.5 本章小結
- 第15章 實戰訓練自己的ChatGPT
- 15.1 什么是ChatGPT
- 15.2 RLHF模型簡介
- 15.2.1 RLHF技術分解
- 15.2.2 RLHF中的具體實現——PPO算法
- 15.3 基于RLHF實戰的ChatGPT正向評論的生成
- 15.3.1 RLHF模型進化的總體講解
- 15.3.2 ChatGPT評分模塊簡介
- 15.3.3 帶有評分函數的ChatGPT模型的構建
- 15.3.4 RLHF中的PPO算法——KL散度
- 15.3.5 RLHF中的PPO算法——損失函數
- 15.4 本章小結
- 第16章 開源大模型ChatGLM使用詳解
- 16.1 為什么要使用大模型
- 16.1.1 大模型與普通模型的區別
- 16.1.2 一個神奇的現象——大模型的涌現能力
- 16.2 ChatGLM使用詳解
- 16.2.1 ChatGLM簡介及應用前景
- 16.2.2 下載ChatGLM
- 16.2.3 ChatGLM的使用與Prompt介紹
- 16.3 本章小結
- 第17章 開源大模型ChatGLM高級定制化應用實戰
- 17.1 醫療問答GLMQABot搭建實戰——基于ChatGLM搭建專業客服問答機器人
- 17.1.1 基于ChatGLM搭建專業領域問答機器人的思路
- 17.1.2 基于真實醫療問答的數據準備
- 17.1.3 文本相關性(相似度)的比較算法
- 17.1.4 提示語句Prompt的構建
- 17.1.5 基于單個文檔的GLMQABot的搭建
- 17.2 金融信息抽取實戰——基于知識鏈的ChatGLM本地化知識庫檢索與智能答案生成
- 17.2.1 基于ChatGLM搭建智能答案生成機器人的思路
- 17.2.2 獲取專業(范疇內)文檔與編碼存儲
- 17.2.3 查詢文本編碼的相關性比較與排序
- 17.2.4 基于知識鏈的ChatGLM本地化知識庫檢索與智能答案生成
- 17.3 基于ChatGLM的一些補充內容
- 17.3.1 語言的藝術——Prompt的前世今生
- 17.3.2 清華大學推薦的ChatGLM微調方法
- 17.3.2 一種新的基于ChatGLM的文本檢索方案
- 17.4 本章小結
- 第18章 對訓練成本上億美元的ChatGLM進行高級微調
- 18.1 ChatGLM模型的本地化處理
- 18.1.1 下載ChatGLM源碼與合并存檔
- 18.1.2 修正自定義的本地化模型
- 18.1.3 構建GLM模型的輸入輸出示例
- 18.2 高級微調方法1——基于加速庫Accelerator的全量數據微調
- 18.2.1 數據的準備——將文本內容轉化成三元組的知識圖譜
- 18.2.2 加速的秘密——Accelerate模型加速工具詳解
- 18.2.3 更快的速度——使用INT8(INT4)量化模型加速訓練
- 18.3 高級微調方法2——基于LoRA的模型微調
- 18.3.1 對ChatGLM進行微調的方法——LoRA
- 18.3.2 自定義LoRA的使用方法
- 18.3.3 基于自定義LoRA的模型訓練
- 18.3.4 基于自定義LoRA的模型推斷
- 18.3.5 基于基本原理的LoRA實現
- 18.4 高級微調方法3——基于Huggingface的PEFT模型微調
- 18.4.1 PEFT技術詳解
- 18.4.2 PEFT的使用與參數設計
- 18.4.3 Huggingface專用PEFT的使用
- 18.5 本章小結 更新時間:2024-12-31 17:38:36