1.3.2 醫療大型語言模型

醫療在社會中具有極其重要的位置，不僅關系到個體的健康，還關系到整個社會的穩定和發展。隨著世界人口的增多及生活質量的提高，人們對醫療系統的需求量和質量也在不斷提高，為了保證每個人都能享受到高質量的醫療服務，促進社會的進步和繁榮，建設高效、公平和可持續的醫療系統是必不可少的。那么如何在健康維護、疾病治療、研究創新、防疫等方面提高效率、降低成本、提升質量成為重要的研究課題。盡管大型語言模型的能力已經被廣大群眾認可，但是由于醫療領域低容錯率等特點，導致通用大型語言模型在醫療領域的效果并不盡如人意。因此很多學者為了讓大型語言模型在醫療領域具有更好的效果，會在醫療領域數據上進行預訓練或微調來進一步提高模型效果。我們通常稱在醫療領域進行特殊訓練過的大型語言模型為醫療大型語言模型。

醫療大型語言模型可以作用于醫療診斷的全流程，可以在診斷前可以幫助患者填寫預問診表格，以為醫生提供初步信息等；在診斷中可以幫助醫生快速檢索查詢醫學相關知識，輔助制訂醫療決策、治療計劃，協助生成醫學報告，進行臨床指標預警等；在診斷后可以為患者提供健康管理建議，協助患者進行健康評估，為患者提供一些生活方式建議等。

目前，中文開源醫療大型語言模型主要包括MING模型、BenTsao模型、ChatMed模型、BianQue模型、HuaTuoGPT模型、QiZhenGPT模型、DISC-MedLLM模型、Taiyi模型等。

1.MING模型

MING模型[8]是由上海交通大學和上海人工智能實驗室提出的，模型基座采用Bloom-7B模型，根據112萬條指令數據進行模型指令微調，包括醫療知識問答數據（基于臨床指南和醫療共識的知識問答數據、基于醫師資格考試題的知識問答數據、真實醫患問答數據、基于結構化醫療圖譜的知識問答數據）、多輪情景診斷與案例分析數據（基于HealthCare-Magic構造的多輪情景問答與診斷數據、基于USMLE案例分析題的格式化多輪問診數據、多輪病人信息推理與診斷數據）、任務指令數據（醫療指令數據、通用指令數據）和安全性數據（敏感性問題數據、醫療反事實數據）。而對于MING模型的訓練方式暫不明確。目前，MING模型可以對醫療問題進行解答，對案例進行分析；并且通過多輪問診后，給出診斷結果和建議。

2.BenTsao模型

BenTsao模型[9]是由哈爾濱工業大學提出的，模型底座采用LLaMA、Bloom、活字模型等多個底座模型，通過GPT-3.5接口，根據醫學知識庫、知識圖譜構建8千多條中文醫學指令數據集，根據醫學文獻的結論內容構建1千條中文醫學多輪問答數據數據集進行模型指令微調。BenTsao系列模型共涉及4個模型，詳細如表1-10所示。其中以活字模型為底座訓練得到的BenTsao-Huozi模型效果最佳。

3.ChatMed模型

ChatMed模型[10]是由Wei Zhu等人提出的，模型底座采用LLaMA模型架構，從互聯網上爬取50多萬個不同用戶或患者的醫療問診需求，通過GPT-3.5接口生成對應回復內容構建了中文醫療在線問診數據集，并利用中醫藥知識圖譜采用以中醫藥實體為中心的Self-Instruct方法，調用ChatGPT生成11多萬的圍繞中醫藥的指令數據。ChatMed系列模型共涉及2個模型，詳細如表1-11所示。

4.BianQue模型

BianQue模型[11]是由華南理工大學提出的，模型底座采用T5和ChatGLM模型等多個底座模型。通過分析真實場景中醫生與患者的對話特性（醫生與用戶在交談過程中，會根據用戶當前的描述進行持續多輪的詢問，最后再根據用戶提供的信息綜合給出建議。因此，模型需要判斷當前狀態是繼續詢問還是給出最終答案），對目前多個開源中文醫療問答數據集以及實驗室長期自建的生活空間健康對話數據集進行整合，構建千萬級別規模的扁鵲健康大數據用于模型的指令微調。BianQue系列模型共涉及2個模型，詳細如表1-12所示。

5.HuaTuoGPT模型

HuaTuoGPT模型[12]是由香港中文大學深圳數據科學學院和深圳大數據研究院提出的，模型底座采用Baichuan和LLaMA等多個底座模型，通過Self-Instruct方法構建61 400條指令數據，并采用兩個ChatGPT分別作為患者和醫生構建68 888條多輪對話數據集，還采集真實場景中醫療單輪69 768條數據和多輪25 986條對話數據進行模型指令微調。HuaT-uoGPT系列模型共涉及2個模型，詳細如表1-13所示。

6.QiZhenGPT模型

QiZhenGPT模型[13]是由浙江大學提出的，模型底座采用ChatGLM、LLaMA模型等多個底座模型，通過對知識庫中藥品和疾病的半結構化數據設置特定的問題模板并利用ChatGPT構造指令數據集，分別為18萬條和29.8萬條指令數據；真實醫患知識問答數據涉及疾病、藥品、檢查檢驗、手術、預后、食物等多個維度，共56萬條指令數據。QiZhenGPT系列模型共涉及3個模型，詳細如表1-14所示。

7.DISC-MedLLM模型

DISC-MedLLM模型[14]是由復旦大學提出的，底座模型采用Baichuan-13B模型，通過重構AI醫患對話和知識圖譜問答對數據構建47萬條訓練數據進行模型指令微調。DISC-MedLLM模型在微調過程中采用全量參數微調的方法。

8.Taiyi模型

Taiyi模型[15]是由大連理工大學提出的，底座模型采用Qwen-7B模型，通過收集140個任務數據（包含命名實體識別、關系抽取、事件抽取、文本分類、文本對任務、機器翻譯、單輪問答、多輪對話等）并設計了多種指令模板進行指令數據轉換，為了保證通用領域對話能力和推理能力還增加了通用對話數據和思維鏈數據共同進行模型指令微調工作。Taiyi模型在約100萬條指令數據上采用QLoRA方法進行模型訓練。