1.3 領域大型語言模型

迄今為止，以ChatGPT為首的一系列大型語言模型給人們帶來了極大的便利，例如：編輯可以借助大型語言模型的能力進行文案潤色，程序員可以借助大型語言模型能力進行代碼輔助生成；而在GPT-4等多模態模型出現后，很多人都變成了繪畫大師，只需要輸入一些文本描述，大型語言模型就可以生成對應的圖片。

但是，大型語言模型距離真正落地還有一段艱難的路要走。目前大型語言模型在通用領域的效果還不錯，但在一些特殊或垂直領域效果不是很理想。因此有不少研究者在領域數據上對通用大型語言模型采用繼續預訓練、指令微調、人類偏好對齊等手段，將通用大型語言模型領域化、垂直化、行業化，以在不喪失原有大型語言模型能力的基礎上，進一步提高模型在特定領域的效果。我們往往將在某個領域具有較為優異效果的大型語言模型稱為領域大型語言模型。例如：在醫療數據上進行進一步訓練得到的大型語言模型，被稱為醫療大型語言模型。目前，在很多領域都涌現出了領域大型語言模型，但主要集中在法律、醫療、金融、教育4個領域，因為這4個領域在自然語言處理發展的過程中受關注較多且具有較多的開源數據。

本節主要介紹這4個領域的中文大型語言模型，并從底座模型的選擇、數據構造、訓練方法等幾個方面進行深入剖析。