1.3.3 金融大型語言模型

金融是社會經濟中至關重要的組成部分，金融市場的健康運行對于經濟的穩定和增長至關重要，而金融領域的創新和發展也推動了技術和就業的增長。雖然大型語言模型在金融領域有不錯的表現，但在實際應用大型語言模型時還面臨挑戰，例如用戶需求的復雜性、結果的精準可控性、數據的安全性等。為了讓大型語言模型可以更好地覆蓋金融咨詢、金融分析、金融計算、金融問答等多個金融應用場景，會在金融領域數據上進行預訓練或者微調，來進一步提高模型效果。我們通常稱在金融領域進行過特殊訓練的大型語言模型為金融大型語言模型。

金融大型語言模型可以處理大規模金融數據進行趨勢分析；可以監測新聞和社交媒體上的情感和輿情，幫助投資者了解市場情緒和社會因素對市場的影響；也可以為普通投資者提供更多金融知識和投資建議。

目前，中文開源金融大型語言模型主要包括XuanYuan模型、Cornucopia模型、DISC-FinLLM模型等。

1.XuanYuan模型

XuanYuan模型[16]是由度小滿提出的，模型底座采用LLaMA、Bloom模型等多個模型，構建約60GB的金融數據集（包括上市公司公告、金融資訊或新聞、金融試題等），對模型進行詞表擴充以及增量預訓練工作。XuanYuan系列模型目前共涉及2個模型，詳細如表1-15所示。

其中XuanYuan-70B模型在增量預訓練過程中，中文數據與英文數據的比例為3:1，中文數據中的通用數據和金融領域數據的比例為9:1，在模型訓練的前期主要以知識類數據為主，并且隨著訓練時間的增加，金融領域數據的比例也逐步提升，從一開始的1:9到最終階段達到1:4左右。

2.Cornucopia模型

Cornucopia模型[17]是由中科院成都計算機應用研究所提出的，模型底座采用LLaMA模型，通過中文金融公開問答數據與爬取的金融問答數據利用GPT-3.5/4.0接口構建高質量的指令數據集進行模型的指令微調。Cornucopia系列模型目前共涉及2個模型，詳細如表1-16所示。

3.DISC-FinLLM模型

DISC-FinLLM模型[18]是由復旦大學提出的，模型底座采用Baichuan-13B-Chat模型，對現有開源數據采用Self-Instruct、Chain-of-Retrieval prompting等方法利用ChatGPT生成約25萬條指令數據（包括金融咨詢任務、金融分析任、金融計算任務和金融檢索增強任務）進行模型指令微調。DISC-FinLLM模型主要采用LoRA方法進行模型訓練。