1.3.1 法律大型語言模型

法律是社會秩序的基石，是用來維護(hù)公平、保護(hù)權(quán)益、解決糾紛的重要手段。隨著社會的發(fā)展，人們對法律的需求日益增長，如何更快速、精確和可靠地處理法律信息變得十分急迫。雖然大型語言模型的能力已經(jīng)被廣大群眾認(rèn)可，但是由于大型語言模型在預(yù)訓(xùn)練階段是在廣泛數(shù)據(jù)上進(jìn)行訓(xùn)練的，需要記憶的知識內(nèi)容也比較廣泛，在法律領(lǐng)域雖然可以回答一定的問題，但效果不是十分理想，因此很多學(xué)者為了讓大型語言模型在法律領(lǐng)域具有較好的交互，會在法律領(lǐng)域數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練或微調(diào)，來進(jìn)一步提高模型效果。我們通常稱在法律領(lǐng)域進(jìn)行特殊訓(xùn)練過的大型語言模型為法律大型語言模型。

法律大型語言模型可以成為律師、法官、法律研究者或普通人的工具，可以快速檢索和分析大量的法律文件，以協(xié)助專業(yè)人員在法律咨詢、決策制定方面更高效；也可以為個人提供廣泛的法律知識和意識，讓人們通過法律大型語言模型來了解更多的法律概念、權(quán)力和責(zé)任，以及如何在法律系統(tǒng)中行使自己的權(quán)力；還可以讓那些無法負(fù)擔(dān)高額法律費(fèi)用的人降低法律研究和咨詢的成本，保證了司法公平。

目前，中文開源法律大型語言模型主要包括LaWGPT模型、ChatLaw模型、LexiLaw模型、Lawyer LLaMA模型、智海-錄問模型、HanFei模型、DISC-LawLLM模型等。

1.LaWGPT模型

LaWGPT模型[1]是由Pengxiao Song等人研發(fā)的，模型基座采用LLaMA模型架構(gòu)，并使用中文裁判文書網(wǎng)公開法律文書數(shù)據(jù)、司法考試數(shù)據(jù)等數(shù)據(jù)來對模型進(jìn)行詞表擴(kuò)張和增量預(yù)訓(xùn)練工作，同時利用Self-Instruct等方法構(gòu)建法律領(lǐng)域?qū)υ挃?shù)據(jù)集并利用ChatGPT進(jìn)行數(shù)據(jù)清洗，進(jìn)一步獲取高質(zhì)量數(shù)據(jù)集對模型進(jìn)行指令微調(diào)工作。LaWGPT系列模型共涉及4個模型，詳細(xì)如表1-8所示。

2.ChatLaw模型

ChatLaw模型[2]是由北京大學(xué)提出的，主要由大型語言模型、關(guān)鍵詞生成模型和向量匹配模型三個部分組成，如圖1-12所示。而大型語言模型的基座采用LLaMA模型架構(gòu)，并采用大量法律新聞、法律論壇、法條、司法解釋、法律咨詢、法考題、判決文書等原始文本構(gòu)造對話數(shù)據(jù)集進(jìn)行模型的指令微調(diào)。ChatLaw系統(tǒng)模型共涉及2個模型，詳細(xì)如表1-9所示。

其中，ChatLaw-13B模型在中文各項(xiàng)評測集上表現(xiàn)較好，但是對于邏輯復(fù)雜的法律問答效果不佳。ChatLaw-33B模型由于參數(shù)量更大，邏輯推理能力有大幅提升，但底座模型缺少中文數(shù)據(jù)集訓(xùn)練，因此對于中文提問，模型可能生成英文內(nèi)容。

3.Lawyer LLaMA模型

Lawyer LLaMA模型[3]是由北京大學(xué)提出的，模型基座采用LLaMA模型架構(gòu)，并在大規(guī)模法律語料上進(jìn)行模型繼續(xù)預(yù)訓(xùn)練，再利用ChatGPT收集的法考題目分析數(shù)據(jù)及法律咨詢對話數(shù)據(jù)進(jìn)行模型指令微調(diào)。其中法考解題數(shù)據(jù)共7000條、法律咨詢數(shù)據(jù)共1.45萬條。目前開源的lawyer-llama-13b-beta1.0模型是以Chinese-LLaMA-13B模型為底座，未經(jīng)過法律語料繼續(xù)預(yù)訓(xùn)練，使用通用和法律指令數(shù)據(jù)進(jìn)行指令微調(diào)得來。

4.LexiLaw模型

LexiLaw模型[4]是由Haitao Li等人研發(fā)的，模型基座采用ChatGLM-6B模型架構(gòu)，在模型指令微調(diào)過程中不僅采用了法律領(lǐng)域數(shù)據(jù)，還采用了通用領(lǐng)域數(shù)據(jù)。其中，通用領(lǐng)域數(shù)據(jù)主要來自于BELLE項(xiàng)目，法律領(lǐng)域數(shù)據(jù)包括：LawGPT_zh模型中5.2萬條單輪問答數(shù)據(jù)和9.2萬條帶有法律依據(jù)的情景問答、Lawyer LLaMA模型中法考數(shù)據(jù)和法律指令微調(diào)數(shù)據(jù)、2萬條高質(zhì)量華律網(wǎng)問答數(shù)據(jù)、3.6萬條百度知道中的法律問答數(shù)據(jù)。此外，為了增加模型對法律條款的解釋與理解能力，根據(jù)法律法規(guī)和法律參考書籍構(gòu)造了對應(yīng)的指令數(shù)據(jù)；為了增加模型對法律案例和文書的了解，對5萬條法律文書采用正則匹配方法提取事實(shí)和裁判分析過程部分內(nèi)容構(gòu)造了對應(yīng)的指令數(shù)據(jù)。LexiLaw模型共涉及3種指令微調(diào)方法，包括參數(shù)凍結(jié)方法、LoRA方法和P-Tuning v2方法。

5.智海-錄問模型

智海-錄問模型[5]是由浙江大學(xué)、阿里巴巴達(dá)摩院及華院計(jì)算等提出的，模型基座采用Baichuan-7B模型，采用法律文書、司法案例及法律問答等40GB數(shù)據(jù)進(jìn)行模型繼續(xù)預(yù)訓(xùn)練工作，再采用10萬條指令數(shù)據(jù)集進(jìn)行模型的指令微調(diào)。在10萬條指令數(shù)據(jù)中，70%的數(shù)據(jù)為通用數(shù)據(jù)，30%的數(shù)據(jù)為法律領(lǐng)域數(shù)據(jù)。通用數(shù)據(jù)主要來自LIMA、OpenOrca、ShareGPT、BELLE、MOSS等；法律領(lǐng)域數(shù)據(jù)主要通過ChatGPT進(jìn)行構(gòu)造，數(shù)據(jù)種類包含法律咨詢、情景問答、罪名預(yù)測、觸犯法律預(yù)測、刑期預(yù)測、法考選擇題、案件摘要提取、司法判斷題、法律多輪對話、法院意見、法律閱讀理解等。智海-錄問模型的增量預(yù)訓(xùn)練和指令微調(diào)均采用全量參數(shù)訓(xùn)練的方式。

為了進(jìn)一步增強(qiáng)智海-錄問模型的最終問答效果，還收集了6種類型的知識庫用于知識增強(qiáng)，包括法條類、案例類、模板類、書籍類、法律考試類、法律日常問答類。

6.HanFei模型

HanFei模型[6]是由中科院深圳先進(jìn)院、深圳市大數(shù)據(jù)研究院等提出的，模型基座采用Bloomz-7B模型，采用法律案例、法律法規(guī)、法律起訴狀、法律新聞等60GB數(shù)據(jù)進(jìn)行模型繼續(xù)預(yù)訓(xùn)練，采用11.8萬通用數(shù)據(jù)和14.7萬法律數(shù)據(jù)進(jìn)行指令微調(diào)，并且HanFei模型的增量預(yù)訓(xùn)練和指令微調(diào)均采用全量參數(shù)訓(xùn)練的方式。

7.DISC-LawLLM模型

DISC-LawLLM模型[7]由復(fù)旦大學(xué)提出，模型基座采用Baichuan-13B模型，采用29.5萬條的法律領(lǐng)域指令數(shù)據(jù)和10.8萬條通用指令數(shù)據(jù)進(jìn)行模型指令微調(diào)，其中法律領(lǐng)域指令數(shù)據(jù)主要由法律信息提取、判決預(yù)測、文檔摘要和法律問題解答等數(shù)據(jù)組成，涉及直接問答數(shù)據(jù)和借助檢索內(nèi)容的問答數(shù)據(jù)兩種。DISC-LawLLM模型在指令微調(diào)過程中采用全量參數(shù)進(jìn)行模型訓(xùn)練。

為了進(jìn)一步增強(qiáng)模型的最終問答效果，還構(gòu)建了包含800多部國家地方法律、條例和規(guī)定的法律庫和2.4萬道法律相關(guān)的考試題庫。同時，還開源了一個法律大模型的評估框架DISC-Law-Eval Benchmark，從客觀和主觀兩個角度對來對法律大型語言模型的性能進(jìn)行評估，以考察模型在中國法律領(lǐng)域的性能。