1.2 大語言模型

大語言模型是一類基于超大規模神經網絡的語言模型，其參數規模遠遠超過傳統語言模型，并且使用自監督學習（Self-Supervised Learning）在大量未標注文本上進行訓練，有些大模型還和人類的意圖進行了對齊（Alignment），具備通過自然語言和人類進行交互的能力。大模型具備強大的通用任務能力，可完成多種場景的復雜任務，在很多任務上甚至可以達到人類的智能水平。

大模型的訓練目標與傳統語言模型的訓練目標是相同的，都是使模型在特定的上下文中預測下一個詞的準確率越來越高。為什么大模型能夠具有傳統語言模型完全無法媲美的能力呢？核心在于海量的參數和訓練數據使大模型可以學習到人類語言的語法和語義，以及大量的真實世界中的常識。訓練大模型的海量語料可以看作現實世界的映射，而基于這個映射訓練出來的大模型被視為對現實世界的高質量的壓縮表示（Compressed Representation），壓縮表示可供人們提取現實世界的信息。大模型預測下一個詞越準確，代表大模型的能力對現實世界的還原度就越高，進一步反映了大模型的理解能力就越強。

OpenAI的研究人員曾用一個例子生動闡述了大模型的上述特點。假設大模型閱讀了一本偵探懸疑小說，其中有各種各樣的人物、紛繁復雜的事件以及多條神秘隱晦的線索。當大模型讀完書中揭示答案前的所有文字后，我們讓大模型對如下句子進行下一個詞的預測：“罪犯的名字是____”。這個詞預測的準確率越高，說明大模型對文本的理解和推理能力越強大。所以，看似簡單的“預測下一個詞”任務可以在訓練大模型上產生驚艷的效果。