1.2 為什么需要RAG

1.2.1 大模型的知識更新問題

前文提到大模型的知識源于預訓練階段。通過大量的無監督數據，利用下一個詞預測任務來完成訓練。待訓練完成之后，模型便能將大量的知識壓縮到自身的參數中。然而，在互聯網時代，知識更新迅速，導致大模型難以實時更新所蘊含的知識。

由于存在知識更新問題，當詢問模型一些訓練語料截止日期之后的問題時，模型很可能會給出過時的答案。如圖1-3所示，當詢問GPT-3.5-turbo（0315）“拼多多的CEO是誰？”時，它回答：“拼多多的CEO是黃崢。”然而，實際上早在2020年7月，黃崢就已公開表示卸任拼多多的CEO。

同樣的問題，我們可以咨詢Bing Chat。Bing Chat是微軟發布的一個針對瀏覽器的CoPilot。整體上，這個CoPilot是一個典型的RAG落地應用。當瀏覽器獲取到用戶咨詢的問題之后，會借助自己的搜索引擎搜索出問題相關的網頁，最后結合網頁的內容以及用戶問題進行答案生成。如圖1-4所示，當向Bing Chat詢問“拼多多的CEO是誰？”時，我們得到了正確的答案。

圖1-3 GPT-3.5-turbo（0315）回答結果

圖1-4 Bing Chat回答結果