1.3.1 機器幻覺

大模型盡管取得了顯著的成功，但偶爾會產生看似合理但與用戶輸入、先前生成的上下文或事實知識偏離的輸出，這種現象被稱為機器幻覺。在大模型出現之前，幻覺已經在NLG領域廣泛出現，通常指生成與提供的源內容毫無關聯或不正確的內容。這個定義已經被擴展到大模型領域。

1.大模型幻覺的分類

大模型背景下的幻覺大致可分為三類：

1）輸入沖突幻覺，即大模型生成與用戶提供的源輸入不符的內容。

2）上下文沖突幻覺，即大模型生成與其自身先前生成的信息沖突的內容。

3）事實沖突幻覺，即大模型生成不符合已建立的現實世界知識的內容。

2.大模型幻覺的主要來源

綜合分析大模型的生命周期不同階段的特點，可以得出大模型幻覺的主要來源。

1）大模型缺乏相關知識或內化了錯誤的知識。在預訓練階段，大模型從大量的訓練數據中積累了大量知識，這些知識存儲在模型參數中。當要求回答問題或完成任務時，如果大模型缺乏相關知識或已經內化了來自訓練語料庫的錯誤知識，它通常會表現出幻覺。例如，研究發現大模型有時會誤解偶然的相關性，比如位置接近或高度共現的關聯，將其視為事實知識。此外，人類生成的語料庫中也存在幻覺（如過時、有偏見或虛構的表達），大模型容易復制甚至放大這種幻覺行為。

2）大模型有時會高估自己的能力。研究發現，大模型的正確和錯誤答案的分布熵可能相似，這表明大模型在生成不正確的答案時與生成正確答案一樣自信。這種過度自信可能導致大模型以不必要的確定性制造答案。

3）問題對齊過程可能誘發大模型幻覺。大模型預訓練后會進行對齊，在這個過程中大模型會進一步訓練，以使其響應與人類偏好一致。然而，當大模型在對齊過程中接受在預訓練階段尚未獲得的知識的指示時，實際上就是一種不對齊的過程，會“鼓勵”大模型產生幻覺。此外，有時大模型可能會生成有利于用戶觀點而不是正確或真實答案的響應，這也可能導致幻覺。

4）大模型采用的生成策略存在潛在風險。大模型以順序方式生成響應，一次輸出一個Token。研究發現，大模型有時會過分堅持早期的錯誤，即使它意識到這是不正確的。換句話說，大模型可能更喜歡為了自身一致性而堆積幻覺，而不是從錯誤中恢復。這被稱為幻覺堆積現象。此外，一些研究強調，基于采樣的生成策略（如top-p和top-k）引入的隨機性也可能是幻覺的潛在來源。

3.危害與挑戰

幻覺嚴重損害了大模型在現實世界場景中的可靠性。例如，大模型有可能制造出錯誤的醫學診斷或導致實際生活風險的治療計劃。雖然傳統的NLG環境中的幻覺問題已經得到廣泛研究，但理解和解決大模型領域的幻覺問題仍面臨著獨特的挑戰。

與為特定領域任務精心策劃數據不同，大模型的預訓練使用來自網絡的數萬億個Token，難以消除虛構、過時或有偏見的信息。通用大模型在跨任務、跨語言和跨領域設置中表現出色，但這為全面評估和緩解幻覺問題帶來了挑戰。大模型可能生成最初看似高度合理的虛假信息，這使得模型甚至人類難以檢測幻覺。

4.解決策略

要解決AI大模型的幻覺問題，需要采取一系列的策略。

首先，需要在模型的訓練階段引入更多的數據，以減少模型對特定數據模式的過度擬合；其次，使用更強大的模型架構和優化算法，以提高模型的泛化能力和魯棒性；最后，對模型的輸出進行適當的后處理和驗證。

除了這些技術性的解決方案外，也需要從設計和倫理的角度來解決幻覺問題。例如，應該考慮如何設計出更加透明和可解釋的大模型，以便用戶能夠理解模型的運作方式和輸出結果。此外，還需要制定相應的倫理規范和法規，以確保AI大模型的應用不會對人類或其他生物造成負面影響。

總之，AI大模型的幻覺問題是一個復雜的問題，需要采取多種策略和技術來解決。大模型的知識記憶是模糊的，同時缺少判斷知識有效性的機制，所以需要外部知識增強。通過不斷研究和實踐，相信人們能夠更好地解決這個問題，從而使AI大模型在各個領域發揮更大的作用，為人類社會帶來更多的便利。