1.1.2 RAG與模型微調(diào)的對比

模型微調(diào)是指在一個特定任務上用一定量的數(shù)據(jù)來訓練模型的過程，通過在特定數(shù)據(jù)集上微調(diào)可以提高模型在特定數(shù)據(jù)集上的性能。如果有足夠大的監(jiān)督數(shù)據(jù)集，且數(shù)據(jù)集不會發(fā)生改變，那么微調(diào)是一個很不錯的方法。盡管大模型的微調(diào)成本較高，但現(xiàn)在已有大量低成本微調(diào)的方法，例如LoRA、QLoRA。然而，如果數(shù)據(jù)集是動態(tài)的，就需要不斷地重新訓練模型以跟上數(shù)據(jù)的變化；或者如果沒有足夠大的數(shù)據(jù)集，那么微調(diào)不是一個好方法。在這種情況下，可以使用RAG來提高大模型的性能。同樣，可以利用RAG來提高大模型在摘要、翻譯等任務上的性能，因為這些任務可能無法進行微調(diào)。

表1-1清晰地展示了兩者的區(qū)別。

表1-1 RAG與模型微調(diào)的對比