1.3.3 答案生成

一旦檢索到用戶問(wèn)題相關(guān)的數(shù)據(jù)片段，RAG系統(tǒng)就將其與用戶的問(wèn)題和相關(guān)數(shù)據(jù)一起傳遞給生成器（LLM）。LLM利用檢索到的數(shù)據(jù)和用戶的查詢或任務(wù)生成輸出。輸出的質(zhì)量取決于數(shù)據(jù)的質(zhì)量和檢索策略，同時(shí)生成輸出的指令也會(huì)極大地影響輸出的質(zhì)量。

在中文的開源大模型中，對(duì)于70億、140億規(guī)模的開源模型，Qwen-chat是一個(gè)不錯(cuò)的選擇。相較于ChatGLM、Baichuan等開源大模型，Qwen-chat具有更少的幻覺，更適用于大模型檢索增強(qiáng)生成的模式。在RAG場(chǎng)景下，幻覺主要體現(xiàn)在跳脫知識(shí)片段回答問(wèn)題上，即回答的答案并不出現(xiàn)在增強(qiáng)的知識(shí)片段中。模型對(duì)于未知答案的拒絕能力也屬于這個(gè)范疇。對(duì)于參數(shù)量不夠大的模型，可以考慮通過(guò)適量數(shù)據(jù)的微調(diào)來(lái)提升模型在問(wèn)答場(chǎng)景的效果。