1.2.4 大模型的訓(xùn)練成本問題

近幾年，模型的規(guī)模不斷攀升。BERT-Base僅有1億參數(shù)量，而如今已出現(xiàn)千億、萬億級別的大模型，如圖1-6所示。

圖1-6 知名大模型的參數(shù)量

龐大的參數(shù)量意味著需要更多的訓(xùn)練資源。同時，考慮到訓(xùn)練時長，一個大模型的訓(xùn)練成本極為昂貴。早在2021年，便有科學(xué)家在論文“RETRO：Improving Language Models by Retrieving from Trillions of Tokens”中通過大量實驗證明，可以使用僅1/25參數(shù)量的模型結(jié)合RAG系統(tǒng)，在Pile數(shù)據(jù)集上達(dá)到GPT-3的效果。