1.2.3　GPT-3

2020 年 6 月，OpenAI發布了 GPT-3。GPT-2 和 GPT-3 之間的主要區別在于模型的大小和用于訓練的數據量。GPT-3 比 GPT-2 大得多，它有 1750 億個參數，這使其能夠捕捉更復雜的模式。此外，GPT-3 是在更廣泛的數據集上進行訓練的，包括 Common Crawl（它就像互聯網檔案館，其中包含來自數十億個網頁的文本）和維基百科。這個訓練數據集包括來自網站、書籍和文章的內容，使得 GPT-3 能夠更深入地理解語言和上下文。因此，GPT-3 在各種與語言相關的任務中都展示出更強的性能。此外，它在文本生成方面還展示出更強的連貫性和創造力。它甚至能夠編寫代碼片段，如 SQL 查詢，并執行其他智能任務。此外，GPT-3 取消了微調步驟，而這在之前的 GPT 模型中是必需的。