1.4 GPT簡述

ChatGPT的發展史不僅代表了人工智能技術的發展，也代表了整個科技領域的進步，是產學研各界的科學家、工程師不斷努力共同樹立的一座豐碑。從算法側描述ChatGPT的發展史，如圖1.12所示，從1950年基于規則的第一代AI應用，到后面從機器學習逐漸演變到對不同種類深度學習模型的不斷探索，直到2017年Transformer架構的發表，深度學習領域的模型才開始逐漸趨于統一。現在，基于Transformer的兩種重要模型：GPT和BERT，也都經歷了長足的發展。

GPT系列模型經歷了1代、2代、3代、3.5代，到現在是GPT-4，下面分別詳細闡述。

（1）GPT-1：GPT系列的第一個模型于2018年發布。GPT-1采用了Transformer架構，是單向（Unidirectional）語言模型。它使用了1.17億個參數，可以生成較為連貫的自然語言文本，但在長文本和復雜任務中表現有限。它開創了能夠訓練沒有標注的網頁文本數據的先驅。

（2）GPT-2：GPT-2于2019年發布，采用了和GPT-1相同的基本架構，但參數量增加至15億個，擴大了訓練數據集的規模。這使得GPT-2在生成文本、文本摘要、機器翻譯等任務中表現更為卓越。同時，在某些情況下，GPT-2可能會生成偏頗或不真實的信息。

（3）GPT-3：GPT-3于2020年發布，在架構上基本延續了GPT-2的設計，但參數量大幅提升至1750億個。同時，它使用了更大的訓練數據集，具備卓越的生成能力和泛化能力。GPT-3在多種任務上表現出色，如問答、摘要、翻譯、代碼生成等。然而，模型龐大的參數量也使得部署和運行成本較高。

經過了多代的發展與迭代，基于GPT-3.5的ChatGPT終于迎來了爆火，開啟了AI新紀元。相較于GPT-3，ChatGPT具有以下幾個主要優點。

（1）更強大的模型：ChatGPT采用了更大的模型和更多的訓練數據，這意味著它可以更好地理解輸入，生成更準確和更高質量的回答。

（2）更精細的調優：ChatGPT進行了更多的針對性調優，使其更適合解決各種實際應用場景中的問題，從而更有效地滿足用戶需求，提供更優秀的用戶體驗。

（3）更好的上下文理解：ChatGPT對上下文的理解能力得到了顯著的提高，可以更準確地跟蹤對話的進展并做出合適的回應。

（4）持續更新和改進：作為一款持續更新和改進的產品，ChatGPT在不斷地學習、適應新的知識和場景，以便更好地滿足用戶的需求。

（5）廣泛的應用場景：ChatGPT可以應用于各種場景，如客戶服務、教育、創意寫作、知識問答等，能夠為不同領域的用戶提供有價值的幫助。

（6）開發者友好：ChatGPT提供了API和工具，使得開發者可以輕松地將其集成到各種應用中，從而創造出更多有趣、實用的產品和服務。

正是因為這些優點，ChatGPT在功能、性能和應用范圍等方面都超越了GPT-3，實現了“聽得懂、答得好”，進而受到了更廣泛的關注和歡迎。

GPT-4在GPT-3.5的基礎上有了進一步提升，在很多任務上的性能優于GPT-3.5，包括處理復雜問題、生成自然文本和理解語境等方面，可以參考圖1.13中OpenAI公司官方提供的考試成績對比。對比GPT-3.5，GPT-4的主要提升如下：

（1）模型規模：規模更大，擁有比GPT-3.5更多的參數，從而具備更強大的處理能力。

（2）訓練數據：使用了更豐富的訓練數據，使其具備更廣泛的知識。

（3）零樣本學習：在零樣本學習方面的性能更優，意味著它能更好地泛化到新任務。零樣本學習指讓模型只根據任務描述完成任務，使用者不給模型提供任何示例。

（4）容錯性：更擅長糾正輸入中的錯誤，使生成的文本更自然、流暢。

（5）多模態任務、生成控制、強化學習、安全性和可靠性、對話能力等方面也有所改進。

在認識以ChatGPT為代表的大語言模型強大能力的同時，也要知道其現有的不足。無論是基于GPT-3.5還是GPT-4，ChatGPT仍有三大類問題：

（1）回答的內容有真有假。

（2）不是實時內容。

（3）復雜任務處理能力有待提升。

第1類問題，是大家經常碰到的，比如，讓ChatGPT簡述一個胡編亂造的情節，它竟然煞有介事地編出一大段，如圖1.14所示。

第二類問題不是實時內容，這是一個既定事實，因為ChatGPT和GPT-4的訓練數據截止于2021年9月前，所以不能查詢實時信息，缺乏時效性。

第三類問題，對于比如寫復雜代碼、理解長篇連貫文本等復雜任務，ChatGPT仍不能有效地處理，包括在各個細分領域的垂直應用也都尚未涉及。