1.3 ChatGPT為什么能寫文章

ChatGPT的寫作原理簡介

ChatGPT自發布以來，吸引了無數用戶。那么，ChatGPT的寫作原理是怎樣的呢？讓我們一探究竟。

?預訓練：ChatGPT首先在大規模的文本數據上進行預訓練，這個階段的目標是讓模型學習語言的結構、語法、語境及豐富的語言知識。預訓練的數據通常來自互聯網上的大量文本，包括文章、新聞、維基百科等。

?Transformer架構：ChatGPT采用了Transformer架構，這是一種基于自注意力機制（self-attention）的深度學習架構。自注意力機制使模型能夠在處理輸入時更好地關注輸入序列中不同位置的信息，從而更好地捕捉上下文關系。

?生成對抗訓練：在一些生成式任務中，如對話生成，ChatGPT可能使用生成對抗訓練（GANs）的思想。這包括一個生成器負責生成文本，一個判別器用于評估生成的文本與真實文本的相似度。通過反復訓練，生成器不斷提升所生成文本的逼真度。

?微調：預訓練完成后，ChatGPT可能會在特定任務上進行微調。這樣可以使模型更好地適應特定的應用領域，如對話系統、代碼生成等。

?上下文敏感性：ChatGPT通過學習上下文的方式實現了對輸入的敏感性。在對話中，模型能夠理解之前的對話歷史，更好地回應用戶的提問或指令。

總而言之，ChatGPT的寫作原理是基于深度學習、Transformer架構及大規模預訓練的思想。通過這些步驟，模型能夠生成自然、連貫且富有語言風格的文本，適用于多種自然語言處理任務。

Prompt、Token的概念簡介

在ChatGPT越來越火的時候，很多開發者都想大展拳腳。但在這之前，我們需要了解一些基礎知識。例如，什么是Prompt ？什么是Token ？

Prompt

Prompt即提示詞，簡單地說，就是要告訴ChatGPT需要做什么，類似程序員編程。但不同之處在于，你只需要輸入純文本，ChatGPT就會盡可能地理解你的意思，并完成你提出的任務。因此，Prompt的質量將會直接影響ChatGPT回答的質量。

我們需要了解Prompt的分類。按照Prompt的內容和形式，可以將其分為以下三類。

?Zero-shotprompts：零樣本提示詞。

?One-shotprompts：單樣本提示詞。

?Few-shotprompts：少樣本提示詞。

零樣本提示詞是指用戶僅提供了一個任務描述，可以讓ChatGPT完成一些簡單、清晰的工作。

單樣本提示詞就是ChatGPT根據用戶給出的Prompt了解到如何完成用戶要求的任務。和零樣本提示詞不同，單樣本提示詞告訴了ChatGPT如何完成某一個任務，而不僅僅是下達了一個完成任務的指令。

如果是邏輯推理，我們可以給出一個計算示例，讓模型進行學習；如果是生成類的任務，我們可以給出一個當前已有的例子，讓模型進行學習。這就是少樣本提示詞。

綜上所述，三者的區別主要在于上下文的多寡，上下文越多，得到的回答越準確。

Token

當一個Prompt被發送給ChatGPT時，它會被分解成多個Token，這個過程被稱為Tokenier。當你與ChatGPT進行對話時，你的輸入和模型的輸出都是以Token為單位進行處理的。以ChatGPT為例，一個英文單詞大約是1個Token，一個漢字是2個Token。

在ChatGPT中，有一個最大Token限制，即模型在處理輸入和生成輸出時能夠處理的最大Token數量。超過最大Token限制的輸入或輸出將被截斷或拒絕。總之，了解Token的概念對于在與ChatGPT進行交互時管理輸入和輸出的長度是很重要的。

---

[1] 內容來源：《艾瑞咨詢：預測2023年中國AIGC產業規模約為143億元，2030年有望突破萬億元》。