1.1　新時代的曙光

人工智能（Artif icial Intelligence，AI）的最終目標是創造出能夠以類似于人類交流的方式進行對話的機器。這些機器被稱為自然語言理解（Natural Language Understanding，NLU）系統。它們被視作人工智能的頂峰，因為語言被認為是人類智慧的縮影。在人工智能和自然語言處理（Natural Language Processing，NLP）中，NLU研究經歷了樂觀和失望的交替時期（Bowman et al，2022）。然而，最近在NLU技術方面取得的進展讓人們對創造出能像人類一樣交談的機器重拾信心。

這些系統被稱為大語言模型、大型預訓練模型或基礎模型（foundation model）。它們是具有數十億個參數（權重）的深度神經網絡，在龐大的自然語言語料庫中進行“預訓練”。這些語料庫包括海量的Web數據、在線圖書和其他包含TB級數據的數據集。在訓練過程中，這些神經網絡的任務是利用一種稱為“自監督學習”的方法預測輸入句子的隱藏部分。由此產生的網絡是一個復雜的統計模型，能夠反映出訓練數據中單詞和短語之間的關系。

得益于新一代的NLU系統，人們對于創造“會說話的機器”的信心空前高漲。ChatGPT是迄今為止非常先進的會話智能體（agent），其優勢確實令人印象深刻。這可以從下面的例子中得到證明。

問：給定一串數字1、11、21、1211，下一個數字是什么？
答（ChatGPT于2023年3月24日測試）：序列中的下一個數字是111221。要想知道這個數字是如何得到的，可以看看數列中的上一個項：1211。這個項可以理解為“一個1，一個2，兩個1”，從而得出數列的下一個項：111221。這個項可以理解為“三個1，兩個2，一個1”。
序列的模式是每一項都描述了前一個項。例如，第四項描述第三項，即計算第三項中每個數字出現的次數，然后將這些數字寫成一個新數字。
所以，為了找到序列中的第五項，我們需要計算在第四項（1211）中每個數字出現的次數，即“一個1，一個2，兩個1”。然后，我們將其寫成序列的下一個項：111221。

問：李先生有4個兒子。每個兒子都有一個妹妹。李先生有多少個孩子？
答（ChatGPT于2023年3月28日測試）：李先生有5個孩子。
這個謎題是一個典型的詭計問題，它基于這一事實：問題的措辭可以有不同的解釋。
初看上去，問題似乎是在問李先生共有多少個兒子，也就是4個。然而，問題接著指出，每個兒子都有一個妹妹，這意味著李先生的孩子中只有一個女孩。因此，李先生的孩子總數是4個兒子加1個女兒，等于5個孩子。

問：兩年前，我的年齡是弟弟的三倍。三年后，我的年齡將是弟弟的兩倍。我們現在各自的年齡是多少？
答（ChatGPT于2023年3月28日測試）：假設你現在的年齡是“x”，你弟弟現在的年齡是“y”。
從第一條信息中，我們知道，兩年前，你是“x-2”歲，你弟弟是“y-2”歲。我們還知道，當時你的年齡是你弟弟的三倍，所以我們可以建立以下方程：
x-2=3(y-2)
展開這個方程可以得到：
x-2=3y-6
x=3y-4
從第二條信息中，我們知道，三年后，你將是“x+3”歲，你弟弟將是“y+3”歲。我們被告知，屆時你的年齡將是你弟弟的兩倍，所以我們可以建立以下方程：
x+3=2(y+3)
展開這個方程可以得到：
x+3=2y+6
x=2y+3
我們現在有兩個方程和兩個未知數。我們可以通過代入法，用一個變量來求解另一個變量：
3y-4=2y+3
y=7
將y=7代入任一方程，我們就可以解出x：
x=2y+3=17
因此，你現在17歲，你弟弟7歲。兩年前，你15歲，你弟弟5歲；三年后，你20歲，你弟弟10歲。

如上所示，大語言模型能夠通過解決數學和推理問題來回答人類的問題，同時還能為其答案提供解釋。此外，這些模型還能生成語法正確、語義連貫、文體流暢的文本。ChatGPT的表現前所未有，而且現在已經被公眾廣泛使用。人們可以用各種語言與ChatGPT互動。因此，這些基于大語言模型的系統的能力給人留下了這樣的印象：它們對自然語言有類似人類的理解，并表現出智能行為。