1.1 人工智能

1.1.1 什么是人工智能

通俗地講，人制造出來的機(jī)器所表現(xiàn)出來的智能，就是人工智能（Artificial Intelligence，AI）。人工智能大致分為兩大類：弱人工智能和強(qiáng)人工智能。弱人工智能是能夠完成某種特定任務(wù)的人工智能，換個(gè)角度看，就是一種計(jì)算機(jī)科學(xué)的非平凡的應(yīng)用。強(qiáng)人工智能或通用人工智能（Artificial General Intelligence，AGI），能表現(xiàn)正常人類所具有的各種智能行為。弱人工智能在翻譯、下棋等具體任務(wù)上超越人類已不罕見，因此已在工業(yè)中廣泛應(yīng)用。強(qiáng)人工智能的實(shí)現(xiàn)難度較大，但近年來大語言模型（Large Language Models，LLM）的發(fā)展給強(qiáng)人工智能帶來了一線曙光。本書重點(diǎn)關(guān)注面向弱人工智能的計(jì)算系統(tǒng)，也兼顧強(qiáng)人工智能所需的計(jì)算系統(tǒng)的研究。

1.1.2 人工智能的主要方法

人工智能按研究學(xué)派主要分為三類，包括行為主義（behaviorism）、符號(hào)主義（symbolism）、連接主義（connectionism）。

1.1.2.1 行為主義

行為主義的核心思想是基于控制論構(gòu)建感知-動(dòng)作型控制系統(tǒng)。1943年，A.Rosen-blueth、J.Bigelow、N.Wiener提出所有有目的的行為都需要負(fù)反饋[1]。1948年，N.Wiener在《控制論》（Cybernetics）[2]中提出控制論是研究動(dòng)物和機(jī)器的控制與通信的科學(xué)，并討論了用機(jī)器實(shí)現(xiàn)國際象棋的可能性。同時(shí)期的W.Ashby也探討過人工智能機(jī)器的可能性，并在《大腦設(shè)計(jì)》（Design for a Brain）[3]中闡述了利用包含適當(dāng)反饋環(huán)路以獲取穩(wěn)定適應(yīng)行為的自平衡設(shè)備來創(chuàng)造智能。通過控制論實(shí)現(xiàn)人工智能的可能性，在20世紀(jì)50年代引起人工智能研究者的關(guān)注。在C.Shannon和J.McCarthy征集出版的《自動(dòng)機(jī)研究》（Automata Studies）[4]中有很多控制論方面的研究工作，涉及有限自動(dòng)機(jī)、圖靈機(jī)、合成自動(dòng)機(jī)，希望基于控制論構(gòu)建一些感知?jiǎng)幼鞯姆磻?yīng)性控制系統(tǒng)。同樣在20世紀(jì)50年代，R.Bellman發(fā)表了論文“A Markovian Decision Process”（一種馬爾可夫決策過程）[5]，奠定了強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)。在強(qiáng)化學(xué)習(xí)中，智能體對(duì)環(huán)境的狀態(tài)進(jìn)行觀察，并根據(jù)觀察和自身的策略做出相應(yīng)的動(dòng)作，而環(huán)境則根據(jù)智能體的動(dòng)作所產(chǎn)生的影響給予智能體一定的獎(jiǎng)勵(lì)或者懲罰，以此來影響智能體的動(dòng)作決策。比如在圍棋比賽中，比賽勝利就會(huì)得到獎(jiǎng)勵(lì)，而比賽失敗則會(huì)得到懲罰。從比較直觀的角度看，行為主義方法可以模擬出類似于小腦這樣的人工智能，通過反饋來實(shí)現(xiàn)機(jī)器人的行走、抓取、平衡，因此有很大的實(shí)用價(jià)值。但是，這類方法似乎并不是通向強(qiáng)人工智能的終極道路。

1.1.2.2 符號(hào)主義

符號(hào)主義是基于符號(hào)邏輯的方法，用邏輯表示知識(shí)和求解問題。其基本思想是：用一種邏輯把各種知識(shí)都表示出來；當(dāng)求解一個(gè)問題時(shí)，就將該問題轉(zhuǎn)變?yōu)橐粋€(gè)邏輯表達(dá)式，然后用已有知識(shí)的邏輯表達(dá)式的庫進(jìn)行推理來解決該問題。

在各種符號(hào)邏輯中，最常見或許也是最簡單的是命題邏輯（propositional logic）。在具體演算過程中，命題邏輯只需要考慮與、或、非三種操作，以及0、1兩種變量取值。命題邏輯的表達(dá)能力很弱，連“不是所有的鳥都會(huì)飛”這樣的知識(shí)都無法表示[6]。因此，邏輯學(xué)家們引入了謂詞和量詞，形成了謂詞邏輯（predicate logic）來加強(qiáng)表達(dá)能力。量詞包括“存在”（?）和“任取”（?）兩種；謂詞則是一個(gè)函數(shù)，它以其定義域中的實(shí)體作為輸入，以0、1作為輸出。例如，可以用?x表示“任意一只鳥”，用謂詞B（x）表示“x是一只鳥”，用謂詞P（x）表示“x會(huì)飛”。“不是所有的鳥都會(huì)飛”可以表示為?（?x（B（x）→P（x）））。謂詞邏輯還可以進(jìn)一步分為一階邏輯和高階邏輯。一階邏輯的量詞不能作用在謂詞之上，高階邏輯的量詞還可以作用于謂詞之上。

符號(hào)主義是人工智能研究發(fā)展之初最受關(guān)注的方法。在20世紀(jì)，學(xué)術(shù)界普遍認(rèn)為符號(hào)主義是通向強(qiáng)人工智能的一條終極道路。但通過60多年的探索，符號(hào)主義展現(xiàn)出一些本質(zhì)性的問題：

（1）邏輯問題。從邏輯的角度，難以找到一種簡潔的符號(hào)邏輯體系來表述出世間所有的知識(shí)。例如，普通的謂詞邏輯無法方便地表示時(shí)間、空間、概率等信息。A.Pnueli提出了時(shí)態(tài)邏輯（Temporal Logic，TL），即在一階邏輯上加入時(shí)間，并因此獲得了1996年的圖靈獎(jiǎng)。但是TL還不能方便地表述對(duì)不確定的未來的判斷，因此E.Clarke等人進(jìn)一步提出了計(jì)算樹邏輯（Computation Tree Logic，CTL），即把時(shí)間建模成一個(gè)樹狀結(jié)構(gòu)，而樹的每條路徑都是歷史發(fā)展的一種可能性。Clarke等人也因此獲得了2007年圖靈獎(jiǎng)。可以看出，僅僅表述時(shí)間相關(guān)的信息就已經(jīng)很不容易。迄今為止，學(xué)術(shù)界為了表述知識(shí)，已經(jīng)發(fā)明了成百上千種邏輯。但今天我們依然還沒有一種公認(rèn)的大一統(tǒng)邏輯來表述所有的知識(shí)。

（2）常識(shí)問題。人類在做判斷決策時(shí)，往往基于大量的常識(shí)。例如，當(dāng)有人說他在家里陽臺(tái)上欣賞落日時(shí)，我們根據(jù)常識(shí)能判斷出他一定是在西邊的陽臺(tái)上。而世間的常識(shí)數(shù)不勝數(shù)。20世紀(jì)七八十年代廣泛研究的專家系統(tǒng)，希望在特定領(lǐng)域把領(lǐng)域內(nèi)的常識(shí)都用邏輯表達(dá)式記錄下來。但即便是一個(gè)領(lǐng)域，其中的常識(shí)也太多了。迄今為止，研究者還沒能把一個(gè)實(shí)用領(lǐng)域中的所有常識(shí)都用邏輯表達(dá)式記錄下來。

（3）求解器問題。在符號(hào)主義中，解決問題的關(guān)鍵環(huán)節(jié)是邏輯求解器。它負(fù)責(zé)根據(jù)已有的知識(shí)來判斷問題對(duì)應(yīng)的邏輯表達(dá)式是否成立。但是，邏輯求解器的時(shí)間復(fù)雜度非常高。即便是最簡單的命題邏輯，它的求解也依然是NP完全的（事實(shí)上，命題邏輯的可滿足性判斷問題是第一個(gè)被證明為NP完全的問題）。而各種謂詞邏輯一般都是不可判定的，也就是理論上不存在一種機(jī)械方法能在有限時(shí)間內(nèi)判定任意一個(gè)謂詞邏輯表達(dá)式是否成立。

由于上述原因，符號(hào)主義在工業(yè)上實(shí)用的成功案例很少。如果從國際人工智能聯(lián)合會(huì)議（IJCAI）收錄的論文數(shù)量看，現(xiàn)在在整個(gè)人工智能學(xué)術(shù)界，研究符號(hào)主義的學(xué)者的數(shù)量遠(yuǎn)少于10%[1]。

我們認(rèn)為，符號(hào)主義最本質(zhì)的問題是只考慮了理性認(rèn)識(shí)的智能。人類的智能包括感性認(rèn)識(shí)（感知）和理性認(rèn)識(shí)（認(rèn)知）兩個(gè)方面。即便人類自己，也是一步步從底層的感知智能開始，像動(dòng)物一樣識(shí)別各種物體、氣味、聲音，產(chǎn)生本能反應(yīng)，然后才在此基礎(chǔ)上產(chǎn)生了生物界中獨(dú)一無二的復(fù)雜語言，進(jìn)而產(chǎn)生文字，再進(jìn)而產(chǎn)生數(shù)學(xué)和邏輯，最終形成認(rèn)知智能。符號(hào)主義跳過前面這些階段，直奔邏輯，難免遇到巨大的阻礙。但我們依然相信，在未來通往強(qiáng)人工智能的道路上，符號(hào)主義方法會(huì)和其他方法融合，發(fā)揮重要作用。

1.1.2.3 連接主義

人類大腦是我們迄今已知最具智能的物體。它基于上千億個(gè)神經(jīng)元細(xì)胞連接組成的網(wǎng)絡(luò)，賦予人類思考的能力。連接主義方法的基本出發(fā)點(diǎn)是借鑒大腦中神經(jīng)元細(xì)胞連接的計(jì)算模型，用人工神經(jīng)網(wǎng)絡(luò)來擬合智能行為。

事實(shí)上，連接主義方法并不是完全照抄人類的大腦，因?yàn)樯锏拇竽X非常復(fù)雜，即便是一個(gè)神經(jīng)元細(xì)胞也很復(fù)雜。如圖1.1所示，一個(gè)神經(jīng)元細(xì)胞包括細(xì)胞體和突起兩部分，其中細(xì)胞體由細(xì)胞膜、細(xì)胞核、細(xì)胞質(zhì)組成，突起有軸突（axon）和樹突（dendrite）兩種。軸突是神經(jīng)元長出的一個(gè)長而且分支少的突起，樹突是神經(jīng)元長出的很多短而且分支多的突起。一個(gè)神經(jīng)元的軸突和另外一個(gè)神經(jīng)元的樹突相接觸，形成突觸[2]。

人工神經(jīng)網(wǎng)絡(luò)則對(duì)生物的神經(jīng)元細(xì)胞網(wǎng)絡(luò)進(jìn)行了大幅度的抽象簡化，把每個(gè)細(xì)胞體的輸出、每個(gè)突觸強(qiáng)度都抽象成一個(gè)數(shù)字。具體來說，圖1.1中的一個(gè)人工神經(jīng)元可以從外界得到輸入x1，…，xn，每個(gè)輸入有一個(gè)突觸的權(quán)重w1，…，wn，對(duì)神經(jīng)元的輸入進(jìn)行加權(quán)匯總之后，通過一個(gè)非線性函數(shù)得到該神經(jīng)元的輸出。

連接主義方法肇始于1943年。心理學(xué)家W.McCulloch和數(shù)理邏輯學(xué)家W.Pitts通過模擬人類神經(jīng)元細(xì)胞結(jié)構(gòu)，建立了M-P神經(jīng)元模型（McCulloch-Pitts neuron model）[7]，這是最早的人工神經(jīng)網(wǎng)絡(luò)。此后60余年里，通過F.Rosenblatt（感知機(jī)模型）、D.Rumelhart（反向傳播訓(xùn)練方法）、Y.LeCun（卷積神經(jīng)網(wǎng)絡(luò)）、Y.Bengio（深度學(xué)習(xí)）、G.Hinton（深度學(xué)習(xí)和反向傳播訓(xùn)練方法）等學(xué)者的不懈努力，連接主義逐漸成為整個(gè)人工智能領(lǐng)域的主流研究方向。

目前，深度學(xué)習(xí)等方法已廣泛應(yīng)用于圖像識(shí)別、語音識(shí)別、自然語言處理等領(lǐng)域，產(chǎn)生了換頭換臉、圖像風(fēng)格遷移等有意思的應(yīng)用，甚至在圍棋和《星際爭霸》游戲中戰(zhàn)勝了人類頂尖高手。此外，大模型在問答、搜索、多模態(tài)等領(lǐng)域表現(xiàn)出色，徹底改變了當(dāng)前的人機(jī)交互模式，并且伴隨著插件、記憶、反思、制造和使用工具等功能的提出，在各種規(guī)劃推理任務(wù)上的表現(xiàn)也迅速提升，能在虛擬小鎮(zhèn)中通過智能體之間的對(duì)話涌現(xiàn)有意思的現(xiàn)象，以及在《我的世界》游戲中不斷地自動(dòng)學(xué)習(xí)新的技能。目前圍繞深度學(xué)習(xí)技術(shù)，已經(jīng)逐漸形成了萬億級(jí)別的智能產(chǎn)業(yè)，包括智能安防、智能教育、智能手機(jī)、智能家電、智慧醫(yī)療、智慧城市、智慧工廠等。本書重點(diǎn)介紹的也是面向深度學(xué)習(xí)的智能計(jì)算系統(tǒng)。

但是，我們必須清醒地認(rèn)識(shí)到，深度學(xué)習(xí)不一定是通向強(qiáng)人工智能的終極道路。它更像是一個(gè)能幫助我們快速爬到二樓、三樓的梯子，但順著梯子我們很難爬到月球上。深度學(xué)習(xí)已知的局限包括：

（1）泛化能力有限。深度學(xué)習(xí)訓(xùn)練需要依靠大量的樣本，與人類的學(xué)習(xí)機(jī)理不同。人類在幼兒時(shí)期會(huì)依據(jù)大量外在數(shù)據(jù)學(xué)習(xí)，但是成年人類的遷移學(xué)習(xí)能力和泛化能力遠(yuǎn)高于現(xiàn)在的深度學(xué)習(xí)。

（2）缺乏邏輯推理能力。缺乏邏輯推理能力使得深度學(xué)習(xí)不擅長解決認(rèn)知類的問題。如何將擅長邏輯推理的符號(hào)邏輯與深度學(xué)習(xí)結(jié)合起來，是未來非常有潛力的發(fā)展方向。即便是最新的GPT-4這樣的大模型，在很多邏輯推理問題上依然存在幻覺等問題，表現(xiàn)欠佳。

（3）缺乏可解釋性。在比較重視安全的領(lǐng)域，缺乏可解釋性會(huì)帶來一些問題。比如，某個(gè)決策是如何做出來的？深度學(xué)習(xí)為什么識(shí)別錯(cuò)了？

（4）魯棒性欠佳。在一張圖像上加一些人眼很難注意到的點(diǎn)，就可以讓深度學(xué)習(xí)算法產(chǎn)生錯(cuò)誤判斷，例如把豬識(shí)別成貓，把牛識(shí)別成狗。

1.1.3 人工智能的發(fā)展歷史

人工智能的萌芽至少可以上溯到20世紀(jì)40年代。例如，1943年W.McCulloch和W.Pitts提出了首個(gè)人工神經(jīng)元模型[7]，1949年D.Hebb提出了赫布規(guī)則[8]來對(duì)神經(jīng)元之間的連接強(qiáng)度進(jìn)行更新。但人工智能概念的正式誕生則要等到1956年的達(dá)特茅斯會(huì)議[9]。自那以后，人工智能60多年的發(fā)展歷史幾起幾落，經(jīng)歷了三次熱潮，但也遇到了兩次寒冬（如圖1.2所示）。

1.1.3.1 第一次熱潮，1956年至20世紀(jì)60年代

1956年夏天，J.McCarthy、M.Minsky、N.Rochester和C.Shannon等發(fā)起了為期2個(gè)月的10人參與的達(dá)特茅斯人工智能研討會(huì)。該會(huì)議認(rèn)為，如果學(xué)習(xí)或智能的各種特征可以被精確描述，就可以用一臺(tái)機(jī)器來模擬智能，并嘗試讓機(jī)器使用語言、形成抽象概念、解決人類才能解決的各種問題，甚至自我完善[10]。這次會(huì)議的參會(huì)者有多人后來獲得了圖靈獎(jiǎng)（包括J.McCarthy、M.Minsky和H.Simon等）。

由于參會(huì)者大多有著深厚的邏輯研究背景，達(dá)特茅斯會(huì)議驅(qū)動(dòng)的第一次人工智能熱潮是以符號(hào)邏輯為主要出發(fā)點(diǎn)的，也就是后來所謂的符號(hào)主義。理論上說，如果我們能用某種符號(hào)邏輯表示已有知識(shí)和要解決的問題，那么通過邏輯問題求解器就可以解決各種智能任務(wù)。秉承這個(gè)思路，A.Newell和H.Simon在達(dá)特茅斯會(huì)議上展示了推理計(jì)算機(jī)程序——邏輯理論家，該程序后來證明了很多數(shù)學(xué)定理。除此之外，第一次熱潮還涌現(xiàn)出了幾何定理證明者、國際象棋程序、跳棋程序、問答和規(guī)劃系統(tǒng)等有一定影響力的成果。除了符號(hào)主義之外，連接主義在第一次人工智能熱潮中也有所發(fā)展。該時(shí)期F.Rosenblatt提出了感知機(jī)模型[11-12]，這一神經(jīng)網(wǎng)絡(luò)模型受到了當(dāng)時(shí)很多研究者的關(guān)注。

在第一次熱潮的初期，人工智能研究者對(duì)未來非常樂觀。1957年H.Simon就提出：“現(xiàn)在世界上已經(jīng)有機(jī)器可以思考、可以學(xué)習(xí)、可以創(chuàng)造。它們的能力將迅速提高，處理的問題范圍在可見的未來就能延伸到人類思維應(yīng)用的范圍。”他還預(yù)測(cè)計(jì)算機(jī)將在10年內(nèi)成為國際象棋冠軍，而40年后IBM的深藍(lán)系統(tǒng)才成為國際象棋冠軍[13]。由于研究者發(fā)現(xiàn)人工智能發(fā)展的難度遠(yuǎn)遠(yuǎn)超過了當(dāng)初的想象，很快人工智能的第一次熱潮就退去，進(jìn)入了長達(dá)10余年之久的第一次寒冬。

1.1.3.2 第二次熱潮，1975年至1991年

人工智能第二次熱潮到來的標(biāo)志性事件是1982年日本啟動(dòng)了雄心勃勃的五代機(jī)計(jì)劃，計(jì)劃在10年內(nèi)建立可高效地進(jìn)行符號(hào)推理的智能計(jì)算系統(tǒng)。國際上還出現(xiàn)了一批基于領(lǐng)域知識(shí)和符號(hào)規(guī)則進(jìn)行推理的系統(tǒng)，并有了一些較為成功的案例，包括醫(yī)學(xué)領(lǐng)域的MYCIN和CADUCEUS。有的專家系統(tǒng)甚至在商業(yè)中發(fā)揮了實(shí)際作用。例如，DEC的專家系統(tǒng)R1可以按照用戶的需求，為VAX型計(jì)算機(jī)系統(tǒng)自動(dòng)選購軟硬件組件。20世紀(jì)80年代中期，連接主義的神經(jīng)網(wǎng)絡(luò)方法也迎來了一次革命。反向傳播學(xué)習(xí)算法[14]的提出，使得神經(jīng)網(wǎng)絡(luò)重新成為研究的焦點(diǎn)，成為與符號(hào)主義并駕齊驅(qū)的連接主義方法。

20世紀(jì)80年代末，人工智能開始結(jié)合數(shù)學(xué)理論，形成更實(shí)際的應(yīng)用。隱馬爾可夫模型（Hidden Markov Model，HMM）開始用于語音識(shí)別，提供了理解問題的數(shù)學(xué)框架，有效應(yīng)對(duì)實(shí)際應(yīng)用；信息論用于機(jī)器翻譯；貝葉斯網(wǎng)絡(luò)（Bayesian network）用于非確定的推理和專家系統(tǒng)，對(duì)非確定性知識(shí)提供了有效的表示和嚴(yán)格的推理。

應(yīng)該說，在第二次熱潮中，符號(hào)主義依然是旗手。無論是日本五代機(jī)使用的Prolog，還是專家系統(tǒng)MYCIN使用的LISP，其核心還都是符號(hào)邏輯的推理。但是，研究者逐漸發(fā)現(xiàn)，符號(hào)主義方法存在很多難以克服的困難，例如缺乏有足夠表示能力同時(shí)又比較簡練的邏輯，以及邏輯問題求解器的時(shí)間復(fù)雜度極高等。另一方面，連接主義方法（如神經(jīng)網(wǎng)絡(luò)）也沒有找到真正落地的殺手級(jí)應(yīng)用。隨著1991年日本五代機(jī)計(jì)劃的失敗，第二次熱潮退去，人工智能跌入了長達(dá)近20年的第二次寒冬。

1.1.3.3 第三次熱潮，2006年至今

2006年，G.Hinton[3]和R.Salakhutdinov在Science上撰文指出，多隱層的神經(jīng)網(wǎng)絡(luò)可以刻畫數(shù)據(jù)的本質(zhì)屬性，借助無監(jiān)督的逐層初始化方法可以克服深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的問題[15]。業(yè)界廣泛認(rèn)為，這篇論文吹響了深度學(xué)習(xí)（多層大規(guī)模神經(jīng)網(wǎng)絡(luò)）走向繁榮的號(hào)角[4]，開啟了人工智能第三次熱潮。2012年，A.Krizhevsky、I.Sutskever和G.Hinton提出了一種新穎的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)——AlexNet[16]，成為2012年ImageNet大規(guī)模視覺識(shí)別比賽（ImageNet Large Scale Visual Recognition Competition，ILSVRC）的冠軍，從此深度學(xué)習(xí)得到了業(yè)界的廣泛關(guān)注。隨著數(shù)據(jù)集和模型規(guī)模的增長，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率越來越高，在語音識(shí)別、人臉識(shí)別、機(jī)器翻譯等領(lǐng)域應(yīng)用越來越廣泛。2016年，谷歌DeepMind團(tuán)隊(duì)研制的基于深度學(xué)習(xí)的圍棋程序AlphaGo戰(zhàn)勝了人類圍棋世界冠軍李世石，進(jìn)一步推動(dòng)了第三次熱潮的發(fā)展，使得人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)這些詞成為大眾的關(guān)注焦點(diǎn)。2022年11月，OpenAI的研究人員提出了ChatGPT，該模型的參數(shù)量約為1750億，訓(xùn)練語料超過45 TB，具有可以回答各種開放性問題的能力，并且回答風(fēng)格非常像人，在文本生成、信息提取、多語種翻譯、自動(dòng)寫代碼等任務(wù)上表現(xiàn)非常驚艷，使深度學(xué)習(xí)大模型受到各行各業(yè)的廣泛關(guān)注。OpenAI于2023年3月發(fā)布了GPT-4，其表現(xiàn)更優(yōu)于ChatGPT，并且是一個(gè)多模態(tài)模型，能同時(shí)接收?qǐng)D像輸入和文本輸入。微軟的研究人員在對(duì)GPT-4進(jìn)行詳盡的實(shí)驗(yàn)后表示，它或許是強(qiáng)人工智能的雛形。

第三次熱潮中的人工智能與達(dá)特茅斯會(huì)議時(shí)已經(jīng)有顯著的區(qū)別，連接主義成為壓倒性的主流。而60多年前達(dá)特茅斯會(huì)議上最核心的符號(hào)主義方法，卻已經(jīng)少有研究者關(guān)注。