聯(lián)結(jié)主義——另一條道路

當(dāng)符號主義高歌猛進(jìn)時，另一群人則在更加坎坷的道路上艱難探索。這條路就是聯(lián)結(jié)主義。如果說符號主義的目標(biāo)是模擬人類的思維過程，那么聯(lián)結(jié)主義則旨在模仿人類大腦的運(yùn)作方式。符號主義稱霸了早期的AI，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的聯(lián)結(jié)主義則統(tǒng)治了今天的AI。

聯(lián)結(jié)主義的起源甚至比符號主義更早。1943年，神經(jīng)科學(xué)家沃倫·麥卡洛克與數(shù)學(xué)家沃爾特·皮茨在《數(shù)學(xué)生物物理學(xué)通報》上發(fā)表的論文中首次提出了人工神經(jīng)模型。后來，人們根據(jù)麥卡洛克和皮茨的名字將這個僅有二進(jìn)制激活函數(shù)的模型命名為“M-P神經(jīng)元模型”。盡管這是人類首次將神經(jīng)元抽象為閾值邏輯單元，為神經(jīng)網(wǎng)絡(luò)奠定了數(shù)學(xué)基礎(chǔ)，但它還是太簡單了，以至于人們不知道它能用來做什么。

轉(zhuǎn)機(jī)來自達(dá)特茅斯會議召開一年之后，1957年，弗蘭克·羅森布拉特在IBM 704計(jì)算機(jī)上模擬實(shí)現(xiàn)了感知機(jī)Mark1，標(biāo)志著聯(lián)結(jié)主義的首次技術(shù)突破。這個由400個光電池、100個神經(jīng)元組成的裝置，通過調(diào)整權(quán)重實(shí)現(xiàn)了0～9的手寫數(shù)字識別。更具革命性的一點(diǎn)是，它無須編程即可自主學(xué)習(xí)——這種“數(shù)據(jù)驅(qū)動”的范式，與符號主義的“規(guī)則驅(qū)動”形成鮮明對比。正如羅森布拉特所預(yù)言的：“感知機(jī)將為理解人類智能提供鑰匙。”

要讓感知機(jī)能夠識別手寫數(shù)字，我們需要將大量手寫數(shù)字的數(shù)據(jù)集“投喂”給神經(jīng)網(wǎng)絡(luò)，這個過程又被稱為機(jī)器學(xué)習(xí)。

第一步，將訓(xùn)練集里的每個手寫數(shù)字圖片轉(zhuǎn)化為28×28總共784個像素（見圖2-2），然后用784個神經(jīng)元去識別這784個像素。我們給每一個像素賦予一個數(shù)值。比如，手寫圖片9正中央的像素，它的賦值對9來說應(yīng)該是一個負(fù)值，因?yàn)槿绻@個像素在圖片中間出現(xiàn)，那么這個圖片是9的可能性就降低了，而對于數(shù)字1來說，這個賦值就應(yīng)該是正的，因?yàn)樗坏┏霈F(xiàn)，這個圖片是1的可能性就上升了。我們把這個像素的賦值稱作權(quán)重。

第二步，將784個像素的賦值歸一化，就可以將一幅像素畫轉(zhuǎn)化為特定的數(shù)值范圍，對應(yīng)0～9不同的數(shù)字，這時感知機(jī)就可以識別數(shù)字了。

科研人員讓感知機(jī)識別大量手寫數(shù)字圖片（見圖2-3），并通過識別的結(jié)果不斷調(diào)整每個神經(jīng)元的參數(shù)，直到整個感知機(jī)可以準(zhǔn)確地輸出答案，這和今天幾百億參數(shù)大模型的訓(xùn)練過程并沒有本質(zhì)區(qū)別。

感知機(jī)識別手寫數(shù)字的訓(xùn)練，是人類首次摒棄了傳統(tǒng)編程，通過預(yù)先調(diào)整參數(shù)的方式，單純依靠機(jī)器學(xué)習(xí)來完成智能任務(wù)，開辟了與圖靈機(jī)和符號主義完全不同的一條人工智能發(fā)展新路徑。至今，所有基于神經(jīng)網(wǎng)絡(luò)的人工智能模型在基本工作原理上仍與感知機(jī)保持一致（見圖2-4）。從此刻起，人類終于給了機(jī)器一個自主學(xué)習(xí)的大腦，機(jī)器學(xué)習(xí)時代發(fā)出了第一次微弱的脈搏。

然而好景不長，1969年明斯基與西摩·佩珀特合著的《感知機(jī)》將機(jī)器學(xué)習(xí)的嬰兒扼殺在襁褓中。他們通過數(shù)學(xué)證明：單層感知機(jī)無法解決XOR（異或）等非線性問題（見圖2-5）。早期神經(jīng)網(wǎng)絡(luò)可以輕松解決OR（或）問題，卻無法處理XOR這樣的非線性問題，導(dǎo)致神經(jīng)網(wǎng)絡(luò)研究陷入長期停滯。

這個結(jié)論被過度解讀為“神經(jīng)網(wǎng)絡(luò)沒有前途”，導(dǎo)致美國政府切斷了資助。這種理論打擊與羅森布拉特的意外離世形成雙重暴擊，聯(lián)結(jié)主義研究進(jìn)入長達(dá)37年的寒冬。

頗具諷刺意味的是，《感知機(jī)》一書其實(shí)提到了多層網(wǎng)絡(luò)可能突破限制，但當(dāng)時無人具備實(shí)現(xiàn)它的算力與算法。這也是人工智能第一次遭遇算力與算法的瓶頸挑戰(zhàn)，但是一旦鑿開這堵嘆息之壁，前方便是一片光明。這也為后來的大模型“大力出奇跡”的模式埋下了伏筆。隨著時間的推移，人工智能的發(fā)展逐漸依賴于算力和數(shù)據(jù)的堆砌，演變成了一場大模型的軍備競賽。正是憑借不斷增加的算力與數(shù)據(jù)量，大模型才能夠展現(xiàn)出其強(qiáng)大的能力和“大力出奇跡”的特點(diǎn)，這也展現(xiàn)出算力與數(shù)據(jù)對大模型至關(guān)重要的推動作用。

20世紀(jì)七八十年代，神經(jīng)網(wǎng)絡(luò)研究淪為學(xué)術(shù)邊緣課題。只有少數(shù)“逆行者”仍在堅(jiān)持：芬蘭學(xué)者托伊沃·科霍寧提出自組織映射（self-organizing map，SOM），證明神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)無監(jiān)督學(xué)習(xí)；日本科學(xué)家甘利俊一建立信息幾何理論，為深度學(xué)習(xí)奠定數(shù)學(xué)基礎(chǔ)；當(dāng)然，還有本書前文提到的盜火者辛頓。