神經(jīng)網(wǎng)絡(luò)模型的5大特征

在劉易斯·凱洛爾（Lewis Carroll）的故事《烏龜對(duì)阿契利斯說(shuō)了什么》（What the Tortoise Said to Achilles）中，飛毛腿勇士趕上了奮力挪行的烏龜，使芝諾的經(jīng)典悖論落了空。芝諾的悖論中，只要烏龜稍微先行一小步，阿契利斯就永遠(yuǎn)也趕不上它。在阿契利斯趕上原來(lái)差距的時(shí)候，烏龜會(huì)又往前前進(jìn)一點(diǎn)；阿契利斯趕上這段差距的時(shí)候，烏龜又往前挪動(dòng)更少一點(diǎn)，如此往復(fù)，永無(wú)止境。烏龜又給了阿契利斯一個(gè)類(lèi)似的悖論。阿契利斯從它頭盔里拿出一個(gè)巨大的筆記本和一支鉛筆，然后烏龜開(kāi)始口授歐幾里得第一定理：

（A）與同一個(gè)東西相等的東西彼此相等。

（B）這個(gè)三角形的兩邊是與同一個(gè)東西相等的東西。

（Z）這個(gè)三角形的兩邊彼此相等。

阿契利斯讓烏龜同意，任何人只要接受A和B以及“如果A并B，那么Z”，那么他就一定接受Z。但現(xiàn)在，烏龜不同意阿契利斯的邏輯。它說(shuō)它有權(quán)拒絕結(jié)論Z，因?yàn)闆](méi)有人在它必須接受的前提清單上寫(xiě)下過(guò)“如果-那么”規(guī)則。于是阿契利斯在它筆記本的清單上又在后面增加了一條C：

（C）如果A和B都真實(shí)，那么Z也一定真實(shí)。

烏龜回答說(shuō)，它沒(méi)看出為什么應(yīng)該假設(shè)：只是因?yàn)锳和B和C真實(shí)，Z就也真實(shí)。于是阿契利斯又增加了一條陳述：

（D）如果A和B和C都真實(shí)，那么Z也一定真實(shí)。

然后宣布“邏輯（必須）掐著你的喉嚨，強(qiáng)迫你”接受Z。烏龜回答說(shuō)，

無(wú)論什么好得要告訴我的邏輯都值得寫(xiě)下來(lái)。所以錄入到你的本子上吧。我們把它稱作：

（E）如果A和B和C和D都真實(shí)，那么Z也一定真實(shí)。

“我明白了?！卑⑵趵拐f(shuō)，他的語(yǔ)調(diào)中透著一絲悲傷。

這時(shí)，敘述者因?yàn)橛泄珓?wù)要急著趕往銀行，只好作別這快樂(lè)的一對(duì)，直到幾個(gè)月后才又經(jīng)過(guò)這個(gè)地方。當(dāng)他又經(jīng)過(guò)時(shí)，阿契利斯還坐在極有耐力的烏龜背上，在他的筆記本上奮筆寫(xiě)著，那本子似乎已經(jīng)快寫(xiě)滿了。烏龜說(shuō)：“你寫(xiě)下那最后一步了嗎？我要沒(méi)數(shù)錯(cuò)的話，那是第1 001條。還有好幾百萬(wàn)條等著呢。”

這個(gè)悖論的解決方法當(dāng)然是，沒(méi)有一個(gè)推導(dǎo)系統(tǒng)會(huì)一直因循明確的規(guī)則。在某一點(diǎn)上，系統(tǒng)必須像杰瑞·魯賓（Jerry Rubin）所說(shuō)的，做就是了 。也就是說(shuō)，規(guī)則只需被系統(tǒng)反射性地、強(qiáng)力操作執(zhí)行即可，無(wú)須再提更多的問(wèn)題。在那一點(diǎn)上，系統(tǒng)如果像一臺(tái)機(jī)器那樣運(yùn)行，將不會(huì)去遵循規(guī)則，而是會(huì)服從物理學(xué)定律。類(lèi)似地，如果表征是由“小幽靈（后臺(tái)程序）”來(lái)讀寫(xiě)的（用符號(hào)來(lái)代替符號(hào)的規(guī)則）, “小幽靈（后臺(tái)程序）”之中又有更小的（和更笨的）“小幽靈（后臺(tái)程序）”，最終你得向“捉鬼敢死隊(duì)”求救了，并用機(jī)器來(lái)取代最小最笨的“小幽靈（后臺(tái)程序）”——對(duì)于人和動(dòng)物，機(jī)器是用神經(jīng)元制造的，也就是神經(jīng)網(wǎng)絡(luò)。我們來(lái)看看對(duì)于心智如何工作的圖景，是如何建立在大腦如何工作的簡(jiǎn)單想法基礎(chǔ)上的。

最初的線索來(lái)自數(shù)學(xué)家沃倫·邁卡爾洛克（Warren McCulloch）和沃爾特·匹茨（Walter Pitts），他們寫(xiě)了一些關(guān)于相互連接的神經(jīng)元的“神經(jīng)-邏輯”性質(zhì)。神經(jīng)元很復(fù)雜，仍不為人所完全理解，但邁卡爾洛克和匹茨以及大多數(shù)神經(jīng)網(wǎng)絡(luò)的建模者已經(jīng)識(shí)別出神經(jīng)元所做的最重要的一件事。事實(shí)上，神經(jīng)元累積到一定數(shù)量，然后將總數(shù)與一個(gè)閾限相比較，來(lái)確定是否超過(guò)這個(gè)閾限。這就是對(duì)神經(jīng)元所做的概念性描述；相應(yīng)的物理描述是，一個(gè)觸發(fā)的神經(jīng)元其激活程度在不斷變化，它的激活水平受到來(lái)自軸突的激活水平的影響，而軸突從附著在突觸上的其他神經(jīng)元一直延伸到本神經(jīng)元的樹(shù)突（輸入結(jié)構(gòu)）。突觸具有的電量從正（興奮的）到零，再到負(fù)（抑制的）。每個(gè)到來(lái)的軸突的激活水平再乘上突觸的電量。神經(jīng)元將這些到來(lái)的激活水平累加到一起；如果總數(shù)超過(guò)了閾限，神經(jīng)元就會(huì)變得更活躍，繼而向任何與它相連的神經(jīng)元發(fā)送一個(gè)信號(hào)。盡管神經(jīng)元總是處在激活狀態(tài)，而到來(lái)的信號(hào)只是使它的激活水平變化為更快或更慢的可察覺(jué)速率，但有時(shí)將它們描述為關(guān)（靜息率）或開(kāi)（動(dòng)作率）還是比較方便。

邁卡爾洛克和匹茨證明了，這些模型神經(jīng)元是如何連接在一起組成邏輯門(mén)的。邏輯門(mén)執(zhí)行了最基本的關(guān)系“且”“或”“非”，這些關(guān)系構(gòu)成了簡(jiǎn)單推理的基礎(chǔ)。如果A為真且B為真，那么“A且B”為真（概念上的）。如果它的兩個(gè)輸入都是開(kāi)的狀態(tài)，一個(gè)和門(mén)（物理上的）會(huì)產(chǎn)出一個(gè)輸出。為了從模型神經(jīng)元中做出一個(gè)且門(mén)，要將輸出單位的閾限調(diào)至比每個(gè)輸入分量大但小于它們的和，如圖2-2左圖中的微型網(wǎng)絡(luò)。如果A為真或B為真，那么“A或B”為真（概念上的）。如果兩個(gè)輸入中任意一個(gè)為開(kāi)的狀態(tài)，一個(gè)或門(mén)（物理上的）產(chǎn)出一個(gè)輸出。要做一個(gè)或門(mén)，將閾限設(shè)定為小于每個(gè)輸入分量，如圖2-2中間的微型網(wǎng)絡(luò)所示。最后，如果A為假，“非A”（概念上的）為真，反之亦然。一個(gè)非門(mén)（物理上的）當(dāng)它沒(méi)收到輸入時(shí)，會(huì)產(chǎn)出一個(gè)輸出；反之亦然。要做一個(gè)非門(mén)，將閾值設(shè)定為零，這樣當(dāng)沒(méi)收到任何輸入時(shí)，神經(jīng)元會(huì)觸發(fā)；令輸入分量為負(fù)，這樣輸入的信號(hào)就會(huì)抑制神經(jīng)元，正如圖2-2右圖中的微型網(wǎng)絡(luò)所示。

我們假設(shè)，每個(gè)模型神經(jīng)元都表征一個(gè)簡(jiǎn)單的命題。微型網(wǎng)絡(luò)可以連接在一起，其中一個(gè)的輸出供應(yīng)了另一個(gè)的輸入，這樣就可以評(píng)估一個(gè)復(fù)雜命題的真?zhèn)瘟?。例如，一個(gè)神經(jīng)網(wǎng)絡(luò)能夠評(píng)估命題{[（X咀嚼它反芻的食物） 和 （X有偶蹄）] 或[（X有鰭） 且（X有鱗）]}，概括什么樣的動(dòng)物才清潔可食。事實(shí)上，如果一個(gè)模型神經(jīng)元網(wǎng)絡(luò)被連接到某種可延伸的內(nèi)存記憶（比如在一個(gè)橡皮印章和一塊橡皮下滾動(dòng)的一卷紙）時(shí)，它就成了一臺(tái)圖靈機(jī)，一臺(tái)全速運(yùn)轉(zhuǎn)的計(jì)算機(jī)。

但是，在邏輯門(mén)中表征命題或組成命題的概念是完全不現(xiàn)實(shí)的，無(wú)論這些邏輯門(mén)是用神經(jīng)元還是用半導(dǎo)體做的。問(wèn)題在于，每個(gè)概念或命題都必需事先作為分開(kāi)的單位并連接好。而計(jì)算機(jī)和大腦都是將概念表征為對(duì)于幾組單位的活動(dòng)模式。一個(gè)簡(jiǎn)單的例子就是，普通的字節(jié)代表著你計(jì)算機(jī)中的一個(gè)字母數(shù)字字符。字母B的表征為01000010，其中的數(shù)字（比特）對(duì)應(yīng)到排列成行的小小硅片上。第二和第七小片充上了電荷，對(duì)應(yīng)于1；其他小片沒(méi)充電荷，對(duì)應(yīng)于0。一個(gè)字節(jié)也可以用模型神經(jīng)元來(lái)做，識(shí)別B模式的電路可以做成圖2-3這樣的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)：

你可以想象，這個(gè)網(wǎng)絡(luò)是組成一個(gè)“小幽靈（后臺(tái)程序）”的一部分。如果模型神經(jīng)元的最底下一行與短期記憶相連，最上面的將檢測(cè)短期記憶中是否包含一個(gè)符號(hào)B的情況。在圖2-4有一個(gè)“小幽靈（后臺(tái)程序）”局部網(wǎng)絡(luò)，它將符號(hào)B寫(xiě)入內(nèi)存記憶。

我們正在用模型神經(jīng)元構(gòu)建一個(gè)傳統(tǒng)數(shù)字計(jì)算機(jī)，不過(guò)讓我們略微調(diào)整一下方向，做一臺(tái)更具生物形態(tài)的計(jì)算機(jī)。首先，我們可以用模型神經(jīng)元來(lái)執(zhí)行模糊邏輯而不是經(jīng)典邏輯。在許多情況下，人們對(duì)某事是否正確并沒(méi)有“全部或者沒(méi)有”的十足把握。一件東西可以是某個(gè)類(lèi)別中比較好或比較差的一個(gè)例子，而不是要么屬于要么不屬于。以類(lèi)別“蔬菜”為例，絕大多數(shù)人同意，芹菜是徹底的蔬菜而大蒜是個(gè)一般般的例子。如果在里根政府鼓吹簡(jiǎn)化學(xué)校午餐項(xiàng)目時(shí)，我們相信政府的話，那么就連番茄醬也是一種蔬菜了——盡管在遭到如潮的批評(píng)后，里根政府承認(rèn)那不是一個(gè)很好的蔬菜。從概念上講，我們避開(kāi)認(rèn)為某種東西是或不是蔬菜的觀點(diǎn)，而是說(shuō)這東西會(huì)是比較好還是比較差的一個(gè)蔬菜的例子。從物理上講，我們不再堅(jiān)持一個(gè)表征“蔬菜性”的單位要么開(kāi)要么關(guān)，而是允許它有一個(gè)值的范圍，從0（如石頭）到0.1（如番茄醬），再到0.4（如大蒜），最后到1（如芹菜）。

我們也可以取消任意代碼，如果它們將概念與一串沒(méi)有意義的比特建立關(guān)聯(lián)。每個(gè)比特必須要代表什么東西才能存在下去。一個(gè)比特可能代表綠色，另一個(gè)代表有葉子，還有一個(gè)代表咬起來(lái)嘎吱響，等等。所有這些蔬菜性的單位都以很小的權(quán)重連接到蔬菜這個(gè)單位本身。其他代表蔬菜沒(méi)有的性質(zhì)的單位（如“磁性”或“移動(dòng)性”），可以以負(fù)權(quán)重與蔬菜單位相連。從概念上講，一個(gè)東西具有的蔬菜性質(zhì)越多，它就是一個(gè)更好的蔬菜的例子。從物理上講，越多的蔬菜性質(zhì)單位被開(kāi)啟，蔬菜單位的激活水平就越高。

一旦一個(gè)網(wǎng)絡(luò)被允許啟動(dòng)，它就能代表證據(jù)的可信程度和實(shí)踐的概率，也能做出統(tǒng)計(jì)決策。假設(shè)一個(gè)網(wǎng)絡(luò)的每個(gè)單位都代表一條證據(jù)顯示“是男管家”（如刀子上的指紋，給受害者妻子的情書(shū)，等等），假設(shè)頂端的節(jié)點(diǎn)代表結(jié)論為“是男管家干的”。從概念上講，顯示可能“是男管家干的”的線索越多，我們推測(cè)“是男管家干的”的可能性就越大。從物理上講，越多的線索單位被開(kāi)啟，結(jié)論單位就被激活得越多。我們可以通過(guò)將結(jié)論單位設(shè)計(jì)為以不同的方式整合輸入，來(lái)在網(wǎng)絡(luò)中執(zhí)行不同的統(tǒng)計(jì)程序。例如，結(jié)論單位可以是一個(gè)閾限單位，就像那些開(kāi)閉式邏輯門(mén)中的一樣；那些單位只有在證據(jù)的權(quán)重超過(guò)一個(gè)臨界值時(shí)（比如說(shuō)，“排除合理懷疑”），才執(zhí)行政策做出決定?；蛘呓Y(jié)論單位能夠逐漸地增加其活躍度；它的置信度會(huì)隨著最初線索的逐漸滲入而慢慢遞增，積累得越來(lái)越多，然后在收益遞減的一點(diǎn)趨于穩(wěn)定。這是神經(jīng)網(wǎng)絡(luò)建模者喜歡使用的兩種模型。

我們甚至可以再大膽些，從神經(jīng)元比硅芯片的連接更為方便這一事實(shí)中獲得啟發(fā)。為什么不把每個(gè)單位都與其他所有單位連接在一起呢？這樣的網(wǎng)絡(luò)所包含的將不只是“綠色”預(yù)測(cè)“蔬菜性”和“咬起來(lái)嘎吱響”預(yù)測(cè)“蔬菜性”這樣的知識(shí)，而且還包括“綠色”預(yù)測(cè)“咬起來(lái)嘎吱響”, “咬起來(lái)嘎吱響”預(yù)測(cè)“有葉子”, “綠色”預(yù)測(cè)“缺乏移動(dòng)性”，等等（見(jiàn)圖2-6）。

隨著這一變化，有趣的事情就開(kāi)始發(fā)生了。網(wǎng)絡(luò)開(kāi)始產(chǎn)生類(lèi)似于人類(lèi)思維的過(guò)程，而這是連接疏松的網(wǎng)絡(luò)做不到的。因?yàn)檫@個(gè)原因，心理學(xué)家和人工智能研究人員已經(jīng)在使用“所有連接所有”式網(wǎng)絡(luò)來(lái)對(duì)許多簡(jiǎn)單模式識(shí)別的例子建立模型。他們建立的網(wǎng)絡(luò)中，同樣的線條出現(xiàn)在不同的字母中，同樣的字母出現(xiàn)在不同的單詞中，同樣的身體部分出現(xiàn)在不同的動(dòng)物身上，同樣的家具部件出現(xiàn)在不同的房間中。頂端的節(jié)點(diǎn)往往已被摒棄掉，而只計(jì)算各性質(zhì)之間的相關(guān)度。這些網(wǎng)絡(luò)，有時(shí)被稱為自動(dòng)協(xié)關(guān)器，它有5個(gè)典型的特征：

首先，自動(dòng)協(xié)關(guān)器是一個(gè)重構(gòu)的、內(nèi)容尋址的記憶內(nèi)存。在商業(yè)計(jì)算機(jī)中，比特本身是沒(méi)有意義的，它們組成的字節(jié)有著任意的地址，就像街道中的房子一樣，其地址與內(nèi)容沒(méi)有任何關(guān)系。根據(jù)地址獲得內(nèi)存記憶的位置，然后確定一個(gè)模式是否儲(chǔ)藏在記憶的某個(gè)地方，需要你去那里尋找（或利用聰明的快捷方式）。而在內(nèi)容尋址的內(nèi)存記憶中，確定某件東西自動(dòng)會(huì)照亮記憶中包含了一個(gè)那東西復(fù)制品的位置。因?yàn)樵谧詣?dòng)協(xié)關(guān)器中表征一件東西是通過(guò)開(kāi)啟代表其性質(zhì)的單位的（在芹菜的例子中，綠色、有葉子，等等），而這些單位都彼此很緊密地連接著，所以被激活的單位會(huì)相互強(qiáng)化，過(guò)了幾輪之后整個(gè)網(wǎng)絡(luò)就都傳遍了激活的信號(hào)，所有與這件東西相關(guān)的單位都將被鎖止在“開(kāi)”的位置。這表明這件東西已經(jīng)被識(shí)別出了。事實(shí)上，一個(gè)自動(dòng)協(xié)關(guān)器的連接電儲(chǔ)能夠支持許多組分量，不只是一個(gè)，所以它能夠一次儲(chǔ)存許多件東西。

更好的是，連接是冗余的，即使這東西只有一部分模式呈交到自動(dòng)協(xié)關(guān)器那里，比方說(shuō)僅僅是綠色和咬時(shí)的嘎吱聲，模式的其余部分，“是否有葉子”也將自動(dòng)完成。從某種方面說(shuō)，這就是心智的回憶。我們不需在記憶中預(yù)先設(shè)定取回東西的標(biāo)簽，一件物體的幾乎任何方面都能將整個(gè)物體帶到心智中。例如，我們要回想起“蔬菜”，只要想到綠色和有葉的東西；或是綠色和咬起來(lái)嘎吱作響的東西；或是有葉的和咬起來(lái)嘎吱作響的東西。一個(gè)視覺(jué)的例子是，我們能夠從一個(gè)詞的幾個(gè)零散部分就推測(cè)出這個(gè)詞。我們不會(huì)將這些黑影看作隨機(jī)的線段，或是任意序列的字母（像MIHB），而是看作一些更可能的東西（見(jiàn)圖2-7）。

第二個(gè)賣(mài)點(diǎn)被稱為“優(yōu)雅地降解”，有助于處理嘈雜的輸入或硬件失靈。當(dāng)輸入打印命令pritn fi le（打印文檔）時(shí)，計(jì)算機(jī)回復(fù)為信息錯(cuò)誤pritn: command not found（pritn： 未找到命令）（print拼錯(cuò)為pritn），誰(shuí)能忍得住不把鞋扔到電腦屏幕上？在伍迪·艾倫的《拿了錢(qián)就跑》（Take the Money and Run）中，銀行搶劫犯維吉爾·斯塔科維爾由于他的書(shū)寫(xiě)而搶劫未遂，因?yàn)槌黾{員問(wèn)他為什么寫(xiě)下他在拿著一支gub指著她。在那個(gè)裝點(diǎn)了很多認(rèn)知心理學(xué)家辦公室大門(mén)的加里·拉爾森卡通片中，一個(gè)飛行員正飛臨擱淺在一個(gè)沙漠孤島上的一艘遇害難船，他讀到畫(huà)在沙地上的訊息，然后對(duì)著步話機(jī)大聲喊：“等等！等等！……取消行動(dòng)，我想它寫(xiě)的是‘HELF'?！痹诂F(xiàn)實(shí)生活中我們干得要好得多，可能是因?yàn)槲覀冄b有自動(dòng)協(xié)關(guān)器，使用了占優(yōu)勢(shì)的相互一致的信息來(lái)壓倒一個(gè)不尋常的信息?！癙ritn”會(huì)激活更為熟悉的“print”模式，“gub”會(huì)傾向于“gun”, “HELF”到“HELP”。類(lèi)似地，一臺(tái)計(jì)算機(jī)如果磁盤(pán)中有一個(gè)壞比特，一個(gè)插槽中有一點(diǎn)腐蝕，或者電源供應(yīng)中滴入了一滴水，都會(huì)導(dǎo)致死機(jī)和系統(tǒng)崩潰。但一個(gè)疲憊的人、宿醉的人，或是腦受損的人并不會(huì)僵掉或崩潰；通常他或她會(huì)慢一些，也不太準(zhǔn)確，但能夠做出一個(gè)有智能的回復(fù)。

第三種優(yōu)勢(shì)是自動(dòng)協(xié)關(guān)器能夠做一種簡(jiǎn)約版的計(jì)算，稱為限制性滿意。人們解決的許多問(wèn)題都有雞和蛋的特點(diǎn)。第一章中的一個(gè)例子是我們根據(jù)對(duì)平面角度的猜測(cè)來(lái)計(jì)算平面的光亮度，并根據(jù)對(duì)光亮度的猜測(cè)來(lái)計(jì)算平面的角度，而二者都不能提前確定。這些問(wèn)題在知覺(jué)、語(yǔ)言和常識(shí)推理中大量存在。我是在看一個(gè)折還是在看一個(gè)邊？我聽(tīng)到的是元音[I]（就像pin中的一樣）還是有著南方口音的元音[e]（就像pen中的一樣）？我是一次惡意行為的受害者，還是一次愚蠢行為的犧牲者？這些模糊之處有時(shí)可以通過(guò)選擇與對(duì)其他模糊事件最多數(shù)量的解釋相一致的解釋而解決，如果它們都能被一次解決的話。例如，如果一個(gè)發(fā)音的聲可以被解釋為send（傳遞）或sinned（犯罪的），要是我們聽(tīng)到一個(gè)講話者用同樣的元音嘟囔出這兩個(gè)詞我們就能夠解決這個(gè)不確定性了。我會(huì)推斷說(shuō)，他一定是想說(shuō)send和pen，因?yàn)閟end a pen（傳遞一支鋼筆）是不違反同樣約束條件下唯一可能的推測(cè)。Sinned和pin會(huì)讓我說(shuō)成sinned a pin（犯罪的一支別針），這違反了語(yǔ)法規(guī)則和可理解的含義；send和pin可以通過(guò)兩個(gè)元音發(fā)音相同的約束條件而摒棄；sinned和pen能夠被剔除是因?yàn)樗鼈冞`背了這兩個(gè)約束條件。

如果所有的相容性都只能一次檢測(cè)一個(gè)，這種推理需要花很長(zhǎng)時(shí)間。但在一個(gè)自動(dòng)協(xié)關(guān)器中，它們都被提前編碼在連接中，網(wǎng)絡(luò)能夠一次性評(píng)估所有的相容性。假設(shè)每個(gè)解釋都是一個(gè)模型神經(jīng)元，一個(gè)對(duì)sinned，一個(gè)對(duì)send，等等。假設(shè)那對(duì)解釋一致的單位被連接到正電荷，那對(duì)解釋不一致的被連接到負(fù)電荷。激活將會(huì)圍繞著網(wǎng)絡(luò)飛掠，如果一切運(yùn)轉(zhuǎn)正常，它會(huì)確定在一個(gè)狀態(tài)，在這種狀態(tài)中有最大數(shù)量相互一致的解釋被激活。用一個(gè)恰當(dāng)?shù)谋扔鳎壕拖袷且粋€(gè)肥皂泡在雞蛋形和變形蟲(chóng)形狀之間搖擺不定，被周邊鄰近的分子拖拽著進(jìn)到一塊區(qū)域。

有時(shí)，一個(gè)約束網(wǎng)絡(luò)可以有相互不一致但相等的穩(wěn)定狀態(tài)。這說(shuō)明了這個(gè)現(xiàn)象整體的模糊性，即以兩種方式來(lái)解釋整個(gè)物體，而不是其各個(gè)部分。如果你盯著看圖2-8時(shí)（稱作耐克爾立方），你的知覺(jué)會(huì)在頂面的俯視感和底面的仰視感之間不停轉(zhuǎn)換。當(dāng)整體轉(zhuǎn)換發(fā)生的時(shí)候，對(duì)各個(gè)局部的解釋也被拖著進(jìn)行轉(zhuǎn)換。每個(gè)近邊成為遠(yuǎn)邊，每個(gè)凸角成為凹角，等等。反之亦然，如果你試著將一個(gè)凸角看作凹的，你有時(shí)能夠促使將對(duì)整個(gè)立方體的感覺(jué)翻轉(zhuǎn)過(guò)來(lái)。這種動(dòng)態(tài)可以用一個(gè)網(wǎng)絡(luò)來(lái)表示（見(jiàn)圖2-8下），圖中單位代表著局部的解釋，三維物體中一致的彼此相互激活，不一致的相互抑制。

第四種優(yōu)點(diǎn)來(lái)自網(wǎng)絡(luò)自動(dòng)歸納概括的能力。如果將字母監(jiān)測(cè)器（將一堆輸入單位匯集到?jīng)Q策單位）連接到字母打印器（有一個(gè)意圖單位散開(kāi)到一堆輸出單位中），我們就制造了一個(gè)簡(jiǎn)單的讀寫(xiě)或查詢“小幽靈（后臺(tái)程序）”——例如，一個(gè)打印出C來(lái)回應(yīng)輸入B的機(jī)器。但如果你略過(guò)中間人，直接將輸入單位連接到輸出單位，有趣的事情就發(fā)生了。你得到的不是一個(gè)忠誠(chéng)的逐個(gè)到字母的查詢“小幽靈（后臺(tái)程序）”，而是一個(gè)能夠做一些查詢歸納的機(jī)器（見(jiàn)圖2-9）。這種網(wǎng)絡(luò)被稱為一個(gè)模式協(xié)關(guān)器（pattem associator）。

假設(shè)底端的輸入單位代表動(dòng)物的外表“：長(zhǎng)毛發(fā)的”、“四足的”、“長(zhǎng)羽毛的”、“綠的”、“長(zhǎng)脖子的”，等等。有了足夠的單位，就能通過(guò)開(kāi)啟每個(gè)動(dòng)物獨(dú)特的那組特征的單位來(lái)代表它們。開(kāi)啟“長(zhǎng)羽毛的”單位，關(guān)閉“長(zhǎng)毛發(fā)的”單位等，就代表了鸚鵡?，F(xiàn)在假設(shè)頂端的輸出單位代表動(dòng)物學(xué)事實(shí)，一個(gè)代表動(dòng)物食草，另一個(gè)代表動(dòng)物是溫血的，等等。沒(méi)有單位代表某個(gè)特定的動(dòng)物（也就是說(shuō)，沒(méi)有“鸚鵡”單位），但權(quán)重自動(dòng)地代表了動(dòng)物類(lèi)別在統(tǒng)計(jì)上的知識(shí)。它們隱含了這樣的知識(shí)：長(zhǎng)羽毛的動(dòng)物傾向于是溫血的，長(zhǎng)毛發(fā)的傾向于是年輕的，等等。任何儲(chǔ)存在對(duì)一個(gè)動(dòng)物的連接中的事實(shí)（鸚鵡是溫血的）自動(dòng)地轉(zhuǎn)移到類(lèi)似的動(dòng)物（虎皮鸚鵡是溫血的），因?yàn)榫W(wǎng)絡(luò)根本不在乎連接從屬于任何一個(gè)動(dòng)物。網(wǎng)絡(luò)只是說(shuō)哪些可見(jiàn)的特征可以推測(cè)出哪些可見(jiàn)的特征，而略去了關(guān)于動(dòng)物種類(lèi)共同的表像（見(jiàn)圖2-9）。

從概念上講，模式協(xié)關(guān)器的原理就是，如果兩個(gè)物體在某些方式上相似，那么它們很可能在其他方式上也相似。從物理上講，相似的物體是由一些完全相同的單位所表征的，所以任何與一個(gè)單位的物體相連接的信息事實(shí)上就會(huì)與其他物體的許多單位相連接。此外，不同程度的包容級(jí)別被添加到相同的網(wǎng)絡(luò)中，因?yàn)槿魏螏讉€(gè)單位的小集合都隱含地界定了一個(gè)級(jí)別。單位越少，級(jí)別越大。比如說(shuō)有對(duì)于“移動(dòng)”“呼吸”“長(zhǎng)毛發(fā)”“吠叫”“咬”和“見(jiàn)到消防栓就抬腿”這樣的輸入單位，發(fā)散出所有這六項(xiàng)的連接就觸發(fā)有關(guān)狗的事實(shí)。發(fā)散出前三項(xiàng)的連接觸發(fā)了關(guān)于哺乳動(dòng)物的事實(shí)。發(fā)散出前兩項(xiàng)的觸發(fā)了關(guān)于動(dòng)物的事實(shí)。只要有合適的權(quán)重，為一個(gè)動(dòng)物設(shè)定的知識(shí)能夠既與他的直接家庭成員也與他的遠(yuǎn)親成員共通使用。

神經(jīng)網(wǎng)絡(luò)的第五個(gè)秘訣是它們從例子中學(xué)習(xí)，這些學(xué)習(xí)構(gòu)成了連接權(quán)重的變化。模型建立者（或進(jìn)化）不需要親手確定令輸出正確所需的上千個(gè)權(quán)重。假設(shè)“老師”將一個(gè)輸入連同其正確輸出供給一個(gè)模式協(xié)關(guān)器，學(xué)習(xí)機(jī)制將網(wǎng)絡(luò)的實(shí)際輸出（最初是很隨機(jī)的）與正確輸出相比較，并調(diào)整權(quán)重為二者的差異最小化。如果網(wǎng)絡(luò)在一個(gè)老師說(shuō)應(yīng)當(dāng)停的輸出結(jié)點(diǎn)停了下來(lái)，我們就想讓當(dāng)前激活輸入的匯集更可能在今后也把它開(kāi)啟。所以激活輸入對(duì)于這個(gè)輸出的權(quán)重就會(huì)略微提高。此外，這個(gè)輸出結(jié)點(diǎn)本身的域限也略微地降低了，這樣可以讓整體都更能感受到這種觸發(fā)-愉悅。如果網(wǎng)絡(luò)開(kāi)啟了一個(gè)輸出結(jié)點(diǎn)，老師卻說(shuō)應(yīng)當(dāng)關(guān)閉，相反的情況就會(huì)發(fā)生：當(dāng)前激活的輸入線權(quán)重會(huì)略為下調(diào)（有可能將原來(lái)超過(guò)零的權(quán)重調(diào)至負(fù)值），目標(biāo)結(jié)點(diǎn)的域限則有所上升。這些都使得這個(gè)極度活躍的輸出結(jié)點(diǎn)在今后對(duì)應(yīng)那些輸入時(shí)更可能關(guān)閉。整個(gè)系列的輸入和它們的輸出都呈交到網(wǎng)絡(luò)，不斷往復(fù)，導(dǎo)致一浪接一浪的連接權(quán)重微調(diào)，直到使得每個(gè)輸入有了正確的輸出，至少是盡可能正確的輸出。

具有這種學(xué)習(xí)技術(shù)的模式協(xié)關(guān)器被稱為一個(gè)感知器。感知器很有意思，但有一個(gè)很大的缺陷。它們就像來(lái)自地獄的廚師一樣，認(rèn)為每種成分要是有一點(diǎn)不錯(cuò)，許多所有成分就一定會(huì)更好。在決定一組輸入是否合理地解釋了一個(gè)輸出的開(kāi)啟時(shí)，感知器給予了它們更多的權(quán)重并把它們累加起來(lái)。這往往會(huì)給出錯(cuò)誤答案，即使是對(duì)于非常簡(jiǎn)單的問(wèn)題。這個(gè)缺陷的一個(gè)教科書(shū)例子是感知器對(duì)于一個(gè)稱為“異或”的簡(jiǎn)單邏輯操作的處理，這個(gè)邏輯意為“A或者B，但不是二者都”（見(jiàn)圖2-10）。

當(dāng)A開(kāi)啟時(shí)，網(wǎng)絡(luò)應(yīng)該開(kāi)啟A異或B。當(dāng)B開(kāi)啟時(shí)，網(wǎng)絡(luò)應(yīng)該開(kāi)啟A異或B。這些事實(shí)會(huì)誘使網(wǎng)絡(luò)增加與A相連接的權(quán)重（比如說(shuō)，到0.6），并增加與B相連接的權(quán)重（比如說(shuō)，到0.6），令每一個(gè)都足夠高可以超過(guò)輸出單位的域限（比如說(shuō)，0.5）。但當(dāng)A和B都開(kāi)啟時(shí)，我們的好東西就太多了——即使當(dāng)我們想讓它關(guān)閉的時(shí)候，A異或B仍一路狂呼亂喊。如果我們嘗試小一些的權(quán)重或者高一些的域限，當(dāng)A和B都開(kāi)啟的時(shí)候我們可以讓它保持安靜，但不幸的是，那樣的話，當(dāng)只有A或者只有B開(kāi)啟的時(shí)候，它將仍舊不出聲。你可以用你自己的權(quán)重實(shí)驗(yàn)，但你會(huì)看到什么也不會(huì)發(fā)生?！爱惢颉敝皇遣荒軓母兄髦袠?gòu)建的一種“小幽靈（后臺(tái)程序）”；其他的包括確定開(kāi)啟的單位數(shù)是奇數(shù)還是偶數(shù)的“小幽靈（后臺(tái)程序）”，確定一串激活的單位是否對(duì)稱的“小幽靈（后臺(tái)程序）”，以及得出簡(jiǎn)單加法問(wèn)題答案的“小幽靈（后臺(tái)程序）”。

解決方法是使得網(wǎng)絡(luò)更少像一個(gè)刺激-反應(yīng)的生物一樣，并在輸入和輸出層之間給它一個(gè)內(nèi)部表征。它需要一個(gè)表征令關(guān)于輸入的關(guān)鍵信息彰顯出來(lái)，這樣每個(gè)輸出單位只需累加它的輸入就能夠得到正確答案。以下就是對(duì)于“異或”所能做的（見(jiàn)圖2-11）。

輸入與輸出之間兩個(gè)隱藏的單位計(jì)算了有用的中間產(chǎn)品。左邊的這個(gè)計(jì)算了簡(jiǎn)單的情況“A或B”，從而激活了輸出結(jié)點(diǎn)。右邊這個(gè)計(jì)算繁復(fù)的情況“A且B”抑制了輸出結(jié)點(diǎn)。輸出結(jié)點(diǎn)可以只計(jì)算“（A或B）而不是（A且B）”，這對(duì)于它虛弱的力量來(lái)說(shuō)也是力所能及的。要注意，即使是在用模型神經(jīng)元構(gòu)建最簡(jiǎn)單“小幽靈（后臺(tái)程序）”的微觀水平，內(nèi)部表征也是必不可少的；僅僅刺激-反應(yīng)的連接是不夠的。

還有更好的，一個(gè)隱含層網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練，能夠運(yùn)用一個(gè)更加新式的感知器學(xué)習(xí)程序來(lái)確定自己的權(quán)重。就像以前一樣，老師將每個(gè)輸入的正確輸出都提供給網(wǎng)絡(luò)，由網(wǎng)絡(luò)來(lái)上下調(diào)整連接的權(quán)重，試著減少差異。但這提出了一個(gè)感知器無(wú)須擔(dān)心的問(wèn)題：如何將連接從輸入單位調(diào)整到隱含單位。這是一個(gè)問(wèn)題，因?yàn)槔蠋熡肿x不出心智，他無(wú)從知道封藏在網(wǎng)絡(luò)內(nèi)部的隱含單位的“正確”狀態(tài)。心理學(xué)家戴維·魯梅爾哈特（David Rumelhart）、杰歐弗瑞·欣頓（Geoffrey Hinton）和羅納德·威廉姆斯（Ronald Williams）找到一個(gè)聰明的解決方法。輸出單位對(duì)每個(gè)隱含單位反向傳播了一個(gè)信號(hào)，代表著隱含單位對(duì)其所連接的所有輸出單位的誤差總和（“你傳遞了太多的激活”或者“你傳遞了太少的激活”，以及多多少或少多少）。這個(gè)信號(hào)可以作為代理教學(xué)信號(hào)用來(lái)調(diào)整隱含層的輸入。從輸入層到每個(gè)隱含層的連接都能夠被上下推動(dòng)，來(lái)減少隱含層在給定當(dāng)前輸入模式的條件下調(diào)整過(guò)量或不足的傾向。這個(gè)程序被稱為“誤差反向傳播”，簡(jiǎn)稱為“反向傳播”，可以被后向迭代至無(wú)數(shù)層。

我們已經(jīng)到達(dá)了許多心理學(xué)家看作是神經(jīng)網(wǎng)絡(luò)建模者的藝術(shù)的高度。在某種方式上，我們已經(jīng)兜了一圈又回到原點(diǎn)，因?yàn)橐粋€(gè)隱含層網(wǎng)絡(luò)就像是麥卡爾洛克和匹茨對(duì)他們的神經(jīng)邏輯計(jì)算機(jī)所提出的邏輯門(mén)的任意路線圖。概念上講，隱含層網(wǎng)絡(luò)是將一組或?qū)蝈e(cuò)的命題組合成一個(gè)由多個(gè)“和”“或”及“非”連接在一起的復(fù)雜邏輯函數(shù)的一種方式，這種組合是通過(guò)兩個(gè)扭轉(zhuǎn)而成的。其一為值可以是連續(xù)的而不是或開(kāi)啟或關(guān)閉，所以它們可以表征一些陳述的正確程度或真實(shí)的概率，而不是只能處理完全對(duì)或完全錯(cuò)的陳述。第二個(gè)扭轉(zhuǎn)是網(wǎng)絡(luò)在許多情況下能夠被訓(xùn)練得通過(guò)提供輸入和它們正確的輸出而采用適當(dāng)?shù)臋?quán)重。位于這兩個(gè)扭轉(zhuǎn)上面的是一種態(tài)度：從腦中神經(jīng)元之間的許多連接獲得啟發(fā)，并對(duì)構(gòu)成網(wǎng)絡(luò)的門(mén)和連接數(shù)目的天文數(shù)字無(wú)所愧疚。這種道德觀使一個(gè)人能夠設(shè)計(jì)出計(jì)算許多概率的網(wǎng)絡(luò)，因而也是利用了外部世界特征之間的統(tǒng)計(jì)冗余性的網(wǎng)絡(luò)。而這反過(guò)來(lái)又使得神經(jīng)網(wǎng)絡(luò)能夠從一個(gè)輸入概括到類(lèi)似的輸入而無(wú)須更多訓(xùn)練，只要這個(gè)問(wèn)題是類(lèi)似的輸入產(chǎn)生類(lèi)似的輸出。

這幾個(gè)觀點(diǎn)是關(guān)于我們最小的“小幽靈（后臺(tái)程序）”及其公告板作為模糊的神經(jīng)機(jī)器如何運(yùn)作的。這些觀點(diǎn)起到一個(gè)橋梁的作用，到現(xiàn)在這橋還有點(diǎn)搖晃，它們的解釋之路始于概念領(lǐng)域（祖母的直覺(jué)心理學(xué)以及它背后的各種知識(shí)、邏輯和概率理論），延續(xù)到規(guī)則和表征，最終抵達(dá)真實(shí)的神經(jīng)元。神經(jīng)網(wǎng)絡(luò)還帶來(lái)了一些令人愉快的驚喜。在解開(kāi)心智軟件時(shí)，最后我們可能會(huì)只使用蠢到足以用機(jī)器取代的“小幽靈（后臺(tái)程序）”。如果我們似乎需要聰明點(diǎn)的“小幽靈（后臺(tái)程序）”，有人就會(huì)弄明白怎樣用更蠢笨的“小幽靈（后臺(tái)程序）”來(lái)做出這些聰明的來(lái)。這一切都發(fā)展得太快了，而且有時(shí)發(fā)展得有所不同，比如當(dāng)從下至上研究神經(jīng)元的神經(jīng)網(wǎng)絡(luò)建模者能夠構(gòu)建一些“小幽靈（后臺(tái)程序）”存貨時(shí)，這些“小幽靈（后臺(tái)程序）”存貨可以做近便的事情，就像一個(gè)內(nèi)容尋址的內(nèi)存記憶，或是自動(dòng)概括的模式協(xié)關(guān)器。心智軟件工程師們（事實(shí)上，是逆向工程師們）有一個(gè)很好的部件目錄，他們可以從中訂取聰明的“小幽靈（后臺(tái)程序）”。