It is exactly in the extension of the cybernetic idea to human beings that Wiener's conceptions missed their target.

維納的錯誤就在于他把控制論的理念用到了人類身上。

塞思·勞埃德

Seth Lloyd

塞思·勞埃德是麻省理工學院理論物理學家，機械工程系南普蘇（Nam P. Suh）講席教授，同時也是圣塔菲研究所的外聘教授。

布羅克曼談塞思·勞埃德

20世紀80年代末期，我與塞思·勞埃德結識。當時新的思維方式鋪天蓋地：生物組織原理的重要性、從計算角度看數學和物理過程、對并行網絡的重視、非線性動力學的重要性，以及對混沌、聯結主義思想、神經網絡以及并行分布式處理的新理解。那段時期，計算方面的進步為人們看待知識提供了一種新的思維方式。

塞思喜歡把自己看成量子力學領域的人，他在量子計算領域的研究使他舉世聞名。量子計算試圖利用量子理論的奇異特性，如疊加和糾纏，來解決使用傳統計算機需要花幾輩子時間去解決的問題。

在下面的文章里，他論述了信息理論的歷史，從諾伯特·維納對未來的洞察一直講到科技“奇點”的預言——有些人相信科技“奇點”將會取代人類。他介紹了最近崛起的“深度學習”編程方法，認為人們對它的期望要適度。他指出，雖然人工智能已經有了長足發展，但機器人“還是不會系鞋帶”。

說到塞思，很難不提到他的朋友和恩師——洛克菲勒大學已故理論物理學家海因茨·帕格爾斯教授。他們師生兩人對彼此的理論思想影響深遠。

1988年夏，我去阿斯彭物理研究中心（Aspen Center for Physics）拜訪海因茨和塞思。他們兩人就復雜性問題的共同研究成果，刊登在最近一期的《科學美國人》上。當時的他們活力四射。但就在兩個星期后，二人登完皮拉米德峰下山時，海因茨遭遇山難，英年早逝。當時他們正在討論量子計算。

諾伯特·維納1950年出版的《人有人的用處》，是他兩年前出版的那本影響深遠的《控制論》的通俗版本。在《人有人的用處》中，維納對在一個機械的運算能力變得愈發強大的世界中，人類與機械之間的相互作用進行了探討。這是一本充滿先見之明的書，同時也充滿了謬誤。這本書寫于冷戰正如火如荼之時，其中的內容讓人膽戰心驚，它讓我們意識到極權主義組織和社會的危害，提醒我們當民主試圖用極權主義的武器對抗極權主義時會對民主極為不利。

維納在《控制論》中，以非常翔實的科學細節描寫了經由反饋實現的控制過程。“控制論”（cybernetics）一詞來源于古希臘語中意為“舵手”的單詞，是現代詞匯“管理者”（governor）的詞源基礎。詹姆斯·瓦特將他那開創性的反饋控制裝置命名為“管理者”，這一裝置改進了蒸汽機的使用方式。因為維納沉溺于研究控制帶來的各種問題，所以他將世界視為一組復雜的、互鎖的反饋回路，其中傳感器、信號和發動機之類的驅動器通過復雜的信號和信息交換而相互作用。控制論在工程領域的應用影響力極大且非常有效，使我們有了火箭、機器人、自動裝配線，以及一系列精密工程技術，換句話說，它構成了現代工業社會的基礎。

不過，維納對控制論的理念有更大的雄心。在《人有人的用處》中，他認為這一理念可以應用到麥克斯韋妖、人類語言、大腦、昆蟲新陳代謝、法律體系、技術創新對統治的作用，以及宗教之中。控制論的這些廣泛應用，幾乎是徹底的失敗。20世紀40年代末到60年代初，人們對控制論大肆吹捧，在某種程度上就像對計算機和通信技術的過度渲染一樣，而后者導致了2000年至2001年的互聯網泡沫破滅。控制論確實帶來了衛星和電話交換系統，但它對社會結構及整個社會沒有促成什么有用的發展。

然而近70年后，《人有人的用處》這本書教給我們人類的卻遠比它剛剛出版時要多得多。也許這本書最大的特點就是它引入了大量關于人類與機器相互作用的主題，這些主題至今仍然非常重要。這本基調灰暗的書預測了在20世紀后半葉即將發生的幾種災難，其中許多與今天人們對21世紀后半葉的預測非常相似。

例如，維納預見到在距離1950年不遠的將來，人類會將社會的控制權交給一種控制論的人工智能，這將導致對人類的嚴重破壞。維納預言，生產自動化會帶來產量的大幅增長，但同時也將使大批工人下崗——在接下來的幾十年里，這些確實發生了。維納警告說，除非社會能合理安置這些失去工作的工人們，否則叛亂將隨之而來。

但是維納沒有預見到技術的重大發展。就像20世紀50年代的許多技術專家一樣，他沒有預見到計算機革命。他以為，計算機的價格會從50年代的幾十萬美元降到幾萬美元。無論是他還是那個時代的其他人，都沒有預料到隨著晶體管和集成電路的發展，計算機的能力會有爆發式的提高。最后，由于維納過度強調控制，他沒有預見一個技術世界的到來，在這個技術世界里，創新和自組織是從底部一點點發展而來而不是從頂部強加下來的。

維納關注極權主義的罪惡，無論這罪惡是政治的、科學的還是宗教的，所以他以極其悲觀的眼光看待世界。在書中他警告說，如果我們不盡快修好我們的道路，災難就在等著我們。《人有人的用處》這本書出版半個多世紀以后，當前的人類和機器世界遠比維納能預見到的復雜、多樣得多，這樣的世界有著廣泛得多的政治、社會和科學體系。但是如果我們弄錯的話，如果全球的極權主義政權控制整個互聯網的話，今天的災難預警就像1950年的災難預警一樣迫在眉睫。

維納之英明

維納在最著名的數學著作中，探討的是信號分析和噪聲的影響。第二次世界大戰期間，他構建了一種模型，可以通過推算飛機以前的飛行行為，預測它未來的飛行軌跡，由此他開發了一種防空火力的瞄準技術。在《控制論》和《人有人的用處》兩書中，維納指出，根據飛機以往的飛行行為，甚至包括人類飛行員的怪癖和習慣，一個機械化裝置可以預測人類行為。像艾倫·圖靈（他在圖靈測試中預言計算機對問題做出的回應，將與人類沒有什么差別）一樣，維納也癡迷于用數學描述來捕捉人類行為。20世紀40年代，他把控制和反饋回路方面的知識應用到生物系統中的神經肌肉反饋中，還把沃倫·麥卡洛克（Warren McCulloch）和沃爾特·皮茨（Walter Pitts）介紹到麻省理工學院，在那里，他們兩人在人工神經網絡方面做出了開創性的工作。

維納思想的核心是從信息角度來理解這個世界。復雜系統，如生物體、大腦和人類社會，是由互鎖反饋回路組成的，其中子系統之間的信號交換導致了復雜但穩定的行為。當反饋回路發生故障時，系統會變得不穩定。他構建出一幅引人注目的圖景，說明了生物系統的運行機制是多么復雜。目前，世人已普遍接受了這一圖景。

維納把信息看成掌控復雜系統行為的核心，這一觀點在當時相當令人矚目。現今，當汽車和冰箱中擠滿了微處理器，而人類社會的大部分都圍繞著與互聯網相連的計算機和手機時，強調信息、計算和通信的中心性似乎毫無新意。然而在維納時代，第一臺數字計算機才剛剛誕生，技術專家們還根本不知道互聯網為何物。

維納不僅把工程的復雜系統，還把所有的復雜系統都看成是圍繞信號和計算循環來運作的，這為復雜人工系統的發展做出了巨大貢獻。例如，他和其他人開發的用于控制導彈的方法，后來被應用于建造土星5號月球火箭，這是20世紀最偉大的一項工程成就。特別需要指出的是，維納的控制論理論在大腦和計算機感知領域的應用，是當今基于神經網絡的深度學習和人工智能的前身、雛形。不過，這些領域目前的發展與維納的預見不同，它們的未來發展很可能會影響人類對人類和機器的使用。

維納之謬誤

維納的錯誤就在于他把控制論的理念用到了人類身上。暫時撇開他對語言、法律和人類社會的思考，看看他認為1950年后不久將會產生的一項不起眼卻非常有潛力的創新。維納認為，如果使用假肢的人能夠通過他們自己的神經信號直接與假肢溝通，從肢體接收壓力和位置信息并指導其隨后的運動，假肢將更有效。事實證明，這比維納設想的要困難得多：70年后，合并神經反饋的假肢仍然處于早期階段。維納的理念不錯，只是神經信號與機械電子設備的接口問題很難解決。

更重要的是，維納和幾乎所有生活在那個時代的其他人一樣，極大地低估了數字計算的潛力。正如前面指出的那樣，維納的數學成就在于對信號和噪聲的分析，他的分析方法適用于連續變化的或者說模擬的信號。雖然他參與了戰時數字計算的開發，但他從未預見到半導體電路的引入和逐步小型化所帶來的計算能力的爆炸性發展。我們很難將其歸咎于維納：畢竟當時晶體管還沒有發明出來，他熟悉的數字計算機的真空管技術笨拙、不可靠，而且無法擴展應用到越來越大的設備中。在1948年版《控制論》的附錄中，他預測了會下棋的計算機的問世，還預測到它們能夠算出兩到三步。然而，半個世紀后，一臺計算機在國際象棋比賽中擊敗了世界冠軍，這將會令他大為驚訝。

高估技術的發展和奇點的毀滅性風險

當維納創作《控制論》《人有人的用處》這兩本書時，一件著名的高估了技術的事情即將發生。在20世紀50年代，人們首次嘗試開發人工智能。赫伯特·西蒙（Herbert Simon）、約翰·麥卡錫和馬文·明斯基等研究人員開始設計計算機程序來完成簡單任務，并建造了機器人雛形。這些最初的努力獲得了成功，西蒙倍受鼓舞，宣稱：“20年內，機器將有能力完成一個人所能做的任何工作。”結果這一預言大錯特錯。隨著計算機變得更強大，它們變得越來越擅長下棋，因為計算機系統可以生成許多可能的棋步，并估算這些棋步。但人們對人工智能的多數預測，例如機器人女傭，卻是不切實際的。1997年的國際象棋大賽上超級計算機“深藍”擊敗加里·卡斯帕羅夫（Garry Kasparov）時，最強大的清掃房間機器人是一個叫“倫巴”（Roomba）的機器人，它隨意四處移動吸走灰塵，當它被困在沙發下面時會發出吱吱的叫聲。

預測技術進步充滿了不確定性，因為技術進步是一系列的改進過程，困難會阻礙進步，而創新則會克服困難，取得進步。許多困難以及一些創新可以被預見到，但更多的困難及創新則很難預料。我自己和實驗專家合作建造量子計算機時，我常常發現，一些我以為很容易實現的技術步驟，結果卻是不可能完成的；而一些我想象中不可能完成的任務卻變得很容易。你不試試就永遠不會知道。

20世紀50年代，馮·諾伊曼從與維納的談話中受到啟發，引入了“技術奇點”這一概念。技術常以指數式速度不斷提高，每隔一段時間其性能或靈敏度就會增加一倍。例如，自1950年以來，幾乎每隔兩年，計算機性能便會提升一倍，這種現象便是“摩爾定律”。馮·諾伊曼根據觀察到的技術進步的指數率，斷言“技術進步將變得異常迅速、復雜”，在不遠的將來就會超越人類能力。事實上，如果按照現在的速度推斷未來計算機的原始計算能力增長，也就是按比特率和位翻轉計算，計算機應該在未來的20到40年內發展到可與人類大腦匹敵的程度，具體時間取決于如何估算人類大腦的信息處理能力。

人們最初對人工智能過于樂觀的失敗預測，使得在之后的幾十年很少有人討論技術奇點的話題，但是自從雷·庫茲韋爾（Ray Kurzweil）⁽¹⁾2005年出版《奇點臨近》（The Singularity Is Near）后，技術進步帶來超級智能的想法再次回歸。包括庫茲韋爾在內的一些人堅信，奇點就是機遇：人類可以將他們的大腦與超級智能融合，從而永生。但還有一些人，如史蒂芬·霍金和埃隆·馬斯克則擔心這種超級智能是邪惡的，擔心它會對人類文明構成最大威脅。不過有一些人，包括本書的一些撰稿人卻認為這樣的說法太過夸張。

維納畢生的事業以及他預測的失敗，都與技術奇點密切相關。他在神經科學方面的研究，以及他對麥卡洛克和皮茨最初的支持，勾勒出當今極其有效的深度學習方法的輪廓。在過去的幾十年里，尤其是在過去的5年，這種深度學習的技巧最終發展出維納所稱的“格式塔”能力，例如，你知道圓就是圓，即使當它傾斜看起來像一個橢圓時，你仍舊知道它就是一個圓。他對控制論的研究，以及他在神經肌肉反饋方面的研究，對于機器人的發展意義非凡，也啟發了以神經為基礎的人機接口研究。然而，他對技術發展的誤判也表明，我們不應該完全相信技術奇點一說。預測技術進步的常見困難以及發展超級智能時特有的問題都應該讓我們警惕，不要高估信息處理的力量和效能。

奇點懷疑論的論據

沒有任何一種指數式增長能一直持續下去。原子彈爆炸呈指數式增長，但也就持續到燃料耗盡之時。同樣地，摩爾定律的指數式增長近來開始進入基礎物理所設定的極限之中。計算機的時鐘速度在15年前不超過幾千兆赫，僅僅是因為速度再高芯片就開始熱得熔化了。由于隧道效應和電流泄漏，晶體管的小型化已經進入量子力學領域。最終，摩爾定律驅動的各種存儲器和處理器的指數式增長都將停止。然而，再過幾十年，計算機的原始信息處理能力也許就能與人類的大腦匹敵，至少按照每秒處理的比特率和位翻轉粗略計算的話是如此。

人類的大腦構造復雜，經過幾百萬年的自然選擇變成了現在的樣子。在維納時代，我們對人類大腦構造的了解非常淺顯、簡單。從那時起，越來越敏感的儀器和成像技術表明，我們的大腦在結構和功能上遠比維納所能想象的更多樣、更復雜。最近，我問現代神經科學先驅托馬索·波焦（Tomaso Poggio），是否擔心隨著計算機處理能力的快速提高，計算機將很快趕上人類的腦。“絕不可能。”他回答。

深度學習和神經形態計算方面的最新進展，很好地再現了人類智力的某個特定方面，主要是模擬了大腦皮層的模式處理和模式識別能力。這些進步使計算機不僅能打敗國際象棋世界冠軍，還能打敗圍棋冠軍。計算機的這種勝利令人印象深刻，但計算機化的機器人卻遠遠不能清理房間。實際上，還沒有能在許多靈活運動中具有接近人類能力的機器人，不信你就搜索“摔倒的機器人”。機器人擅長于在裝配線上精確地焊接，但它們仍然不能系好自己的鞋帶。

原始的信息處理能力并不等同于復雜的信息處理能力。雖然計算機的性能呈指數式增長，但計算機運行的程序卻往往根本無法進步。軟件公司為提高計算機處理能力采取的主要應對策略就是添加“有用”的功能，但這常常會使軟件更難使用。1995年微軟的Word可以說是登峰造極，但之后便由于附加了太多功能而慢慢不再那么好用。一旦摩爾定律開始放緩，軟件開發人員將在計算機的效率、速度和性能之間面臨艱難選擇。

對奇點主義的恐懼，主要是擔心隨著計算機更多地參與設計它們自己的軟件，它們將迅速擁有超人的計算能力。但機器學習的真實情況卻恰恰相反。當機器的學習能力變得越來越強時，它們的學習方式會變得越來越像人類。許多事例表明，機器的學習是在人類和機器老師的監管下進行的。對計算機進行教育就像對青少年進行教育一樣困難、緩慢。因此，基于深度學習的計算機系統正在變得越來越人性化。它們帶來的學習技能不是“優于”而是“補充”人類學習：計算機學習系統可以識別人類無法識別的模式，反之亦然。世界上最好的國際象棋棋手既不是計算機，也不是人類，而是與計算機合作的人。網絡空間里確實存在有害的程序，但這些主要是惡意軟件，即病毒，它們不是因為其超級智能而為世人所知，而是因為惡意的無知而遭世人譴責。

如果維納來到今天

維納指出，科技的指數式進步是一個相對現代的現象，并不都是好的。他認為原子武器和帶有核彈頭的導彈是人類殺死自己的最好方法。他把對這顆星球資源的瘋狂開采與《愛麗絲漫游奇境記》（Alice in Wonderland）中的瘋狂茶會進行對比：我們把廢物丟在身邊的環境中，為了繼續取得進步，只需換一個地方丟棄廢物即可。維納對計算機和神經-機械系統的發展持樂觀態度，但對獨裁政府對這些技術的使用卻很悲觀，一些國家在面臨獨裁主義威脅時也變得越來越獨裁，這也讓他無法樂觀起來。

對于目前人對人的用法，維納將有何高見？計算機和互聯網的力量可能會讓他大吃一驚。他參與的早期神經網絡研究現已形成強大的深度學習系統，并展現出他所希冀的感知能力，這可能會讓他很高興。不過，對于計算機化格式塔的一個最突出例子，即機器能在萬維網上認出小貓的照片，他可能并不感興趣。我猜測，維納不會認為機器智能是威脅，而會把它當作一種獨立的現象，這種智能不同于我們人類的智能，而且會與人類智能共同進化。

維納對全球變暖不會感到驚訝，這是我們這個時代的瘋狂茶會。他會對替代能源技術的指數式提高表示贊賞，并將運用自己的控制論專業知識開發一套復雜的反饋回路，將這些技術整合到即將到來的智能電網中。盡管如此，當他意識到解決氣候變化的問題不僅是技術問題，也是政治問題時，他無疑會對我們能否及時解決這個威脅人類文明的難題持懷疑態度。維納討厭騙子，尤其是政治騙子，但他也知道，騙子永遠都在。

我們很容易就會忘記維納所處的時代有多么可怕。美國和蘇聯展開全面軍備競賽，爭相建造安裝有氫彈的核彈頭，將其裝在洲際彈道導彈上。導彈上有導航系統，令維納難過的是，這個導航系統就有他的功勞。1964年維納去世時，我4歲。那時候我在上幼兒園，班里的小朋友正在練習猛然躲在課桌下以求在核武器襲擊時得到掩護。想到在他的時代人對人的用法，如果他能看到我們目前的狀態，他的第一反應將是放心，因為我們還活著。