陷阱

在DeepMind成立幾年后，我曾制作過一組幻燈片，旨在探討人工智能可能帶來的長期經濟和社會影響。在加州西海岸一個充滿現代感的會議室里，我向十幾位科技界最具影響力的創始人、CEO和技術專家展示了這些內容。我指出，人工智能帶來了一系列的威脅，我們必須積極應對。它有可能會引發大規模的隱私侵犯，或導致錯誤信息泛濫的信息末日危機。此外，人工智能還有可能用于軍事領域，制造出一系列致命的新型網絡武器，給我們這個高度網絡化的世界帶來新的安全威脅。

我還強調了人工智能可能帶來的大規模失業風險。我引導在場的人回顧了自動化和機械化逐步取代人力的歷史進程。最初，只是出現了能更高效地完成某些特定任務的手段，隨后整個勞動力角色變得不再必要，而后很快，整個行業所需的工人數量就會大大減少。我認為，在未來幾十年里，人工智能系統將以類似的方式取代腦力勞動，并且這一過程很可能發生在機器人取代體力勞動之前。過去，隨著舊工作崗位的消失，新工作機會將隨之出現。然而，假如人工智能真的能夠勝任大多數工作，情況又會如何？這種即將到來的新型集中化力量幾乎前所未有。盡管看似遙遠，但其潛在的嚴重威脅正在迅速逼近我們的社會。

在幻燈片的最后，我展示了一幅出自動畫片《辛普森一家》的畫面。在這個場景中，斯普林菲爾德的居民起義反抗，我們熟悉的角色們手持棍棒和火把沖向前方。場景所傳達的信息很清晰，但我還是在幻燈片上明確地寫了下來：干草叉就要來了。它們朝著我們這些技術創造者而來，而我們有責任確保未來不會變成這樣。

我環顧桌子四周，只有一片茫然的目光。房間里沒有人被觸動，我的信息沒有引起共鳴。反駁的聲音卻接踵而至。他們質疑，為何經濟指標并未顯示出任何支持我的論點的跡象？他們認為，人工智能會激發新的需求，從而創造新的崗位；它將提升人的能力，使人更具生產力。或許確實存在一些風險，但這并不像我所描述的那么嚴重；人類是聰明的，總能找到解決問題的方法。他們認為沒什么可擔心的，并示意該進行下一個演示了。

幾年后，在新冠疫情暴發之前，我參加了一場在一所知名大學舉辦的技術風險研討會。會議場景似曾相識：同樣寬大的會議桌，同樣是一場富有遠見的討論。在一整天的會議中，伴隨著咖啡、餅干以及幻燈片展示，一系列令人感到恐懼的風險在會議桌上提出來。

其中一種風險格外令人關注。演講者展示了可打印定制DNA（脫氧核糖核酸）鏈的DNA合成器的成本是如何迅速下降的。這些合成器僅需幾萬美元便可購置，小巧便捷，放在車庫的工作臺上就可以幫助人們合成（也就是制造）DNA。1如今，任何在生物學方面達到研究生水平或熱衷于在線自學的人都有可能做到這一點。

在這種工具日益普及的背景下，演講者描繪了一個可怕的情景：很快就可能有人制造出比自然界中的任何病原體都更具傳染性和致命性的新型病原體。這些合成病原體可以規避人類已知的對策，以無癥狀方式傳播，或具有對抗治療的內置能力。如果需要，一個人就可以通過網上訂購和在家中重組DNA的方式來完成自制實驗。郵購下單，末日便可降臨。

演講者是一位備受尊敬的擁有20多年專業經驗的教授。他強調，這并非科幻小說的情節，而是真實存在的風險。在報告的結尾部分，他提出了一個令人不寒而栗的想法：如今，一個人很可能“具備殺死10億人的能力”，所需的僅僅是一個動機。

與會者顯得坐立不安，他們扭動身體，不時地咳嗽幾聲。隨后，大家開始抱怨，避重就輕。沒人愿意相信這樣的可能性。他們認為，肯定有有效的控制機制，制造那樣的疾病絕非易事，數據庫肯定可以封鎖，硬件安全肯定可以得到保障，等等。

與會者的集體反應遠不僅僅是不以為意。他們從根本上拒絕接受演講者所描述的情景。沒有人愿意正視那些嚴峻的事實、冰冷的概率及其背后的含義。我選擇了沉默，但內心的不安難以掩飾。研討會匆匆結束。當晚，我們像往常一樣外出用餐、交談。在結束了討論世界末日的一天之后，我們還能享受比薩，還能談論笑話，還將回到辦公室繼續工作。大伙兒認為，事情總會有轉機，或者那場可怕的討論一定是弄錯了什么。我也隨波逐流。

然而，在接下來的幾個月里，那場演講一直縈繞在我腦海中。為什么我們當時沒有更認真地對待它？為什么我們尷尬地回避了進一步的討論？為什么有些人會變得如此尖銳，指責提出那些危機問題的人，說他們小題大做或“忽視了技術的驚人好處”？我將這種我觀察到的普遍的情感反應稱為“悲觀規避陷阱”，即當你過于害怕面對潛在的黑暗現實時，你就容易產生錯誤的分析和判斷，并傾向于從另一個看似安全的角度來看待問題。

幾乎每個人都多多少少有過這樣的反應，這導致我們忽視了一系列正在我們眼前展開的重大趨勢。這幾乎是一種與生俱來的本能反應。我們的物種并沒有天然地準備好應對如此大規模的變革，更不用說應對技術可能讓我們失望的可能性。在我整個職業生涯中，我不斷經歷這種心理感受，也觀察到許多其他人有同樣的本能反應。我寫作本書的目的之一便是直面這種感受。我們需要冷靜客觀地看待事實，無論它們多么令人不適。

要妥善應對這場浪潮，遏制技術，并確保技術始終服務于人類，我們就需要克服悲觀規避心態，直面即將到來的現實。

我希望通過本書達到這一目標。具體而言，我要承認浪潮將至并闡明浪潮的軌跡；探討遏制是否具有可能性；將事物置于歷史語境下，從人們對技術的日常喧囂討論中抽離出來，以看到更廣闊的畫面。我的目標是直面困境，理解驅動科技發展的基本過程。我希望最大限度地向盡可能廣泛的讀者清晰地呈現這些觀點。我以開放和探究的精神寫作：基于觀察，從觀察中追溯其含義和影響，但也對反駁的觀點和更優的解讀持開放態度。如果有人能證明我的觀點是錯誤的，或證明技術遏制實際上容易實現，那我會感到無比高興。

作為兩家人工智能公司的創始人，我可以理解有些人可能期待像我這樣的人能寫一本更樂觀、更偏向技術烏托邦的書。作為技術專家和企業家，我本質上是個樂觀主義者。回想起少年時，我第一次在Packard Bell 486電腦上安裝Netscape（網景）瀏覽器的場景，那種著迷的感覺我至今記憶猶新。嗡嗡作響的風扇，56千位每秒撥號調制解調器在連接到萬維網時發出的噪聲，徹底把我迷住了，這些讓我得以進入充滿自由和知識的網絡聊天室和論壇。我熱愛技術，它一直是推動人類進步的引擎，也是我們為人類的成就感到自豪和興奮的重要原因。

但我也相信，我們這些推動技術創造的人必須有勇氣預測技術在未來幾十年的走向，并為其擔負起責任。如果技術真有可能辜負人類的期望，我們就必須開始思考應對策略。這不僅僅需要個人的努力，更需要社會和政治層面的應對。而這樣的應對，需要從我們這個行業，從我和我的同行開始。

有人可能會說，這一切都被過分夸大了；變化是漸進式的，不會那么突然和劇烈；這只不過是技術成熟曲線上的又一個高點，隨后技術發展會轉入低谷期；我們用于應對危機和變化的系統和機制足夠強健。他們還會認為我對人性的看法過于悲觀，人類歷史的記錄到目前為止還算不錯，歷史上不乏錯誤的預言家和被證偽的末日宣告者，這一次又有什么理由會不同呢？

悲觀規避是一種根深蒂固的本能情緒反應，它讓人不愿面對嚴重的破壞性后果出現的可能性。這種心理往往出現在那些處于安穩狀態和權勢地位的人身上，他們有著固執的世界觀，表面上能應對變化，但實際上不愿接受任何對現有秩序構成的真正挑戰。在我批評的那些陷入悲觀規避陷阱的人中，有很多人對技術批評持開放態度，但他們只是口頭附和，從不付諸行動。他們總是說：“我們會解決好的，一直以來，一切盡在掌控之中。”

在技術或政策領域有一定經歷的人很快就能意識到，把頭埋進沙子里、逃避現實的鴕鳥政策是這些領域的默認意識形態。背離這種意識形態去思考和行動意味著一定的風險：面對一些巨大而不可阻擋的力量，人們可能被恐懼和憤怒感擊倒，而感覺一切都徒勞無功。因此，他們往往會維持這種奇怪而矛盾的悲觀規避的心理。我深知這一點，因為我也曾在這種心理狀態中掙扎很久。

在我們成立DeepMind之后，在我提及的那些報告展示發生之后，話語已在某種程度上發生了變化。關于工作自動化的辯論已經進行了無數次。一場全球性的大流行病展示了合成生物學的風險和影響力。一股“科技抵制潮”開始涌現，批評者通過文章和圖書對技術和技術公司展開猛烈抨擊，在華盛頓、布魯塞爾和北京等監管職能所在的重要城市，對技術的批評聲也此起彼伏。以前對于技術的小眾擔憂如今已成為主流，公眾對技術的懷疑在增加，來自學術界、公民社會和政治界的批評聲也變得更加尖銳。

然而，在即將到來的技術浪潮和巨大的困境面前，在一眾習慣于悲觀規避的技術精英面前，所有這些還遠遠不夠。