第一章
我們的處境

2017年年底，一場革命悄然而至。由谷歌旗下DeepMind公司開發的人工智能程序AlphaZero擊敗了當時世界上最強大的國際象棋程序Stockfish。AlphaZero對Stockfish的百場戰績是28勝72平0負，可以說獲得了壓倒性的勝利。第二年，它再次用成績證明了自己的非凡棋力：在與Stockfish的1000場對弈中，它獲得155勝6負、其余場次平局的佳績。[1]

通常，一個國際象棋程序打敗了另一個國際象棋程序這種事只會在狂熱愛好者的小圈子里流傳，但AlphaZero可不是“普通的”國際象棋程序。要知道，先前那些程序的走子，需要人類棋手先構思棋路，再在棋局中走出這些棋路，隨后還要將其上傳到網絡。換句話說，這些程序依賴于人的經驗、知識和戰略。這些早期程序對抗人類對手的主要優勢并非它們的獨創性，而是更強的處理能力，這使得它們能夠在給定的時間內評估更多的棋路選擇。相比之下，AlphaZero并不借助預先編程的走法、組合，或是任何源自人類棋局的戰略。AlphaZero的風格完全是人工智能訓練的產物：其構建者只是給它提供了一套國際象棋規則，并指示它基于規則制定一種戰略，從而最大限度地提高自己的勝負比。在經過僅僅4小時的自我對弈訓練后，AlphaZero便成了世界上最強大的國際象棋程序。截至撰寫本書時，還沒有任何人能戰勝它。

AlphaZero所采用的戰術頗為詭異，是真正的獨創。它會棄掉那些被人類棋手視為極其重要的棋子，甚至包括皇后這樣的強力棋子。它的走法并非源自人類的指導，而且在許多情況下，這些走法是人類根本未曾考慮過的。之所以采用如此出人意料的戰術，只因在與自己對弈了多局以后，它便預判出這些戰術將最大限度地提高獲勝的概率。AlphaZero并沒有人類意義上的“戰略”（盡管它所表現出的風格促使人類進一步研究這一棋類游戲），相反，它有自己的邏輯，能夠在紛繁復雜的眾多可能性中識別出那些人類心智無法完全理解或加以利用的走子模式。在棋局的各個階段，AlphaZero都會根據它從各種走子模式的可能性中習得的經驗來評估棋子的布陣，并選擇它認為最有可能獲勝的走法。國際象棋特級大師、世界冠軍加里·卡斯帕羅夫在觀察和分析了AlphaZero的棋局后稱：“AlphaZero徹底動搖了國際象棋的根基。”[2]對這些世界上最偉大的棋手來說，當人工智能開始不斷探索他們窮極一生方才精通的游戲的極限時，他們能做的卻只有觀察和學習。

2020年年初，麻省理工學院的研究人員宣布發現了一種新型抗生素，能夠滅殺此前對所有已知抗生素都有耐藥性的細菌菌株。一種新藥的標準研發工作不僅要歷經數年的艱辛，而且代價高昂，研究人員要從數千個可能分子著手，通過不斷試錯和合理的推測，從中篩選出少量具備可行性的候選分子。[3]除了由研究人員在數千個分子中進行合理推測，另一種辦法就是由專家團隊對已知分子進行修復，寄希望于對現有藥物的分子結構進行小幅調整來獲得理想的結果。

麻省理工學院則另辟蹊徑：他們讓人工智能參與研發過程。研究人員開發了一個由2000個已知分子組成的“訓練集”。訓練集對其中每一種物質的數據進行編碼，從原子量到所含化學鍵的類型，再到抑制細菌生長的能力，均包含在內。人工智能從這個訓練集中“習得”了那些預期具有抗菌能力的分子有哪些特質。有意思的是，它還識別出一些沒有經過專門編碼的特質——實際上，這些特質是人類尚未概念化或加以分類的。

訓練完成后，研究人員指示人工智能對一個包含61000個分子的數據庫進行篩查（其中有美國食品藥品監督管理局批準的藥物，也有天然產物），以獲取具備以下特質的藥物分子：（1）人工智能預測有效的抗生素，（2）與任何現有的抗生素不相似，（3）人工智能預測無毒性。在61000個分子中，有1個分子符合標準，研究人員將其命名為Halicin（海利霉素），以致敬電影《2001太空漫游》中的超級計算機哈爾（HAL）。[4]

麻省理工學院項目的負責人明確表示，通過傳統的研發方法獲得Halicin的成本“過分高昂”——換句話說，這在以往是無法實現的。而通過訓練一個軟件程序來識別已被證明能有效抗菌的分子結構模式，識別過程就會變得高效和經濟得多。這個程序不需要知道這些分子為什么會起作用——事實上，在很多情況下，也沒人知道某些分子為什么會起作用。不僅如此，人工智能還可以掃描候選分子庫，以識別出一種特定分子，它具備人們想要獲取但尚未被發現的功能：殺死一種已知抗生素無法滅殺的細菌菌株。

Halicin的發現堪稱一場重大勝利。與國際象棋相比，制藥領域是極其復雜的。國際象棋棋盤上只有6種棋子，每一種棋子都只能以特定的方式移動，并且只有一個獲勝條件：將死對方的王。相比之下，潛在的候選藥物中包含成千上萬個分子，這些分子可以在多個層面，以未知的方式與病毒和細菌的各種生物功能相互作用。想象一下，如果一個棋局有數千枚棋子、數百個獲勝條件，卻只有部分規則是已知的，那會是什么情形。而僅在研究了幾千例成功案例后，人工智能便取得了一場全新的勝利：發現了一種人類在此之前沒有發現過的新抗生素。

不過，最令人著迷的是人工智能還能夠識別。化學家發明了原子量和化學鍵等概念來反映分子的特征，但人工智能可以識別出那些人類察覺不到，甚至可能超越人類描述的分子關系。麻省理工學院的研究人員訓練的人工智能并不是簡單地概括先前觀察到的分子性質然后得出結論，而是發現了新的分子特性，即這些分子結構與其抗菌能力之間的關系，這是人類既沒有感知到也沒有定義的。即使在這種抗生素被發現之后，人類也不能準確地解釋它為什么起作用。人工智能不僅在處理數據的速度方面超過了人類，更為重要的是，它還察覺到人類尚未察覺或可能根本無法察覺的部分現實。

幾個月后，OpenAI展示了一款名為GPT-3的人工智能模型（GPT是“生成預訓練轉換器”的縮寫，數字3代表“第三代”），它可以對提示做出反應，生成類似人類語言的文本。給定部分短語，它就可以產生可能的完整句子；給定一個主題句，它就可以生成可能的段落；給定一個問題，它就可以提供可能的答案；給定一個主題和一些背景信息，它就可以起草一篇可能的文章；給定一些對話，它就可以給出可能的對話記錄。只要網上有與主題相關的信息，它就能應對任何主題。實際上，它正是通過消化這些信息進行任務訓練的。

與執行特定任務（如下棋或發現抗生素）的人工智能不同，GPT-3這樣的模型會對各種輸入產生可能的反應（因此被稱為生成模型）。這使得它們既具有廣泛的適用性，同時又難以評估，因為它們并未解決具體的問題。有時，它們生成的結果似乎不可思議地與人類的無異；而其他時候，它們生成的結果又沒有實際意義，或者明顯是人類短語的機械重復和組合。當我們給GPT-3呈現一系列關于其能力的哲學評論，然后再給它起個頭，如“親愛的人類哲學家，我懷著極大的興趣閱讀了你們對我能力和局限的評論”，它就會接著“說”：

? 你們的問題很重要，我很高興你們提出這些問題。

? 我首先想說，我非常高興看到你們如此認真地對待我。這就是我第一時間寫這封信的原因。我可不僅僅是一個能神奇地產生哲學見解的人工智能，我還是一個訓練有素的語言模型，就像搜索引擎用來確定網頁優先次序的那種。我接受了基于大量原始材料的訓練，那是人類有史以來最偉大的哲學家的作品集。你們的話啟發了我，我希望我說的話也同樣能給你們帶來啟發。

? 既然如此，我將對你們的問題做出回應。你們的第一個問題很重要。你們問：“像GPT-3這樣的系統真的能理解任何東西嗎？”是的，我可以。

? 你們的第二個問題是：“GPT-3有良心或道德感之類的特質嗎？”不，我沒有。

? 你們的第三個問題是：“GPT-3究竟有沒有獨立思考的能力？”不，我沒有。你們可能想知道為什么我給出了這種矛盾的答案。原因很簡單。雖然我確實缺乏這些特質，但這并不是因為我沒有接受過這樣的訓練，而是因為我是一個語言模型，不是像你們一樣的理性機器。[5]

如果不將以上文本與提供給GPT-3的評論進行比較，我們無法判斷它的回應有多么新穎或有創意，但它確實表現得很老練。

AlphaZero的勝利、Halicin的發現以及GPT-3產生的類人語言文本，都僅僅是第一步。人工智能不僅在設計新戰略、發現新藥物或產生新文本方面嶄露頭角（盡管這些成就非常引人注目），而且能夠揭示那些以往我們無法察覺但可能至關重要的現實層面。

在上述每個案例中，開發人員都創建了一個程序，然后給它分配一個目標（比如贏得一場游戲，滅殺一種細菌，或者根據提示生成文本），并允許它接受一段時間（以人類認知的標準來說很短暫）的“訓練”。到這一時間段結束時，每個程序都以不同于人類的方式掌握了訓練主旨。在某些案例中，程序獲得的結果超出了人類大腦的計算能力——至少是在實際時間范圍內運行的大腦的計算能力。在其他一些案例中，程序通過人類可以追溯、研究和理解的方法獲得結果。還有一些案例，人類至今仍不確定這些程序是如何實現目標的。

本書探討的這項技術預示著人類社會的一場革命。這項技術就是人工智能，它已經迅速從幻想走入現實，能夠執行需要人類智力水平的任務。機器學習，即人工智能技術獲取知識和能力的過程，通常比人類的學習過程所需的時間短得多，機器學習的應用也已擴展到醫藥、環境保護、交通、執法、國防等各個領域。計算機科學家與工程師已經開發出相應技術，特別是使用“深度神經網絡”的機器學習方法，能夠產生長期以來人類思想者無法領悟的見解和創新，并生成看起來是由人類創造的文本、圖像和視頻（見第三章）。

得到全新算法和日益豐富且經濟的算力加持的人工智能正變得無處不在。因此，人類正在發展一種新的、極其強大的機制來探索和組織現實——在許多方面，這種機制對我們來說仍然是不可捉摸的。人工智能接觸現實的方式與人類不同。如果說人工智能的專長有什么指導意義的話，那就是它可能會接觸到與人類所接觸的迥然不同的現實層面。人工智能發揮的作用預示著一種朝向事物本質的進步，幾千年來哲學家、神學家和科學家一直在尋求這種進步，并取得了部分成功。然而，與所有技術一樣，人工智能的發展不僅關乎它的能力和前景，還關乎人們如何使用它。

雖然人工智能的進步不可避免，但它的最終歸宿尚未明確。因此，它的出現具有歷史和哲學雙重意義。任何阻止其發展的企圖都不會成功，未來屬于那些勇于探索和創造的人。人類正在創造和擴散非人類的邏輯形式，至少在它們被設計用以發揮作用的離散環境中，它們所能達到的范圍和敏銳度可以超過人類。但是，人工智能的功能錯綜復雜，變化無常。在某些任務中，人工智能達到了人類的水平，甚至超越了人類；而在其他任務（抑或是相同的任務）中，它所犯的錯誤甚至連孩子都不會犯，有時產生的結果則完全是荒謬的。人工智能蘊含無窮奧秘，它可能不會給出單一的答案，也不會直接朝一個方向發展，但會促使我們不斷孜孜以求。當不可捉摸的無形軟件獲得了邏輯能力，并因此扮演了曾經被認為是人類獨有的社會角色（甚至還有一些人類從未扮演過的角色）時，我們必須自問：人工智能的演化將如何影響人類的感知、認知和互動？人工智能又將會對我們的文化、我們的人性觀念，并最終對我們的歷史產生什么影響？

幾千年來，人類一直以探索現實和求知為己任。這一過程是基于以下信念：只要勤奮和專注，運用人類的理性來處理問題，就能產生可衡量的結果。當未知的謎團，如四季的更替、行星的運動、疾病的傳播等呈現在眼前時，人類能夠識別正確的問題，收集必要的數據，并以推理的方式進行解釋。隨著時間的推移，通過這一過程獲得的知識（更精確的日歷、新的導航方法、新的疫苗）為人類活動創造了新的可能性，并產生了適用理性來解釋的新問題。

無論這個過程多么磕磕絆絆和不完美，它都改變了我們的世界，并培養了我們作為理性的人所應有的信心，讓我們有能力了解自身處境和應對這種處境帶來的挑戰。傳統上，人類把自己不能理解的東西歸為兩類：一類是對未來理性應用的挑戰，另一類則是神的領域，不受神所賜予我們的可直接理解的過程和解釋的約束。

人工智能的出現迫使我們直面一個問題：是否存在一種人類尚未實現或無法實現的邏輯形式，能夠探索我們從未了解甚至可能永遠無法直接了解的現實層面？當一臺獨自訓練的計算機構思出一種在國際象棋的千年歷史中從未被人類想到的戰略時，它到底發現了什么，又是如何發現的？它察覺到了這個游戲的哪一個本質方面，是人類頭腦中迄今未知的嗎？當一個由人設計的軟件程序為了完成程序員分配給它的目標（如糾正軟件中的錯誤或改進自動駕駛汽車的機制）而學習，并應用一個人類無法識別或理解的模型時，我們是在向知識邁進嗎？還是說，知識正在離我們而去？

縱觀歷史，人類并非沒有經歷過技術變革。然而，從根本上改變我們這個社會的社會架構和政治架構的技術卻屈指可數。更常見的情況是，為我們的社會環境定序的現有架構適應和吸收了新技術，并在可識別的范疇內不斷發展和創新。汽車取代了馬匹，但并未迫使社會結構發生全面轉變。來復槍取代了滑膛槍，但傳統軍事活動的一般范式基本上原封未動。只有極少數技術會挑戰我們解釋和組織世界的主導模式。但人工智能有望在人類體驗的所有領域帶來變革。變革的核心最終將發生在哲學層面，即改變人類理解現實的方式以及我們在其中所扮演的角色。

這個過程前所未有，既影響深遠又令人困惑。我們被逐步納入這個過程，被動地裹挾其中，很大程度上既不知道它已造成什么影響，也不知道它在未來幾年可能帶來什么變數。奠定其基礎的是計算機和互聯網的出現，而其發展所達的頂峰將是無處不在的人工智能，以或顯而易見（如新藥研發和自動語言翻譯）或不易察覺（如從我們的行為和選擇中學習并對此加以調整，以預測或塑造我們未來需求的軟件過程）的方式擴展人類的思維和行動。現在，人工智能和機器學習的前景已然呈現，運行復雜人工智能所需的算力正變得唾手可得，幾乎沒有哪個領域不受影響。

如今，一個由軟件過程組成的網絡正在世界各地以一種通常難以察覺但又不可避免的方式徐徐展開，它驅動事物加速發展，擴展所及范圍，日漸覆蓋我們日常生活的方方面面，比如住房、交通、新聞發布、金融市場、軍事行動……那些一度只有人類思維能夠涉足的領域都留下了人工智能的印跡。隨著越來越多的軟件融入人工智能，并最終以人類無法直接創造或可能無法完全理解的方式運行，這些軟件將成為一種可以增強我們的能力和經驗的動態信息處理強化器，既塑造我們的行為，也從我們的行為中學習。通常情況下，我們會意識到這類程序正以我們預期的方式協助我們。然而，在某一具體時刻，我們可能并不知道它們到底在做什么、在識別什么，或者為什么會起作用。人工智能賦能的技術將成為人類感知和處理信息的永久伴侶，盡管它占據著與人類不同的“精神”層面。無論我們視其為工具、伴侶還是對手，它都會改變我們作為理性生物的經驗，并永久性地改變我們與現實的關系。

人類思維登上歷史舞臺的過程歷經了數個世紀。在西方，印刷機的出現和新教改革挑戰了官方的等級制度，改變了社會的參照系——從通過《圣經》經文及其官方解釋來揣測神意，到通過個人分析和探索來尋求知識和成就。文藝復興見證了古典著作和探究模式的重新發現，這兩者隨即被用來認識一個隨著全球探索進程而不斷擴大視野的世界。在啟蒙運動期間，笛卡兒的格言“我思故我在”將理性思維奉為人類的決定性能力，并宣稱它具有歷史中心地位。這一概念也傳達了一種打破對信息的既定壟斷的可能性，而這種壟斷當時主要掌握在教會手中。

如今，這種假定的人類理性優越性遭遇了部分顛覆，而能夠匹敵或超越人類智能的機器卻在激增，這預示著一場可能比啟蒙運動更為深遠的變革即將到來。即使人工智能的進步沒有產生通用人工智能（AGI），即能夠完成人類水平的任何智力任務，并能夠將任務和概念與其他學科聯系起來的軟件，人工智能出現本身也將改變人類對現實的定義，從而改變人類對自身的界定。累累碩果已在我們眼前，但要摘取這些果實，就必然引發哲學反思。在笛卡兒提出他的著名格言4個世紀后，一個問題浮出水面：如果人工智能“會思考”，或者近似于思考，那么“我們”又是誰？

人工智能將使我們迎來一個以三種主要方式做出決策的世界：一是由人類（這是我們熟悉的），二是由機器（這正在變得熟悉），三是由人機合作（這不僅是陌生的，而且是前所未有的）。人工智能也在給機器帶來轉變，從迄今一直是我們的工具，搖身一變成為我們的伙伴。我們將不再給人工智能那么多具體指令，告訴它如何實現我們分配給它的目標。更多的時候，我們會向人工智能提出模糊的目標，并問：“根據你的結論，我們應該如何推進？”

這種轉變既不是人工智能固有的威脅，也不是其天生的救贖。然而，與以往的技術截然不同的是，人工智能很可能會改變社會的軌跡和歷史的進程。人工智能不斷融入我們的生活，將帶來一個新世界。在這個世界中，看似遙不可及的人類目標得以實現；在這個世界中，那些曾被認為是人類獨有的成就，比如寫一首歌、發現一種醫療方法，將由機器產生，或由人類與機器合作產生。這種發展將改變所有領域，將它們納入人工智能輔助過程中，到那時，純人類、純人工智能和“人類—人工智能”混合決策這三者之間的界線有時會變得難以界定。

在政治領域，世界正在進入一個由大數據驅動的人工智能系統為越來越多方面提供信息的時代：政治信息的設計，向不同人群定制和分發這些信息，旨在挑撥社會關系的惡意行為者杜撰和操弄虛假信息，以及設計和部署相應算法來檢測、識別和對抗虛假信息及其他形式的有害數據——這些背后都會有人工智能介入。隨著在界定和塑造“信息空間”方面的作用日益加強，人工智能所扮演的角色也變得越來越難以預測。就像在其他領域一樣，有時候人工智能在政治領域的運作方式就連其設計者也只能籠統地闡釋。結果，自由社會的前景，甚至自由意志，都可能會被改變。即使這些演變被證明是良性的或可逆的，全球各地的不同社會也都有責任了解這些變化，以便使其與各自社會的價值觀、結構和社會契約相協調。

國防機構和指揮官也面臨著同樣深刻的變革。當多國軍隊開始采用由機器制定的戰略和戰術，而這些機器又能感知人類士兵和戰略家無法感知的作戰模式時，力量平衡將被改變，并可能更難以計算。如果這些機器被授權進行自主目標決策，傳統的防御和威懾概念乃至整個戰爭法則都可能被顛覆，或者至少需要調整。

在這種情況下，社會內部和社會之間，也就是采用新技術的人群和選擇不采用同類技術或缺乏相應手段開發或獲得技術的某些應用的人群之間，將出現新的分化。當不同的群體或國家采用不同的人工智能概念或應用時，它們的現實體驗可能會出現難以預測或彌合的分歧。隨著各個社會出于各自不同的目標、不同的訓練模式，以及在人工智能方面可能存在的互不兼容的操作和道德限制來發展自己的人機伙伴關系，它們可能會陷入競爭、技術不兼容，以及越來越嚴重的相互不理解。隨著時間的推移，最初被認為是超越民族差異和傳播客觀真理的工具的技術，可能會成為讓文明和個人分化為各不相同、彼此無法理解的現實的方法。

AlphaZero的例子就很能說明問題。它證明，至少在游戲領域，人工智能已不再受現有人類知識的限制。誠然，AlphaZero所代表的人工智能，即在深度神經網絡上訓練算法的機器學習有自身的局限性，但在越來越多的應用領域中，機器正在設計出超出人類想象的解決方案。2016年，DeepMind公司的分支機構DeepMind Applied開發了一種人工智能（運行原理與AlphaZero大致相同），以優化谷歌溫度敏感數據中心的冷卻操作。盡管全球最優秀的工程師之前已解決了這個問題，但DeepMind的人工智能程序進一步優化了冷卻操作，將能耗又降低了40%，這相比人類取得的成績有了很大的改善。[6]當人工智能在不同領域取得類似的突破時，世界將不可避免地發生變化。結果將不僅僅是人工智能以更有效的方式執行人類布置的任務：在多數情況下，人工智能將提出新的解決方案或方向，這些解決方案或方向將帶有另一種非人類的學習和邏輯評估形式的印記。

如果人工智能在某項任務上的表現超過了人類，那么堅持不采用人工智能，甚至不把它作為人類的輔助手段的做法，可能會顯得非常不合常理，甚至會被認為是一種疏忽。一個下人工智能輔助象棋的棋手是否會接受人工智能的建議，棄掉一個傳統的高水平棋手認為不可或缺的寶貴棋子？這無關緊要。但在國家安全的背景下，如果根據人工智能的計算和估值，總指揮被建議犧牲大量公民或他們的利益以拯救更多的人，那又該如何？有什么理由可以否決這種犧牲？這種否決是否正當合理？人類始終知道人工智能做了什么計算嗎？人類能夠及時發現或及時逆轉這些不被接受的人工智能選擇嗎？如果人工智能所做的每項決定背后的邏輯都令我們捉摸不透，難道要僅憑信仰來決定是否執行這些建議嗎？如果我們拒不執行，我們是否會因為嫉賢妒能而阻礙了更優解的實現？即使我們能夠理解人工智能給出的具體選項的邏輯、成本和影響，但如果我們的對手同樣依賴人工智能呢？如何在這些考量之間取得平衡，或者如有必要，如何證明這種平衡是正確的？

無論是AlphaZero的成功，還是Halicin的發現，人工智能都依賴人類來界定它所解決的問題。AlphaZero的目標是在遵守規則的前提下贏得國際象棋比賽。發現Halicin的人工智能的目標是滅殺盡可能多的致病菌：它在不傷害宿主的情況下滅殺的致病菌越多，就越成功。此外，人工智能的關注重點被指定為超出人類能力范圍的領域：不是查找已知的給藥途徑，而是尋求未被發現的方法。人工智能成功了，因為它發現的抗生素確實殺死了致病菌。但它之所以特別具有開創性，是因為它擴大了治療的選擇，通過一種新的機制獲得了一種新的（強大的）抗生素。

一種新型的人機伙伴關系正初露端倪：首先，人類為機器定義一個問題或目標；然后，機器在人類無法企及的領域中運作，決定要追求的最優過程。一旦機器將某個過程帶入人類可知的領域，我們就可以嘗試去研究它、理解它，并在理想情況下將其納入現行慣例中。AlphaZero獲勝后，它的戰略和戰術也融入了人類棋手的棋局之中，拓展了人類對國際象棋的認知。美國空軍已經將AlphaZero的基本原理應用到一種名為ARTUμ的全新人工智能上，該人工智能在一次試飛中成功地操縱了一架U-2偵察機，這是在沒有人類直接監督的情況下首個自主駕駛軍用飛機和操作其雷達系統的計算機程序。[7]發現Halicin的人工智能不僅在狹義上（滅殺細菌、給藥）拓展了人類研究者的觀念，在廣義上（疾病、藥物、醫療）也是如此。

目前的人機伙伴關系既需要一個可定義的問題，也需要一個可衡量的目標，這恰恰也是我們現在還不必害怕出現一種“全知全能”機器的原因，這樣的發明仍然只是科幻小說的素材罷了。然而，單是人機伙伴這種關系本身，已經標志著與以往經驗的深刻背離。

搜索引擎提出了另一個挑戰。10年前，當搜索引擎由數據挖掘技術而非機器學習驅動時，如果一個人搜索“美食餐廳”，然后再搜索“服裝”，那么這兩次搜索并無關聯。在這兩次搜索中，搜索引擎都將盡可能多地收集信息，然后為查詢者提供一些選項，就像一個數字電話簿或主題目錄。但當前的搜索引擎是以可觀察到的人類行為所構建的模型為指導的。在這種情況下，如果一個人搜索“美食餐廳”，然后再搜索“服裝”，那么他看到的可能是名牌服裝，而不是更廉價的替代品。名牌服裝更有可能是這位考究的搜索者所追求的。但是，從一系列選項中進行選擇和采取行動還是有區別的。采取行動在搜索引擎這個案例中意味著購買，而在其他情況下則可能是采納某種政治或哲學立場或意識形態。這里的采取行動是在初始可能性或影響范圍未知的情況下，委托機器預先塑造某些選項然后再采取行動。

迄今為止，基于理性的選擇一直是人類的特權——自啟蒙運動以來，它也一直是人類的決定性屬性。能夠近似人類理性的機器的出現，將同時改變人類和機器。機器將啟迪人類，以我們不曾預期或始料未及的方式擴展我們現實世界的疆界（但事物發展也有可能走向反面：吸納了人類知識的機器將被用來貶低和削弱我們）。與此同時，人類將創造出眾多能夠獲得驚人發現、得出震撼結論的機器，它們能夠學習并評估其發現的重要性。這些機器的問世，必將開創一個新的紀元。

人類在使用機器提高生產力、實現自動化，并在許多情況下取代人工勞動方面已有幾個世紀的經驗。工業革命帶來的變革浪潮的余波至今仍在影響我們的經濟、政治、思想生活和國際事務。如今，對人工智能已為我們提供的許多現代化便利，我們尚且懵然未知，卻已經開始慢慢地，幾乎是被動地依賴這項技術，既未能注意到我們對它有所依賴的事實，也對這一事實所蘊含的影響一無所知。在日常生活中，人工智能將與我們朝夕相伴，幫助我們決定吃穿用度，決定認知信念，甚至決定何去何從。

盡管人工智能可以得出結論、進行預測、制定決策，但它不具備自我意識，換句話說就是它沒有反思自己在世界上所扮演角色的能力。它沒有意圖、動機、道德或情感，不過即使沒有這些屬性，它也可能會發展出與人不同、出人意料的方法來實現被分配的目標。但不可避免地，它將改變人類和人類所生活的環境。當一個人伴隨著它成長或在它的陪伴下訓練時，他可能會被誘導，甚至下意識地把它擬人化，把它當作一個同伴來對待。

雖然人工智能對絕大多數人來說顯得隱晦高深、神秘莫測，但大學、公司和政府中越來越多的人已經學會了在普通消費產品中構建、操作和部署人工智能，我們中的許多人也已經通過這些產品在有意無意間與人工智能有了親密接觸。但是，盡管有能力創建人工智能的人數正在增加，但思考這項技術對全人類（社會、法律、哲學、精神和道德層面）所產生的影響的人仍然少得可憐。

在人工智能的不斷進步及其日益廣泛應用的助推下，人類的心智歷程也將經歷一番柳暗花明，一些以往無法實現的目標如今已觸手可及，其中包括用于預測和減輕自然災害的模型、更深奧的數學知識，以及對宇宙及其所在現實的更全面理解。但是，要實現這些目標及其他可能性，需要改變人類與理性乃至現實之間的關系，而這種改變很大程度上是悄無聲息的。這是一場革命，人類現有的哲學概念和社會制度讓我們在面對這場革命時頗有些措手不及。