We don't need artificial conscious agents. We need intelligent tools.

我們不需要有意識的人工主體。我們需要的是智能工具。

丹尼爾·丹尼特

Daniel C. Dennett

丹尼爾·丹尼特是塔夫茨大學奧斯丁·弗萊徹哲學講席教授和認知研究中心主任。他著有10多本著作，包括《直覺泵和其他思考工具》（Intuition Pumps and Other Tools for Thinking）《意識的解釋》（Consciousness Explained）、《從細菌到巴赫再到細菌：心智的進化》（From Bacteria to Bach and Back: The Evolution of Minds）。

注：丹尼爾·丹尼特的著作《直覺泵和其他思考工具》中文簡體字版已由湛廬文化策劃，浙江教育出版社出版。

——編者注

布羅克曼談丹尼爾·丹尼特

丹尼爾·丹尼特是人工智能領域最優秀的哲學家。在認知科學領域，他最著名的貢獻也許就是他的意向系統概念和人類意識模型，這個模型勾勒出一個計算架構，能在大規模并行的大腦皮層中實現意識的流動。這種堅決的計算主義態度受到哲學家約翰·塞爾（John Searle）、大衛·查爾莫斯（David Chalmers）和已故的杰里·福多爾（Jerry Fodor）的強烈反對，他們認為意識最重要的特點，也就是意向性和主觀特征，是無法被計算的。

25年前，我拜訪了人工智能的先驅者之一馬文·明斯基，向他詢問丹尼特的情況?！八悄壳笆澜缟献詈玫恼軐W家，他是伯特蘭·羅素第二，”馬文說，“與傳統哲學家不同的是，丹尼特還研究神經科學、語言學、人工智能、計算機科學和心理學。他把哲學家的角色重新界定，并加以革新。當然，丹尼特不理解我的心智社會理論，但沒有人是完美的。”

人工智能研究者努力創造超級人工智能，丹尼特對此的看法非常冷靜?！笆裁?，我擔心這個？”在這篇文章中，他提醒我們，人工智能首先應該被視為工具，而不是像人一樣的同事。

從在牛津大學讀研究生以來，丹尼特就一直對信息理論感興趣。事實上，他告訴我，學術生涯早期時，他特別想寫一本關于維納控制論的書。作為一個有科學方法的思想家，他的一種魅力就是愿意犯錯。在最近一篇題為《什么是信息？》的文章中，他宣布：“我支持它，但它現在需要修改。我已經超越了它，我意識到有更好的方法來解決這些問題。”對于人工智能研究，他保持冷靜的態度，盡管他承認自己的想法經常在變，就像任何人的想法都在不斷發展一樣。

許多人曾反思過，當你還太年輕，讀不懂一本偉大著作時卻去讀它，這是多么具有諷刺意味。把一本經典之作扔到已經閱讀過的書堆里，會讓你們無法受到更深遠的影響，而只是從中得到一些不甚明了的思想，這種忽略經典的做法通常是不好的。年輕時我曾讀過《人有人的用處》，60多年后當我重讀此書時，頗有感觸。我們都應該把青年時代讀過的書再重讀一遍，從中很容易發現，我們自己后來的一些“發現”和“發明”之前都有清晰的伏筆，我們還會發現，對于很多曾經無動于衷的深刻洞見，在經歷過生活百態、錘煉大腦、豐富思維后，我們現在終于有所領悟了。

諾伯特·維納在寫作此書時，真空管仍然是主要的電子器件，實際運行的計算機也是寥寥無幾，就在這樣的時代背景下，他以豐富的細節、較少的錯誤，設想了我們現在正在享受的未來。艾倫·圖靈1950年在哲學期刊《心智》（Mind）上發表了著名文章《計算機械與智能》（Computing Machinery and Intelligence），文中預測了人工智能的發展。維納也對人工智能的發展做出過預測，但維納看得更深更遠，他意識到人工智能在許多智能活動中不僅僅是在模仿和替代人類，而是在這個過程中改變人類。

我們不過是川流不息的河水中的漩渦。我們并非僵滯的死物，而是延續自己的模式。

當維納寫下這句話時，人們很容易把它看作另一個赫拉克利特式的夸大其詞。是啊，是啊，你不能兩次踏入同一條河流。但它包含了觀念革命的種子。今天，我們知道該如何思考復雜適應系統、奇異吸引子、擴展心智和內穩態，這種觀點的改變有望消除心智與機械、精神與物質之間的“解釋鴻溝”⁽⁹⁾，這種鴻溝仍然受到現代笛卡爾信徒的熱烈維護。他們無法接受忍受這樣的想法，也就是我們，我們自己，是承載信息的物質自我延續的模式，而不是“僵滯的死物”。這些模式彈性好，自我恢復能力強，但同時又非常善變，屬于機會主義者，自私自利，為尋求永存會不惜利用一切新鮮事物。正如維納指出的那樣，事情的不確定性就源于此。當出現極具吸引力的機會時，我們往往愿意花一點錢，為獲得新的能力接受一些小的，甚至是微不足道的代價。很快，我們對新工具如此依賴，沒有它們我們便無法發展。原本只是選項，現在卻成了必需品。

這是一個古老的故事，在進化史上有許多記載。大多數哺乳動物都能合成自己的維生素C，但是靈長類動物自選擇以水果為主的飲食后，便失去了這種先天的能力?，F在我們必須攝取維生素C，卻不必像我們的靈長類近親那樣必須攝取水果，因為我們已經有了技術，能制造、攝取所需要的維生素。我們稱之為自我延續模式的人類現在依賴于衣服、熟食、維生素、疫苗、信用卡、智能手機和互聯網。還有——人工智能。

維納預見到了圖靈和其他樂觀主義者大多忽略掉的問題。他說，真正的危險是：

這樣的機器，雖然其本身沒有殺傷力，但卻可以被一個人或一群人利用，以加強對其他種族的控制；又或者，危險之處在于，政治領導人不是靠機器，而是靠政治手段試圖控制人民，這些政治手段對人類的可能性狹隘視之且漠不關心，就好像它們實際上是機械構思出來的。

他認識到，這種統治威力主要取決于計算程序，而不是運行的硬件，盡管今天的硬件使得維納時代顯得異常煩瑣的計算程序，實際上已經變得可行。對于那些“對人類的可能性狹隘視之且漠不關心”的“手段”，我們有何話說？這些“手段”一次又一次地出現，很顯然，有一些是好的，有一些是危險的，但還有許多處于無所不在的有爭議的中間地帶。

想想那些沖突。我已故的朋友約瑟夫·魏岑鮑姆（Joseph Weizenbaum）是維納的繼任者，是麻省理工學院的高科技先知，他喜歡觀察信用卡，發現無論信用卡有哪些優點，都能為政府或公司提供一種廉價且幾乎是萬無一失的方法，來追蹤個人的旅行、習慣及愿望。除了毒販和其他罪犯，現在很少人使用具有匿名性的現金，現金可能正走向滅絕。這將使得洗錢在未來所面臨的技術挑戰越來越大，但針對此的人工智能模式查找器卻有一個副作用，它使我們對于那些“企圖控制”我們的“人群”而言變得更加透明。

再看看藝術，除了最熱心的聽眾和電影愛好者之外，幾乎所有人都這樣認為：數字音頻和視頻錄制的創新讓我們僅付出很小的代價便放棄了模擬格式，反過來，它還為我們提供了簡單（是不是太簡單了？）的復制方法，有著近乎完美的逼真度。但，這里隱藏著巨大的代價。奧威爾的“真理部”現在已經成為可能。人工智能現已有了這種偽造技術，能偽造出幾乎難辨真假的“記錄”，這使得在過去的150年里我們一直視之為理所當然的調查手段現在已經過時。我們是放棄短暫的攝影取證時代，回到以人類記憶和信任為黃金標準的早期世界，還是在真理軍備競賽中發展新的防御和進攻技術？我們可以想象回到曝光膠片的模擬時代，這些膠片在沒有出示給陪審團等人看之前一直存放在“防篡改”系統中，但多久之后就會有人想出方法，使人們對該系統起疑心？最近發生的事給了我們一個令人不安的教訓，那就是，破壞信譽比保護信譽要容易得多，所需付出的代價也小得多。維納看到了該現象最本質的一面：“……從長遠來看，武裝我們自己與武裝敵人，兩者之間沒有什么差別?！毙畔r代也是虛假信息時代。

我們能做些什么？維納、魏岑鮑姆和其他人嚴肅批評了我們這些親技術派人士，借助于他們所做的有熱情但也有缺陷的分析，我們需要重新考慮優先事項。在我看來，一個關鍵短語就是前面提到的維納的近乎漫不經心的觀察，他說“這些機器”“其本身沒有殺傷力”。正如我最近一直在討論的，現在我們正在制造的是工具，而不是同事，最大的危險是無法欣賞差異，這種差異是我們應該努力通過政治和法律創新來強調、標記和捍衛的。

也許，看待我們錯失了什么，最好的辦法就是注意到艾倫·圖靈自己在設計著名的圖靈測試時遇到了完全可以理解的想象力的失敗。眾所周知，該測試改編自“模仿游戲”，在這個游戲中，一個男人躲起來不被看到，他與法官聊天，試圖使法官相信他實際上是個女人，而一個女人，也躲起來，她也與法官聊天，試圖使法官相信她才是女人。圖靈認為，這對于一個男人（或者假扮男人的女人）來說是一個艱巨的挑戰，因為他或她要非常了解異性的思考和行為方式，了解他們喜歡什么或不懂什么。當然（叮！）⁽¹⁰⁾，在這樣的游戲里，被看成是比女人還女人，這樣的男人一定是特工。但圖靈沒有預見到的是人工智能的深度學習能力，人工智能不必理解信息，就可以獲取這些信息并利用它。圖靈設想了一個機敏、富有想象力、清醒的特工，他巧妙地根據女性可能做什么和說什么的詳細“理論”設計了自己的反應。簡言之，這是一個自上而下的高智能設計。圖靈肯定不會認為獲勝的男人就真的變成了女人，他會認為這是一個男人的意識主導了游戲。在圖靈的論點中有一個隱含前提是：只有清醒、聰明的特工才能在模擬游戲中設計并使用獲勝的策略。因此，圖靈（以及包括我在內的其他人，仍然堅定地支持圖靈測試）認為，在與人類競爭時，能夠像人類一樣通過測試的“計算機器”可能不會擁有人類的意識，但無論怎樣它一定有某種意識。我認為，這仍然是一種可辯護的立場，而且是唯一可辯護的立場，但是你必須明白，一個法官需要多么足智多謀，才能揭露一個有著深度學習能力的人工智能（一種工具，而不是同事）的膚淺本質。

圖靈沒有預見到的是，超高速計算機具有不可思議的能力，能夠在互聯網提供的取之不盡、用之不竭的“大數據”中盲目篩選，找到人類活動的概率模式，借此，對于法官想要做的幾乎任何調查，這種模式都可以將貌似“真實”的響應彈出到輸出框中。維納也低估了這種可能性，他只看到機器的弱點在于：

不能將代表人類處境特征的大范圍可能性考慮進來。

但是把大范圍可能性考慮進來正是新的人工智能所擅長的。人工智能的唯一欠缺就是“浩瀚”一詞；由于人類語言及其所孕育的文化之故，人類擁有真正“浩瀚”的可能性。⁽¹¹⁾到目前為止，在互聯網的大量數據中，不管我們和人工智能發現了多少模式，一定還有浩瀚的模式從未被記錄下來。世界上積累的智慧、設計、妙語和愚蠢，只有一小部分（但不是微渺）被上傳到互聯網上，但在圖靈測試中，面對候選人，法官能采用的更好的策略不是去尋找這樣的事情，而是將之全新創造。人工智能目前表現為依附于人類的智力。它完全不分青紅皂白地吞噬著人類創造者所創造出來的一切，并從中提取模式，包括我們一些最有害的習慣。⁽¹²⁾這些機器還沒有目標或策略，也沒有能力進行自我批評和創新，從而無法反思自己的思想和目標。正如維納所說，它們是無助的，沒有殺傷力的，不是指它們是被束縛的或沒有行為能力的主體，而是指它們根本不是主體——它們沒有能力為“被理性驅動”（康德這樣說）。保持現狀，這很重要，但這也很難做到。

魏岑鮑姆的《計算機力量與人類理性》（Computer Power and Human Reason）一書有一個缺點，很長時間以來我一直與他探討，試圖說服他，卻沒有成功，這個缺點就是在以下兩種觀點中，他永遠不確定自己為之辯護的究竟是哪個：人工智能是不可能的抑或人工智能是可能卻有害的！他想與約翰·塞爾和羅杰·彭羅斯（Roger Penrose）爭辯說，“強大的人工智能”是不可能的，但是他沒有足夠的理由來支持這個結論。畢竟，我們現在所知道的一切都表明，正如我所說的，我們是由機器人所制造的機器人所制造的機器人……一直到馬達蛋白及其同類，其中并沒有神奇的成分。魏岑鮑姆提出的更重要、更具有辯護力的信息是，我們不應該努力創造強大的人工智能，而應該極其謹慎地對待我們能夠創造和已經創造的人工智能系統。就像人們所預期的那樣，我們能辯駁的論點是不同觀點的混合：強人工智能原則上是可能的，但不是我們想要的。完全可能的人工智能未必是邪惡的，除非把它當成強人工智能！

今天我們現有的智能系統和科幻小說中的智能系統之間有著很大的差距，雖然許多人，無論是外行和內行，都試圖低估這種差距。我們以IBM公司的沃森認知技術為例，這一技術目前可以算是我們人類想象力的一個頗具價值的里程碑。這是許多人歷時幾百年進行大規模智能設計研發的結果，正如喬治·丘奇所指出的那樣，它使用的能量是人腦的數千倍。他也指出，由于技術上的限制，這可能只是暫時的。沃森在智力問答節目中的勝利是真正的勝利，這有可能是由于節目規則的刻板限制才會獲勝，但為了使之發揮能力，甚至要修改這些規則。其中的一個折中辦法是：放棄一點多樣性，一點人性，得到一個令人滿意的節目。沃森不是好伙伴，盡管IBM的廣告有些誤導性，讓公眾相信沃森擁有一般的會話能力，但把沃森當成一個貌似真實的多維立體主體，就像把手動計算器當成沃森一樣可笑。對于這樣的主體來說，沃森可能是很有用的核心器官，但與其說它是一個大腦，不如說只是一個小腦或杏仁核，充其量只能是一個有特殊用途的子系統，它可以起到很大的支持作用，但遠不能勝任制定目標、計劃以及進行有意義對話的任務。

我們為什么要把沃森變成一個有思想、有創意的人類主體呢？也許圖靈的那個測試把我們引進了陷阱中：去尋求在屏幕后至少創造出一個真實人物的幻覺，去跨越“恐怖谷”⁽¹³⁾。這里的危險在于，自從圖靈提出挑戰之后，人工智能的創造者便試圖用可愛的仿人觸感、迪斯尼化效應來粉飾“恐怖谷”，使外行們沉迷其中，不能自拔。魏岑鮑姆的ELIZA是創造這種膚淺幻覺的先驅，他的那個簡單膚淺的程序使人們相信他們正在認真而傾心地交談，對此他感到沮喪。正是這種沮喪感使他開始有了自己的使命。

他有理由擔心。如果說從嚴格的圖靈測試比賽勒布納獎（Loebner Prize）角逐賽中我們能學到什么，那就是即使是非常聰明的人，如果不了解計算機編程的可能性和捷徑，也很容易被簡單的小把戲欺騙。人工智能界人士對這些“用戶界面”上的偽裝方法態度不一，有輕蔑，有喝彩，但普遍都認為這些技巧并不深奧，卻很有效。如果人們的態度能發生轉變，坦率地承認人形裝飾品是虛假的廣告，應該被譴責，而不是喝彩，那該多好啊。

怎樣才能讓這種轉變發生呢？一旦我們發現人們開始主要基于人工智能系統的“建議”做出生死攸關的決定，而這一系統的內部操作很難理解，這時我們就能理解，為什么那些想方設法鼓勵人們要更多地信任這些系統的人，應當承擔更多道義上和法律上的責任。人工智能系統功能非常強大，對于這一系統做出的“判斷”，甚至是專家也有理由不相信他們自己的看法到底正確與否。但是，如果使用這些系統的人會因為使用該系統做了常人未曾做過的事而受益，無論是經濟方面受益還是其他方面受益，他們都需要確保他們知道如何能以最大的控制力和正當理由，負責任地做到這一點。就像我們給藥劑師、起重機操作員和其他專家授權許可一樣——他們的錯誤及錯誤判斷會造成嚴重后果，給操作員發許可證并對他們進行約束，在保險公司和其他保險商的壓力下，可以迫使人工智能系統的創建者不遺余力地尋找、揭示其產品的弱點和差距，并培訓那些操作系統的人。

人們可以想象，在一種反向的圖靈測試中，接受試驗的是法官：除非他或她能夠發現弱點、找到越界的證據、洞察系統中的漏洞，否則就得不到操作許可證。而要獲得成為法官的認證，需要進行大腦訓練，這種訓練苛刻無比。無論何時，只要遇到一個似乎很聰明的主體，我們就有一種強烈的欲望想要對其采取意向立場。事實上，擁有能抗拒住把有著人形外表的機器看成人的念頭的能力并不好，它代表了種族主義或物種主義。許多人發現這種懷疑一切的方法在道義上令人反感，我們也可以預期，即使最熟練的系統用戶，只要能夠緩解執行職責時的不適感，偶爾也會忍不住與他們的工具“交朋友”。不管人工智能設計者如何小心翼翼地消除假“人類”的痕跡，我們都能預期到，在這個全新的人類活動設定下會出現全新的思維習慣、對話的伎倆和詭計、陷阱和虛張聲勢。電視廣告上介紹的新藥有很多已知的副作用，但和必須揭露的問題相比就相形見絀了，這些問題是特定系統無法負責任地回答的，對那些“忽視”他們產品中缺陷的人應處以嚴厲的懲罰。人們普遍注意到，當今世界日益嚴重的經濟不平等在很大程度上是由于數字企業家積累的財富造成的；我們應該制定法律，為了公共利益，將他們的財產交由第三方代管。在這些義務面前，一些最富有的人自愿首先服務社會，其次賺錢，但我們不應該僅僅依靠善意。

我們不需要有意識的人工主體。有自然意識的人類的數量已經太多了，足以處理那些該由特殊及特權機構處理的任何任務。我們需要的是智能工具。這些工具沒有權利，也沒有會被傷害的感情，亦不會憤憤不滿于笨拙的用戶對它們的“虐待”。⁽¹⁴⁾不讓人工主體有意識的原因之一是，不管它們變得多么有自主性（原則上，它們可以像任何人一樣有自主性、能自我提高或自我創造），如果沒有特殊規定的話，它們不會像我們這些有自然意識的人類一樣，有弱點，會死亡。

在塔夫茨大學的一個研討會上，我與馬蒂亞斯·朔伊茨（Matthias Scheutz）共同教授人工智能和自主性，我向學生提出一個問題：描述一個機器人的規格，它能與你簽署有約束力的合同，不是代表其人類主人，而是代表它自己。這不是讓它理解條款或操作筆在紙上寫字的問題，而是它作為一個道德上負責任的主體有并“應該有”的法律地位的問題。小孩子不能簽這樣的合同，那些按照法律要求要受到這種或那種監護人的照顧并由監護人承擔責任的殘疾人也不能簽這樣的合同。對于那些可能想要獲得如此崇高地位的機器人來說，問題是，就像超人一樣，它們太無懈可擊以至于無法做出令人相信的承諾。如果它們要背棄承諾，會怎樣？它們沒有信守諾言，能給它們什么樣的懲罰？是把它們關在牢房里，還是更合理些，把它們拆了？除非我們最開始時給它們安裝了人工漫游癖，而且人工智能自己不能忽略或禁用這種人工漫游癖，否則把它們關起來對于它們來說幾乎不會帶來任何不便；并且考慮到我們假定人工智能很狡猾，有自知，那么系統上很難使這個解決方案萬無一失。如果存儲在設計和軟件中的信息得以保存下來，那么拆除人工智能并不會殺死它，無論是機器人還是像沃森一樣的無法動彈的主體都是如此。數字記錄和傳輸是一種重大突破，使得軟件和數據實際上可以永遠存在，依靠它，機器人獲得了永生——至少我們通常想象的那種機器人有著數字軟件和記憶。如果這還不明顯，那么想想假如我們每周都能制造一些“備份”人，人類的道德會受到怎樣的影響。當你周五晚上的備份在周日早上傳到網上，那么你不會記得周六你沒有系蹦極繩，從高橋上大頭朝下跳了下去，但是你之后可以欣賞到你的死亡錄像帶。

所以我們創造的不應該是有意識的類人主體，而應是一種全新的實體，更像是圣人，沒有良知，沒有對死亡的恐懼，沒有令其分心的愛和恨，沒有個性，但是各種各樣的弱點和怪癖毫無疑問會被看成是系統的“個性”：一箱箱的真理（如果我們幸運的話）幾乎可以肯定會被零星的謊言所污染。學習與它們共存卻不被這些人工智能奴役我們的奇點論所分心，真的很難。人有人的用處將很快改變，再次、永遠地改變，但如果我們對自己的行為負責，我們就可以在危險之間掌握主動權。