Deep learning has its own dynamics, it does its own repair and its own optimization, and it gives you the right results most of the time. But when it doesn't, you don't have a clue about what went wrong and what should be fixed.

深度學習有自己的動力學機制，它能自我修復，找出最優化組合，絕大多數時候都會給出正確的結果。可一旦結果錯了，你不會知道哪里出了問題，也不知道該如何修復。

朱迪亞·珀爾

Judea Pearl

朱迪亞·珀爾是計算機科學教授，加州大學洛杉磯分校認知系統實驗室主任。他與達娜·麥肯齊（Dana Mackenzie）合著了《為什么：關于因果關系的新科學》（The Book of Why: The New Science of Cause and Effect）。

布羅克曼談朱迪亞·珀爾

20世紀80年代，朱迪亞·珀爾推出了一種實現人工智能的新方法，稱為貝葉斯網絡。這種基于概率的機器推理模型使機器能夠在一個復雜而不確定的世界中發揮作用，成為“證據引擎”，根據新的證據不斷修正自己的信念。短短幾年內，珀爾的貝葉斯網絡完全取代了以往基于規則的人工智能途徑。深度學習的出現，使珀爾的研究暫時停下來，因為這種方法有些不透明。深度學習指計算機通過觀察大量數據來自學，使自己變得更聰明。

看到邁克爾·喬丹（Michael Jordan）和杰弗里·欣頓（Geoffrey Hinton）等同事在深度學習領域取得的杰出成就后，他對這種不透明感到不安。他開始理解深度學習體系的理論局限性，并指出這些基本障礙的存在將使機器永遠無法達到人類的智慧，無論我們付出怎樣的努力。珀爾意識到，通過利用貝葉斯網絡的計算優勢，將簡單概率圖模型和數據組合起來，也可以表示和推斷因果關系。這一發現的意義遠遠超出了它在人工智能領域最初的存在意義。他的新書向一般大眾解釋了這種因果思維，可以說，這是一本關于人類如何思考的入門書。

珀爾采用原則性的、數學的方法研究因果關系，這是對思想界的巨大貢獻。幾乎每一個研究領域都從中受益，特別是數據密集型的健康學和社會科學。

作為一名前物理學家，我對控制論非常著迷。雖然它沒有把圖靈機的全部性能發揮出來，但它高度透明，這也許是因為它是建立在經典的控制理論和信息理論基礎之上的。現在，機器學習的深度學習模式已經失去了這種透明度。從根本上說，深度學習是一個曲線擬合問題，在一長串輸入輸出鏈的中間層調整權重。

我發現許多使用者會說“很好用，但我們也不知道原因”。深度學習有自己的動力學機制，一旦你喂給它大量的數據，它就活躍起來，還能自我修復，找出最優化組合，絕大多數時候都會給出正確的結果。可一旦結果錯了，你不會知道哪里出了問題，也不知道該如何修復。尤其是，你不知道問題是出在程序上還是方法上，抑或是因為環境發生了改變。我們應該致力于找到一種完全不同的透明度。

一些人認為，我們并不需要透明。我們不了解人類大腦的神經構造，它也運行得挺好，所以我們可以原諒自己的淺薄，最大限度地利用機器。同理，他們還認為，我們為什么不利用深度學習系統，建造一種不用了解它們工作原理的智能呢？在某種程度上，我認可這種觀點。我個人并不喜歡不透明，所以我不會浪費時間在深度學習上，但我也知道它在智能中占有一席之地。我知道，不透明的系統也能做出色的工作，我們的大腦就是這樣的奇跡。

但這種觀點有其局限性。我們可以原諒自己不了解人類大腦的運作原理，這是因為人類大腦的運作原理是一樣的，無須了解我們也可以與他人交流、向他人學習、給他人指導、用我們的語言鼓勵他人。但如果我們的機器人都像“阿爾法圍棋”（AlphaGo）一樣不透明，我們便無法與它們進行有意義的交流，這很不幸。無論何時，任務或操作環境有些許改變，我們都需要重新培訓它們。

所以，我沒有用這些不透明的學習機器做實驗，我在努力了解它們理論的局限性，想著怎樣去克服這種局限。我使用了因果推理方法，這種方法是科學家思考世界所使用的方法，有著豐富的直覺案例，可以在分析中監控進展情況。這樣，我發現確實存在一些基本障礙，除非攻克這些障礙，不然無論我們怎樣努力，都無法讓機器擁有人類一樣的智能。我相信，了解這些障礙和攻克這些障礙同樣重要。

當前的機器學習系統幾乎完全在統計模式或者說模型盲（model-blind）的模式下運行，這在許多方面類似于將函數擬合到大量點數據。這樣的系統不能推理“如果……會怎樣？”的問題，因此不能作為強人工智能的基礎，強人工智能是模擬人類推理和能力的人工智能。為了達到人類智能水平，學習機器需要現實藍圖的指導，這種藍圖是一個模型，類似于當我們在陌生城市開車時給我們指路的道路地圖。

更準確地說，當前的學習機器是通過優化從環境中接收到的感覺輸入流的參數來提高其性能。這是一個緩慢的過程，與達爾文進化論的自然選擇過程相似。它解釋了鷹和蛇等物種，如何在幾百萬年的進化過程中擁有超強視力的過程。但它無法解釋超級進化過程，這一過程使人類在短短的一千年內制造出眼鏡和望遠鏡。人類擁有而其他物種沒有的正是他們對環境的心理表征，他們可以隨意操縱這種心理表征，想象出假設環境來進行規劃和學習。

尤瓦爾·赫拉利（Yuval Noah Harari）和史蒂文·米森（Steven Mithen）等研究“智人”的歷史學家們一般認為，使人類祖先4萬年前能統治全球的決定性因素是：他們擁有創造和儲存自身環境的心理表征能力，他們能反復探究這種心理表征，通過想象扭曲它，最終可以回答“如果……會怎樣？”這樣的問題。比如他們會問一些介入性問題：“如果我這樣做了，會怎樣？”還會問一些回顧性或反事實性的問題：“如果我沒那樣做，會怎樣？”今天沒有一臺學習機器能回答得了這樣的問題。而且，大多數學習機器不具有這樣的表征，它們無法從這樣的問題中得到答案。

至于因果推理，我們發現對于任何形式的模型盲曲線擬合或者任何統計推斷，無論擬合過程有多復雜，你能做的都微乎其微。我們還發現了組織這些局限的理論框架，這些框架形成一個層級結構。

第一層是統計推理。統計推理能告訴你的，只是你看到的一件事如何改變你對另一件事的看法。例如，某癥狀能告訴你得了哪一種疾病。

然后，是第二層。第二層包含了第一層，但第一層卻不包含第二層。第二層處理的是行動。“如果我們抬高價格會怎樣？”“如果你讓我笑了，會怎樣？”第二層需要的是干預信息，這些信息是第一層所沒有的。這些信息可被編碼成概率圖模型，它僅僅告訴我們哪個變量對另一個變量有響應。

第三層是反事實的。這是科學家們使用的語言。“如果這個東西重兩倍，會怎樣？”“如果當初我沒有這樣做，會怎樣？”“治好了我頭疼的是阿司匹林還是剛剛打的盹？”反事實在感覺中屬于最高層次，即使我們能夠預測所有行動的結果，但卻無法得到反事實。它們需要一種額外的東西，以等式的形式告訴我們對于其他變量發生的變化，某個變量會如何反應。

因果推理研究的一個突出成就是對干預和反事實的算法化，也就是對層級結構最高兩層的算法化。換言之，一旦我們把科學知識編碼成模型（這個模型可以是定性的），那么就會存在檢查模型的算法，對于一個給定的查詢，無論該查詢是關于干預的還是反事實的，這種算法都可以根據可用的數據來估算是否有結果，以及如果是的話，如何得出結果。這一成就極大改變了科學家們做科學研究的方法，尤其是在社會學和流行病學等數據密集型科學中，因果模型已經成為第二語言。這些學科把它們的語言轉換看成是“因果革命”。正如哈佛社會科學家加里·金（Gary King）所說：“在過去幾十年里，人們對因果推理的了解，比先前有史以來學到的一切加起來都多。”

當我思考機器學習的成功并試圖把它推廣到未來的人工智能時，我問自己：“我們是否意識到了在因果推理領域中發現的基本局限性？我們準備繞過阻礙我們從一個層級升到另一個層級的理論障礙嗎？”

我認為機器學習是一種工具，使我們從研究數據走到研究概率。但是，從概率到實際理解，我們仍然需要多邁出兩步，非常大的兩步。一是預測行動的結果，二是反事實想象。除非我們邁出最后兩步，否則我們不能說了解了現實。

哲學家斯蒂芬·圖爾敏（Stephen Toulmin）在他充滿洞察力的著作《前瞻和理解》（Foresight and Understanding，1961）中提出，透明性與不透明性之間的對比是理解希臘與巴比倫科學之間古老競爭的關鍵。按照圖爾敏的說法，巴比倫天文學家是做出黑匣子預測的大師，在天文觀測的準確性和一致性方面遠遠超過了對手希臘。然而，科學卻偏愛希臘天文學家創造性的推測，這種推測大膽且充滿隱喻性的意象：充滿了火焰的圓管、天火透過小孔被視作星星以及半球狀的地球騎在龜甲上。正是這種大膽的建模策略，而不是巴比倫的外推，震驚了埃拉托色尼（Eratosthenes），使他做了一個當時世界上最具創造力的實驗，測算出了地球的周長。巴比倫的那些以數據為準則的科學家們永遠不會做這樣的實驗。

模型盲法把內在限制加在強人工智能執行的認知任務上。我覺得，達到人類水平的人工智能不會僅僅從模型盲學習機器中出現，它還需要數據和模型的共生協作。

數據科學只是一門有助于解釋數據的科學，而解釋數據是一個兩體問題，將數據與現實聯系起來。但無論數據有多“大”，人們操控數據多么熟練，數據本身并不是一門科學。不透明的學習系統可能會把我們帶到巴比倫，但絕不是雅典。