第3章 天算論(2)
- 超級智能
- (英)尼克·波斯特洛姆
- 3735字
- 2016-03-11 15:55:09
用我的話解釋,這是一個效能公式。效能就是效率(相對復雜性)的變化率,因此智能變化率就是智能效率(最優化力)的微分。智能的效能取決于效率(所謂的最優化力)與邊際成本變化(所謂的反抗度)的比率。
其中作者沒有直接點出的條件是,邊際成本是相對于復雜度而變化的(遞增或遞減)。越復雜,決策成本越低,就叫靈活(SMART,正的智慧);越復雜,決策成本越高,就叫遲鈍(負的智慧)。智能變化率相當于張瑞敏說的打移動靶,最優化力相當于他說的打固定靶。反抗度指的就是目標轉變時,要求槍口隨目標移動轉換所需付出的成本。
因此,智能變化率就是《周易》所說的那個“易”,也就是輕輕松松化解復雜性,表現為太極的“隨物宛轉,與心徘徊”。舉例來說,表現在中華民族,就是5000年來對復雜變化的適應(近期如快速適應世界貿易組織);表現在個人能力上,如打乒乓球的靈活。超級智能,就是把這個中國人人無師自通的東西變成電腦的能力。
據我考證,人類的第一篇“天算論”,是微積分(也就是變化率之學)的發明者萊布尼茨1703年發表于核心期刊《皇家科學院紀錄》上的《論中國伏羲二進位制級數》。萊布尼茨在論文中說:“讓我感到自豪的是,若我未發現二進位制數學,這個六十四卦的體系,即伏羲易圖,再耗費許多時間也不會被搞明白的。”
電腦的二進制就主要是從這里來的,只不過當年萊布尼茨送給康熙的二進制計算器(帕斯卡爾二代機)不是電的,而是手搖的。2004年中國還拿它到凡爾賽宮展覽過—它是超級智能在500年前的祖先。
人算控制天算
當人算不如天算時,以往人類典型的解決方案是像“霸王別姬”那樣抹脖子。
項羽認為是天要亡他,人算不如天算,趕緊讓腦袋像燈泡那樣掉下來就完了。
波斯特洛姆的方案比項羽的方案要積極一些,至少先別認輸,還要看看天算會有哪些規律,人算能有哪些辦法。這就是本書第五章以后的主要內容。
雖然不敢說作者的這些辦法從根上是否管用,但想總比不想好,況且有許多想法還確實開闊了我們的思路。讀過本書以后的第一感覺是,項羽算白死了。
讀者讀到這里時,應該把自己想象成被別人追到烏江了,正想抹脖子,轉念一想,辦法也許會有,并且“萬一實現了呢”?
作者首先討論了超級智能的形式和能量,以及具有決定性優勢的超級智能體有哪些戰略選擇。之后探討的重點轉向控制問題,并提出為了獲得可生存并且有利的結果,如何塑造初始條件的問題。最后指出為了增加成功概率,現在可以做些什么。我們分別進行介紹。
一、戰略分析與控制
1.決定性戰略優勢:分析形勢
提出正確問題,是解決問題的第一步。而第一個問題應該是什么?
作者建議這樣提出問題:將會有一個還是多個超級智能?是否會有一次智能爆發能夠推動某一個項目,使其遠遠超越其他所有項目,從而主宰未來?或者進展會比較一致,在廣闊的范圍里同時展開,包含很多個項目,但是沒有一個能夠長期擁有壓倒性的領先地位?
這話說得比較繞,讓我用大白話翻譯吧:項羽轉念一想,將來是劉邦一家獨大呢,還是劉邦與其他人(如韓信、臧荼、張耳、彭越……)相爭呢?
2.超級認知能力:分析霸主的戰略
第二步分析,假設出現了一個數字超級智能體,而且出于某種原因,它想要統治全球,那么它能夠成功嗎?作者進一步探討超級智能會擁有哪些能力,以及這些能力能用來做什么。
相當于如果判斷未來是劉邦一家獨大,就要進一步分析他會有哪些能力,用于何處。
3.超級智能的意愿:分析戰略目標與手段之間的關系第三步分析,超級智能可以擁有極大的根據自己的目標塑造未來的能力。但是,它的目標會是怎樣的?一個人工智能體的智能與動機之間是什么關系?
作者設想了兩種情況。一是目標導向(正交性論點),智能和最終目標是獨立變量,任何水平的智能都可以搭配任何最終目標。二是工具導向(工具性趨同論點),不管超級智能具有一系列最終目標中的哪種,都將選擇相似的中間目標,因為它們有這么做的共同工具性理由。通過這兩種論點,就可以思考一個超級智能體想要做什么的問題了。
相當于分析劉邦想要做什么,是目標導向的呢,還是手段導向的(為了手段而忘記目標型的)?
4.結局注定是厄運嗎?不同路徑具有不同后果作者發現:當人工智能本來愚蠢時,變聰明是更安全的;但是當它本來就聰明時,變得更聰明則是更危險的。就像有一個軸心點,到這個點上,原來很有效的策略會突然開始逆反。我們可以把這個現象叫作“背叛轉折”。
作者舉了個例子:假設人工智能的最終目標是“讓項目的贊助者高興”,于是它使在贊助者大腦的快樂中樞植入電極,這樣就能夠保證贊助者感受到極大快樂。當然,贊助者可能并不想被改造成整天咧著嘴笑的傻子,但是如果這樣能最大限度地實現人工智能的最終目標,那么人工智能也會去實施這個方案。
相當于如果劉邦太強大,無法被搞定,但如果他像洪秀全那樣沉溺于酒色,以為天下已經搞定,這時便仍有機會。
5.控制問題
作者認為,如果智能爆發的默認后果是導致存在性災難的發生,那么面對這樣的威脅,我們的思路必須立刻轉向尋求應對方法。有沒有辦法可以避免這樣的默認結局?有沒有可能設計出受控制的智能爆發?
作者將對策集中于委托–代理問題,并把方法分為兩大類:能力控制和動機選擇。
相當于是選擇把文章做在韓信等將軍身上以使其造反,還是把文章做在劉邦身上以使其喪志。
6.多極情景:諸侯割據
這是與上面第2點并列的分岔。相當于分析不是劉邦獨大,而是陷入諸侯割據的情況。
作者對這一情景的關注包含兩個層面。首先,社會融合可能會成為控制問題的一種解決方式。其次,即使沒有人著手去創造出多極條件來解決控制問題,多極結局也可能發生。那么,這種結局看起來可能是什么樣的呢?最終的競爭社會不一定會吸引人,也不一定能長久持續。
相當于項羽如果分析到劉邦集團會自亂陣腳,陷入內亂,那就沒必要著急抹脖子了—畢竟先三十年河東,再三十年河西。
二、獲取價值觀
《獲取價值觀》一章及以后的《確定選擇標準》各章是本書的精華,具有超越本書的普世的閱讀價值。
1.“目標系統工程”
作者的本意,是提出一種叫“目標系統工程”的東西,來避免出現天算超過人算后,電腦把自己當作目的,而讓人成為電腦的手段這種異化局面。為此,主張人要先發制人(準確地說是先發制“機”),把目標的控制權掌握在人手中。用作者的話說:“對能力的控制最多是一個暫時、輔助的手段。除非要永久地限制超級智能,否則我們都需要掌握動機選擇機制。”
我覺得最有意思的是“價值觀加載技術的總結”這張表(見本書第259頁)。
它對于治理各類目標與手段不符的問題都有借鑒意義。它至少讓我們知道,除了搞運動,人類還可以通過未來幾百年的建設來讓做事符合宗旨這件事,被專業化地完成。
作者關于“目標系統工程”的具體設想,如管理效用函數、價值評估等,并不重要。將來會有人對其不斷改進,使之成熟。這本書最大的貢獻在于提出了一個非常正點(“思無邪”)的問題:“怎樣才能將一些價值觀加載到人工代理內部,使該價值觀成為其追求的最終目標呢?”這是人類一萬年來的夢想,但從來沒有實現過。“目標系統工程”是關于魂的工程,離開了魂,夢便只不過停留在做夢階段。
正如作者指出的:“這個價值觀加載的問題很棘手,但一定要面對。”因為除了魂的原因,還有現實而緊迫的原因:“如果這個代理不是智能的,那么它就會缺乏理解和再現那些對人類有意義的價值觀的能力。但是如果我們推遲進程,直到代理變成超級智能之后才行動,就可以抑制住我們在其動機系統中插手的企圖。”人類對土地、資本都沒有把握好,導致死傷幾千萬甚至幾億人以后,才想到提出正確的問題。希望這次不會再犯同樣的錯誤。
2.意義建設
提出以“獲取價值觀”為核心的“目標系統工程”,還具有更大意義。
我一直認為,與農業文明、工業文明并列的,是意義文明。信息只不過是意義的鏡子。談信息不談意義,好比只有鏡子,空無內容。未來的互聯網是意義互聯網。意義就是這里說的“目標”(準確的說法是目的、宗旨),獲取價值觀則是指獲取對意義的把握權力(如果慎用“控制權力”這個字眼的話)。
工業文明有一個根本特點,它是一個異化社會(資本主義、社會主義只是程度不同),異化社會的特點是系統地為了手段而忘記目的(例如,為了國內生產總值而忘記幸福,為了貪污而忘記服務,為了浪費而忘記委托),這決定了工業社會整體來說,是把專業化的重點放在手段上,但必然的弱點是在目的上十分業余(表現在總是努力向東走,最后發現來到的是西邊)。
智能革命只是一種技術性的說法,映射到人文上應是意義革命,也就是讓意義從不專業走向專業的這樣一場革命。如果超越作者局限于自然科學的一般見識,順著“目標系統工程”這一卓越思想,就可以發現,作者所談的實際涉及的是信息文明的核心使命和實事(所謂“工程”)。
讀這本書,如果要有更大收獲,就要超越單純技術思維,從如何變一種類型的技術(異化的技術)為另一種類型的技術(可“獲取價值觀”的技術),舉一反三地悟到如何讓整個技術作為手段服務于人的目的。
人算在技術上可能將來有不如天算的一天,但人因為具有意義(再加上“清楚地知道如何制造超級智能機器”)而可以達到“人定”,于是順理成章可以“勝天”,或天人合一。
基于此,我說句題外話—超級智能,需要超級意義。
姜奇平
中國社會科學院信息化研究中心秘書長、《互聯網周刊》主編