第1章　自動化的入侵

自從機器人出現以來，我們不僅想知道它們能做什么，還想知道它們應該做什么。不過，這樣的爭論似乎有點偏學術性，因為在日常生活中，機器人不知不覺地就開始在我們身邊突然冒出來。我們似乎總是在追趕，而沒有足夠的時間來仔細思考技術以及技術在我們生活中的作用。有一天，自動駕駛汽車似乎就這樣出現在道路上。我們越過了技術的臨界點，自動駕駛突然變得觸手可及，因此，行業、政府和風險投資者紛紛追逐這一熱點，我們也被帶動著跟隨其后。機器人已經開始出現在商店里，它們在過道里上下滑動，尋找溢出物和其他安全隱患。在我們走訪的波士頓郊區的車站和商店里，顧客對這一切泰然自若，至少目前如此。但超市員工想知道，這些機器人的角色將以多快的速度擴張。

新技術的出現往往會讓人感到突然，甚至大呼神奇。這是因為我們大多數人都沒有意識到，多年來，使這些突破成為可能的往往是漸進式的、商業上無趣的技術創新。偶爾，新聞中的一個標題會預示一些新概念的發展，但這些發展很快就會消失在大多數人的生活中。可能需要幾十年的時間，相關機器人才能出現，才會把這些技術創新變成有市場的機器。

自動駕駛汽車預示著將會出現一批新的智能機器人，它們將在社會上得到應用。這標志著我們在日常生活中第一次有機會與自治系統分享決策權和控制權。梅賽德斯-奔馳早在20世紀80年代就開發出了第一批自動駕駛汽車，它們可以在沒有車輛的街道上以最高39英里每小時（約63千米每小時）的速度行駛1。然后，在20世紀90年代和21世紀初，美國政府資助了日益強大的用于軍事的自動地面車輛的開發，由國防部高級研究計劃局（Defense Advanced Research Projects Agency，DARPA）贊助的大挑戰項目更是使開發活動達到高潮2。在這些開創性的活動中，汽車的自動駕駛里程超過100英里（約161千米），包括在城市道路中。大約從2005年起，汽車行業開始認真投資，將自動駕駛汽車帶入現實。特斯拉在2015年首次提出商用自動駕駛儀技術3。在所有這些故事中，似乎只有特斯拉及其同類競爭對手能夠吸引公眾的注意力。

從最初的設想到商業上可行的產品，30年的時間框架似乎是一個明智的選擇。但是關于今天的自動駕駛汽車如何誕生的故事可以追溯到航空和工業領域中更早的歷史。航空先驅勞倫斯·斯佩里早在1912年就發明了陀螺儀自動駕駛儀4，以保持飛機平穩飛行，但后來又花了幾十年時間，在引入電傳技術后才實現了自動駕駛儀的全部潛在性能，使得飛行員可通過電子信號而不是直接通過機械耦合到執行器來管理飛機的操縱面。第一架沒有機械備用裝置的純電傳操縱飛機是1964年首飛的阿波羅登月著陸訓練車（Apollo Lunar Landing Training Vehicle，LLTV）5。F-16是第一架量產的電傳操縱飛機6。1982年引入了一個完全集成的飛行管理系統來控制飛行的所有階段，這是第一次允許機器在飛行過程中執行從起飛到著陸的全部動作序列7。因此，僅僅幾年之后我們就看到了第一輛自動駕駛汽車，這也就不足為奇了。

在機器人領域，一個領域的突破會激發另一個領域類似的創新。2014年，谷歌翼（Google Wing）完成了第一次真實世界的無人機交互，2015年特斯拉的自動駕駛儀開始上路8。概念、傳感器、計算機和軟件因為不同的應用而各自逐步改進并得以廣泛應用，最終匯聚在一起產生了看似突然的技術進步。當你在商店里看到一個機器人時，如果你感到驚訝，并且因為過道中間的小孩在追逐父母而擔心機器人不能夠安全地通過過道，想一想這里面的技術已經逐步細化了至少40年——這一事實可能會讓你得到一些安慰。我們是如何達到這樣一個階段的——可以極大地改善生活的工作機器人即將變得無處不在，并且對于我們來說太復雜了，以至于我們無法控制自己，從而導致我們以前所未有的方式依賴這些機器人？

為了更好地理解一項技術進步與下一項技術進步是如何相互聯系的，請把我們自己相關的系統作為智能生物來考慮，例如人類的感覺系統、遍布全身的神經網絡，以及包括脊髓和大腦的中樞神經系統。每個組成部分的存在本身是不可思議的，但放在一起時，它們是神奇的。任何復雜的系統都需要一個感覺系統，不管它是由機器控制還是由操作員控制。在飛機上，許多儀器包括航向、空速和高度傳感器。地面應用的感覺系統——如商店里的機器人或自動駕駛汽車——更側重于環境成像和識別障礙。其中可能包括攝像頭，它能像我們一樣觀察事物，并在光照和天氣條件的配合下表現最佳；也可能包括雷達和激光雷達，它們分別發射無線電和光信號，并根據反射和反射回來的信號探測距離。無線電波被具有導電性的材料（如金屬）反射得特別好，這使得無線電波在所有照明和天氣條件下都能很好地探測標準的基礎設施和物體（如車輛或機器人）。激光雷達用激光照亮一個場景，并測量反射光。它可以在白天和晚上可靠地、高精度地檢測物體，但在霧和大雨等惡劣的天氣條件下，它的性能就會下降。大多數機器人解決方案都使用多種類型的傳感器，并將數據融合到所有需要的場景中，就像我們的眼睛、耳朵、手、鼻子和嘴告訴我們關于世界的不同事情一樣。

在人類和其他動物中，中樞神經系統只有在有傳感器連接到中央決策節點時才有用。機器的中樞神經系統與之相似：線控飛行或線控駕駛技術很像人類的神經系統通過神經傳輸電子信號來控制身體。

最后，大腦接受感官輸入，形成對世界的理解，并根據這種理解做出決定，然后通過神經系統的其他組成部分實施行動。有些動物的大腦可能很簡單，就像第一臺Roomba一樣，它遵循一個基本規則：按螺旋模式清潔，直到撞到墻，然后沿著墻走。在另一些情況下，機器的大腦可能很復雜，比如我們在路上看到的自動駕駛汽車，它們在施工區域和交通堵塞中導航的能力越來越強。

我們首先關注的是航空自動化和工業應用，比如核電站的控制中心，事實證明這些工作任務對人類來說太難可靠地執行。今天，核電站的許多安全程序都是完全自動化的，不需要人工干預。這些系統太復雜，人們無法手動監控或控制，故障的后果也很嚴重。換句話說，自動化使我們能夠重新想象在自然能力達到極限后我們能夠做什么。

因為環境受到嚴格控制，并且可遵循詳細的任務程序，所以機器人在航空、發電廠和工廠設置等應用中表現突出。因此，機器人首先進入了那些很少有人能進入的工業世界，或者被安置在宇宙飛船里——這里進入的人更少。在這些孤立的世界里，工程師一步一步地開發機器人的傳感器、神經系統和大腦，然后對它們進行測試，從失敗中學習，并改進和強化這些新技術。今天，總的來說，復雜的工業應用都是由自動化控制的，只有很少的人工監督。

現在擺在我們面前的問題是如何最有效地利用機器人以使日常生活自動化。目前，汽車制造商、法律學者和工程師正就是否應該在駕駛的各個方面實現自動化，以及如何實現自動化展開激烈的辯論。是人車混合動力車最好，還是應該把人完全排除9？事實上，幾十年前，當我們設計第一艘月球著陸飛船時，以及當我們為航空運輸引入駕駛艙自動化時，我們已經不得不回答這類問題了。如圖3所示，歷史證明，看似很小的設計決策可能會產生幾十年的影響，我們將通過一些示例來展示。

阿波羅登月著陸訓練車是第一架電傳飛機，本質上是第一架有中樞神經系統的飛機。其他的進步帶來了阿波羅導航計算機，它是阿波羅指揮艙和阿波羅登月艙的“大腦”。登陸月球當然是一個復雜的問題，這是人類和機器都無法單獨完成的。技術上的爭論開始于計算機應該擁有多大的權力，宇航員應該擁有多大的權力。

圖3　跨機器人應用的關鍵變化的實現時間表，描述了跨領域的技術趨勢，并導致了工作機器人的出現這一階段轉變

在20世紀60年代一篇名為《人與儀器在宇宙飛船控制和導航系統中的作用》的開創性論文中，阿波羅導航計算機的設計者思考了這個問題10。他們討論了在危機時刻或必須做出關鍵時間決定的時候應該在多大程度上信任計算機。工程師根據如何做出決策描述了三種類型的事件，第一類事件涉及具有預定響應的可預見條件，例如以預定速度自動切斷火箭級。工程師說，這些情況很容易實現自動化。對于第二類事件涉及的可預見情況，“由于一般情況的復雜性，行動無法事先規劃好，例如降落在月球上的任意地點”。工程師得出結論：第二類事件還不足以完全自動化，但人類的表現可以“通過對性能指標的反饋和僅顯示相關信息來提高”。最后，還有第三類事件，即那些設計師或飛行員無法預料的事件。工程師認為，人類“在全新的情況下根據不完整的數據做出決策”的能力遠遠超過自動化系統。

除了技術的進步——特別是機器學習——已經改變了我們所認為的“一般情況的復雜性”或“一個全新的情況”外，所有這些在今天仍然適用。過去，我們不得不手工為各種情況下的自動化制定決策規則，而如今，機器可以利用數據或演示來學習人類決策標準的近似值——在手工制定的情況下，得到這些值可能過于復雜或耗時。然而，當意外發生時，自動化往往無法實現。2009年，全美航空公司1549航班途徑加拿大，飛行員在飛機撞上一群大雁并失去引擎動力后，成功地在紐約哈德遜河上迫降，機上所有人都幸免于難，這一事件在后來被稱為“哈德遜河上的奇跡”。商業客機的飛行幾乎可以完全實現自動化，但一架自動客機能做到這一點嗎？用今天的技術也許不太可能。今天沒有任何人工系統能夠復制人類創造性解決問題的能力。

即使是在自動化盛行的成熟行業，比如航空業，我們仍然在爭論駕駛艙自動化應該控制什么，以及飛行員最終應該控制什么。當你登上一架飛機時，你可能不會多想它是空客還是波音。但幾十年前，這兩家公司選擇了截然不同的道路，代表著飛行員和智能自動化應如何合作的不同理念。當自動化系統第一次被引入時，如果你乘坐的是一架空客飛機，那么飛機的系統會控制飛行員，但波音的情況恰恰相反。總的來說，自動化可以控制空客的飛行員，飛行員可以控制波音的自動化。這些方法源于機器人系統設計中的一個基本決定，這個決定涉及硬自動化和軟自動化11。硬自動化對人為錯誤有更多的保護，本質上是限制用戶做一些會把車輛置于危險的事情。軟自動化仍然使用安全約束，但它認為自動化是一種幫助：當用戶將要做一些可能危險的事情時，它提供警報，但允許用戶繼續操作，并在他們選擇這樣做時解除警報。后者允許更多的創造性的解決方案。換句話說，使用軟自動化時，用戶總是能夠使用車輛的全部功能；而使用硬自動化時，在某些情況下，用戶無法使用這些功能。

當然，每種類型的自動化各有利弊。例如，1985年，臺灣中華航空公司的一架波音747在四萬一千英尺（約十二千米）巡航時發生了引擎故障。它開始了無法控制的俯沖，并驟降了三萬多英尺（約九千米）。在軟自動化系統的幫助下，飛行員恢復了控制，乘客也幾乎沒有受傷。分析表明，硬自動化保護系統會禁止飛行員的輸入，而正是這種輸入使得飛行員成功地重新控制飛機。另一方面，可以這樣說，空客飛行控制系統用它強有力的自動化保護來避免飛機進入不受控制的俯沖，因為它可以阻止飛行員使系統進入不穩定狀態的行動。總的來說，保持人類飛行員創造性的判斷、決策和行動的能力似乎是制勝的策略。一項對1988年至2002年間與自動化相關的9起重大事故的分析發現，空客涉及人-自動化協調故障的事故數量是波音的兩倍12。

這兩種模式在日常生活中都面臨著挑戰。我們生活的世界充滿了第二類和第三類事件，這些事件遠遠超出了現代機器學習和人工智能系統的管理能力。我們應如何設計這些系統，才能自然地將它們融入不可預知的世界？一個笨拙的機器人可能比沒有機器人還要糟糕：往好了說，它可能會成為一個累贅，往壞了說，它可能會產生新的意想不到的安全風險。

自動化的歷史跟隨著技術史發展而來。自古以來，人們就一直在發明能夠不間斷地擴展自身能力的工具。例如，在準備飯菜時，我們首先用火做飯，然后用抹布或其他擦洗品幫助清理。后來這些工具變得更加復雜，變成了家用電器，從而使洗碗之類的工作變得更加輕松，或者大大減少了花在做飯上的時間和精力。在某些方面，采購、儲存、準備和食用食物的過程變得更容易了；在其他方面，工具變得更加復雜。隨著自動化技術和消費類機器人技術的發展，這些任務將變得既簡單又復雜。我們面臨的挑戰是，構建的系統不僅要安全、方便，而且要強大、可靠。

在某種意義上，家用機器人總的來說是花哨的電器，因為它們仍然需要我們的關注。例如，機器割草機可以完成手動割草機的工作，但我們仍然需要把它們移到合適的地方，在院子周圍設個柵欄，當它們卡住時把它們放出來，清潔它們，等等。這種類型的機器人將成為早期成功的機器人消費產品之一是有道理的，因為它執行的是范圍狹窄且定義明確的任務（也稱為第一類任務）。這些新的割草機與工業機器人系統相似，因為它們是為特定的任務和環境編程的。即使是很小的改變也需要人類付出巨大的努力來重新配置這項技術，因為它的程序中包含極其詳細和精確的命令，只需簡單執行即可，沒有自主決策。如今，人們用具體的指令來增強工業機器人的能力。

相比之下，新型機器人將我們運送到城市各處，將食物送到家中，并保護社區安全，這些都是全新的技術。在復雜的人類世界里，這些工作機器人實現了前所未有的自主性操作。航空和太空計劃是第一批努力擺脫工業系統模式的技術，其中自動化必須與人類能力模型共同設計，以應對第二類和第三類情況。

好消息是，我們擁有應對這一挑戰所需的所有工具。我們已經分別為機器人的感覺系統、神經系統和大腦開發了技術，并且能夠在新的應用中將這些技術正確地結合在一起。同樣，在過去的幾十年里，我們開發并擁有了一套豐富的工具，可以使機器人的能力適應人類的限制，使用起來就像做拼圖游戲一樣。我們將能夠利用不可思議的學習能力去應對未來機器人的挑戰，為工作機器人進行必要的調整，以增強人類的能力并改善世界。這些解決方案已經跨越了航空航天工程、人類系統工程和認知科學等領域。

做好這件事并不容易。你甚至可以稱之為火箭科學。但正如我們在阿波羅導航計算機上看到的，設計機器人和人之間的合作關系將是自動化在這些應用中取得成功的基礎。我們的登月計劃是成功的，因為設計的關注點遠遠超越了底層技術，還包括為了設計系統而做的對人類心理與決策的分析和理解，這些使人與機器人能夠在正確的時間以正確的方式進行無縫協作13。

圖4中的這幅漫畫是20世紀60年代的作品，它抓住了當時的思想。美國國家航空航天局需要在自動化和手動控制之間找到合適的平衡。設計者不想讓宇航員在降落月球期間承擔太多的任務，因為他們可能無法跟上進度，不能充分發揮。但他們也不想讓一切都自動化，以免宇航員脫離工作，在需要干預時無法進行干預。

圖4　這幅來自麻省理工學院儀器實驗室的漫畫展示了自動化的極端影響。甚至在設計阿波羅登月艙的過程中，工程師也在考慮有多少工作需要自動化，有多少控制需要留給宇航員。如果自動化程度太高，他們擔心宇航員會感到無聊，在需要時無法進行干預；但如果自動化程度不夠，讓宇航員手動控制太多事情，他們擔心宇航員會不知所措。來源：美國國家航空航天局

我們在工作機器人上也遇到了類似的難題。在第2章和第3章中，我們將討論航空航天和工業應用中的來之不易的經驗教訓，這些經驗使人們對像《杰森一家》（the Jetsons）中的Rosie那樣獨立完成一切工作的機器人的愿景產生了懷疑。這種理想的機器人實際上是不可能實現的，甚至是不可取的。機器人沒有和人類一樣的能力，他們也不像我們一樣思考。這是一種優勢，但要了解如何讓機器人適應人類，我們首先需要了解人類自身的局限性和優勢——包括我們不恰當地信任他人的傾向。用戶-機器人伙伴關系必須從一開始就考慮到這一點，以確保這些新的社會實體是有效和負責任的。Rosie會翻薄餅并不意味著你應該讓它一個人做感恩節晚餐。

讓事情變得更復雜的是，工作機器人的工作環境比駕駛艙或工廠里的環境呈指數級的復雜。公共場所很復雜，而且經常變化，比如修建了新的道路，關閉了人行道，改變了店面。更重要的是，許多人會接觸到一個不知道它在做什么或會干擾到自己的機器人。我們每天都會適應在街上或商店里遇到不認識的人，但這種任務對機器人來說非常具有挑戰性。在第4章中，我們將討論如何使機器人具有最基本的旁觀者意識，并在移動時適應這種狀況。

當然，設計月球著陸器與設計消費品是完全不同的。后者的設計過程中將會有非專業的用戶參與，而不是訓練有素的宇航員，而且必須有一個積極的商業模式。事實上，正如我們將在第5章中看到的，當今的商業世界還不能很好地引導機器人走向社會。公司設計產品的方式以及消費者想要從它們那里得到什么，與自主的社會系統的設計方式是不一致的。工作機器人通常能夠執行特定的任務，很少或不會與人互動，而消費品的設計本質上是為了取悅和娛樂用戶。此外，我們很少或根本沒有關注產品設計如何影響用戶有效執行其他任務的能力。Facebook在乎對你的工作效率的影響嗎？像社交媒體平臺這樣的消費品的設計初衷就是為了好玩，但這往往是以犧牲生產效率、透明度和活力為代價的。它們能夠承擔這種取舍，因為我們與它們互動的風險相當低。如果Twitter癱瘓，沒人會受傷。相比之下，工作機器人則是讓我們把那些自己不想做或無法安全地完成而又必須完成的任務交給它們。如果這些機器人不能很好地工作，或者在錯誤的時間分散我們的注意力，則可能產生重大后果。設計模型必須改變為專注于確保機器人任務成功執行的最好的方法。

事實上，研究表明，用戶的偏好往往與最佳性能甚至是安全操作的設計直接沖突。用戶往往喜歡那些對手頭的任務沒有多大幫助的系統，換句話說，取悅用戶的特性通常不是為了獲得最佳性能結果而優化的14。對于工作機器人，這意味它可能在用戶不希望被打擾時需要用戶的干預，而在用戶想干預它的活動時，它卻不需要。簡單地說，取悅用戶的工作機器人實際上可能表現得并不好。這一點現在比過去更加重要，因為與過去的任何消費產品相比，工作機器人的風險更高。機器人是功能強大的機器，但如果做不到有效的安全和管理，它們也會對社會構成風險。

我們的世界是復雜而動態的，而我們與生俱來的創造力和判斷力，即使是最先進的機器人也難以企及。機器人的大腦仍然很簡單，它們完全按照指令、程序或訓練的方式行事。我們成功地將工作機器人融入日常生活的唯一機會是接受這一事實，重新規劃消費產品設計理念，專注于在機器人和人之間建立正確的合作關系。

要想成功實現工作機器人，就需要一種新的語言和方法來讓它們與人類彼此交流。在第6章中，我們將概述自動化功能的必要性，這樣當你與一個工作機器人接觸時，就知道該做什么或說什么來影響這個機器人，而不需要特殊的培訓或專業知識。這些自動化功能必須足夠清晰，以便用戶能夠快速理解如何以及何時采取行動，因為機器人可能會造成只有人類才能避免的安全風險。在第7章中，我們將描述機器人之間的溝通需求，以解決直接沖突、協調活動、分享關于世界的知識，這可能會讓所有機器人都有更好的機會獲得成功，類似于我們今天使用的眾包地圖產品。這些地圖產品幫助我們在城市中導航，避免交通堵塞，但它們對機器人更重要，因為機器人的感覺系統更弱，在應對突發事件時不像人類那么靈活。

使用新型工作機器人的用戶不僅不是專家，而且他們所處的環境也很混亂。如果我們想讓機器人承擔像送披薩這樣的任務，就不能只是簡單地給它們留出空間。在第8章中，我們將討論工作機器人在日常生活中的環境設計，從機器人的角度來看，這是不受控制和不一致的。想想在城市街道上保持在車道線以內的簡單問題。施工項目、天氣和正常的路面磨損都有可能破壞清晰的車道標識，人們非常善于適應這些變化，并且當依賴的結構退化時，他們會格外警惕。但機器人還不能駕馭這種模棱兩可的情況，即使是物理環境的微小變化也會讓機器人迷失方向——這使得安全機器人的設計在規模上非常具有挑戰性，甚至是不可能完成的。如果我們不能依靠一致的車道線，那么機器人設計師就必須想出一種不同的方法來決定如何停留在車道內。為了解決這個問題，自動駕駛社區開發了非常精確的地圖，以厘米為單位為行駛的每條道路繪制地圖，然后結合非常精確的定位解決方案，能夠非常準確地知道機器人在地圖上的位置。這種方法需要高端傳感器。所有這些都是昂貴的，即使這樣，一些漏洞仍然存在。即使是最精致的機器也無法解決這個問題——相反，這需要借助經濟和政治手段來改變私人和公共基礎設施。

如果我們能夠接受這一現實，并開始以一種新的方式設計工作機器人，那么我們就有機會用新型動態設備來改善日常生活。這些新設備將離開我們的工作臺，走出我們的家門，開始幫助我們完成各種任務，在這個過程中，它們將獲取和使用以前不可能獲取的數據。

隨著工作機器人規模的擴大，這些數據將變得更廣泛，我們將有機會收集和分享這些數據，以提高不同公司的機器人的表現。在第9章中，我們將描述這種數據共享如何在航空領域發揮作用，以及如何將航空經驗應用到機器人領域。例如，在航空領域有一個事故數據庫，它匿名地收集航空公司、客機和飛行員的未遂事故和事故數據。這個數據庫為空中自動化的安全和漏洞方面提供了大量知識基礎。對于工作機器人來說，數據收集和共享甚至更為重要，因為它們是基于大量數據開發和訓練的。雖然企業可能更愿意通過囤積數據來保持競爭優勢，但如果我們能夠打開這些寶藏，讓每個人都可以使用，社會將獲益更多。

我們希望這本書能幫助整個社會重新思考如何設計工作機器人，讓它們成為有責任感的社會實體，這樣我們就能對世界做出調整以適應這些新實體。工作機器人有獨特的需求，這也給我們提出了新的挑戰。我們推薦的一些解決方案可以開啟關于技術和社會之間關鍵交叉點的對話，這樣我們就能認識到工作機器人會在未來的日常生活中幫助我們。現在是我們利用開發的有效工具完成下一次飛躍的時候了。如果我們選擇接受這個任務，我們將為工作機器人做好準備。