大多數(shù)事故不都是人為錯誤造成的嗎？

當災難性事故在高度自動化的系統(tǒng)中發(fā)生時，用戶通常是罪魁禍首。“人為錯誤”被宣布為事故的起因，并宣稱設計缺陷已在最大程度上被減少了。當然，法航447航班的飛行員應該知道自動駕駛儀已經(jīng)失效，并應該能夠迅速采取適當?shù)男袆樱吘梗庖呀?jīng)從綠色變成了琥珀色！人為錯誤不僅是航空事故的起因，還導致了許多其他狀況（圖8）。據(jù)估計，高達90%的機動車事故至少部分是由人為因素造成的4。迄今為止，在大多數(shù)自動駕駛汽車中，人類測試駕駛員都被發(fā)現(xiàn)犯了錯誤，因為他們的反應不夠迅速。但是，當遇到系統(tǒng)開發(fā)人員沒有預見到的復雜、意外的情況時，這個人真的有錯嗎？

圖8　飛行員的錯誤通常被認為是航空事故的主要原因。來源：“Statistics:Causes of Fatal Accidents by Decade,”Plane Crash Info,http://planecrashinfo.com/cause.htm

“人為錯誤”提供了一個方便自動化系統(tǒng)制造商的解釋。但當你深入挖掘事故調(diào)查結(jié)果表面之下的原因時，就會發(fā)現(xiàn)更復雜的情況。最常見的情況是，真正的原因是人與自動化交互中的故障。有時，這樣的錯誤只是反映了不斷成長的痛苦：當引入涉及人與自動化交互的新系統(tǒng)時，人們必須學習新規(guī)則并獲得有關(guān)其新角色的經(jīng)驗。但同樣經(jīng)常發(fā)生的是，系統(tǒng)故障也反映了系統(tǒng)設計不善的事實。在AF447航班上，事故調(diào)查小組發(fā)現(xiàn)，飛行員長期使用自動飛行控制系統(tǒng)的標準做法，削弱了他們在自動系統(tǒng)突然意外關(guān)閉時迅速了解情況的能力。他們已經(jīng)變得習慣于讓飛機自行運轉(zhuǎn)，他們處理系統(tǒng)故障和突變的能力也下降了。對飛行員的心理檢查證明，因為更多地依靠駕駛艙自動化，使得他們無法及時調(diào)整方向以應對故障5。

人們可能會問，這種“認知控制”的喪失是否真的是飛行員的錯。從某種意義上說，這可能是使用“太完美”的機器人的后果嗎？如果一臺機器運行得很好，以致操作人員忘記了在出現(xiàn)問題時如何干預，會發(fā)生什么呢？

這種可能性給我們帶來了一個難題。顯然，我們想要設計出最棒的機器人，并且讓它們能接替人類操作員完成任務。但這意味著，按照設計，人類操作員不會花太多時間操作相關(guān)系統(tǒng)或與自動化系統(tǒng)交互——操作員只有在被要求處理罕見的故障事件時才會介入。具有諷刺意味的是，操作員只有在高壓力的情況下才需要介入，而在高壓力的情況下，幾乎沒有人為錯誤的空間，但此時人們往往最有可能犯錯誤6。這個問題是自動化過程固有的。一個早期的警世故事來自我們在第二次世界大戰(zhàn)中的經(jīng)歷。當設計師改進了噴火式飛機的座艙時，在訓練中一切似乎都很好。但在混戰(zhàn)的壓力條件下，飛行員會意外地將自己彈射出駕駛艙。問題的根源在于，設計師切換了扳機和彈射控制，而飛行員在壓力下恢復了以前的本能反應。

這是人類的天性，在緊張的情況下，我們對情況的感知范圍會縮小，我們主動采取行動的能力會減弱，我們的行動會偏離通常的軌道。與此同時，你正在使用的機器也在嘗試響應它不習慣處理的事件。就像你第一次坐上一輛租來的車，卻遲到了。你發(fā)動過汽車，調(diào)整過座椅，甚至開過很多次車——但絕不是在這輛車里。而且因為控制方式略有不同，你掙扎著調(diào)整方向，駛出停車場，進入不熟悉的街道，這一切只會增加你的壓力。對于自主系統(tǒng)，問題非常相似。系統(tǒng)總體上是一樣的，但細節(jié)發(fā)生了變化。這將使操作者處于最糟糕的境地，無法快速做出決定并采取精確的行動。

自動化經(jīng)常隱藏系統(tǒng)的行為，這一事實使問題更加復雜。這樣做是有意的，可以使與復雜機器的交互變得更簡單、更易于管理。但是，正如我們在AF447事故中所看到的，它讓用戶努力弄清楚機器正在嘗試做什么，判斷在這種情況下這是否是正確的，以及通過什么命令才能使系統(tǒng)進入安全狀態(tài)。以租車為例，你可以調(diào)整座椅和后視鏡，找到大燈和雨刷的開關(guān)，然后就上路了。但在自動控制中，顯示器上的信息很少，任何一種模式的工作方式可能都沒有相應的物理表示。你必須經(jīng)過訓練或者通過使用來學習。雖然用戶對自動化模式和行為的理解會隨著使用次數(shù)的增加而提高，但系統(tǒng)在危機期間進入的模式是用戶很少經(jīng)歷到的，因此在發(fā)生危機事件時，用戶面對的是一個陌生的模式。

這不僅僅是飛行員面臨的問題。例如，現(xiàn)在我們大多數(shù)人都在使用GPS，這可能導致我們失去導航能力。我們傾聽GPS系統(tǒng)平靜的聲音，在犯錯時，它會耐心地幫我們回到正軌，然后我們就會到達要去的地方——但我們中的許多人不再有能力在腦海中繪出從這里到那里的路線。這沒有什么問題，直到我們進入意外情況，需要更深入地理解復雜情況，如道路封閉。我們會很快笨拙地使用GPS來改變路線，或者找到其他能讓我們回到預定路線的道路7。

通過對航空事故的研究，我們了解到，由于自動化功能運行良好，我們開始依賴它——但我們有時會過度依賴它，而有時又不夠信任它8。在實驗室中，許多人在自動化系統(tǒng)失敗后仍然繼續(xù)使用它，因為他們盲目地依賴它9。即使意識到了這些風險，我們?nèi)匀豢赡軙プ⒁饬Γy以注意到系統(tǒng)可能正在接近失敗狀態(tài)的細微暗示。由于自動化故障很少發(fā)生，人們很少及時發(fā)現(xiàn)，這種現(xiàn)象被稱為警惕性降低，在許多罕見的事件檢測任務中都可以看到。因為隨著時間的推移，沒有重要事件發(fā)生，人們就會在任務中失去注意力10。不管用戶對系統(tǒng)有多熟悉，警惕性降低都會持續(xù)存在。

當我們與一個更像同類或擬人化的機器人系統(tǒng)互動時，不適當依賴的問題會更加嚴重。在佐治亞理工學院最近的一項研究中，研究人員測試了一種旨在引導人們安全逃出失火大樓的機器人11。人們似乎盲目地跟著機器人走，即使機器人明顯出了故障，或者把他們帶進了壁櫥里的死胡同。這一問題因我們長期追求機器人的模樣和行為更像人類而加劇。通過許多研究，我們發(fā)現(xiàn)系統(tǒng)越是擬人化，人類就越有可能不恰當?shù)匾蕾囁慕ㄗh、勸告或行動。換句話說，為了自己的利益，人們過于信任機器人。我們需要一些方法來調(diào)整這些新系統(tǒng)的設計，以預防這些問題，而不是像我們在航空領(lǐng)域所做的那樣等待從錯誤中吸取教訓。

飛行員被要求在他們的認知能力范圍內(nèi)不斷執(zhí)行相關(guān)操作。他們持續(xù)監(jiān)控復雜的飛機，并必須準備好在出現(xiàn)故障時采取可靠和迅速的行動。如果他們眨眼，或者他們的注意力在錯誤的時刻被分散，結(jié)果可能是災難性的。因此，在設計飛機時，仔細研究人類認知和信息處理的優(yōu)勢和局限性，并在設計中仔細考慮它們是有意義的。

但你可能不是一個管理先進自動駕駛系統(tǒng)的精英飛行員。這跟你有什么關(guān)系呢？

如果你已經(jīng)為人父母，或者曾經(jīng)長時間照看過蹣跚學步的孩子，你基本上就是在做現(xiàn)代航空公司飛行員的工作。因為風險同樣高——這關(guān)系到孩子的安全和健康。面對一個兩歲的孩子，你必須時刻盯著他。你一轉(zhuǎn)過頭，他可能就會徑直走向書架，開始往上爬。你有沒有想過為什么照看一個蹣跚學步的孩子會讓人精神疲憊？這是一項需要時刻保持警惕的長期監(jiān)控任務，而且人們不可能長時間集中精力完成如此高強度的監(jiān)測任務。

這就是為什么我們要盡量減少對安全至關(guān)重要的工作的長期監(jiān)控。例如，在一場手術(shù)中，外科助理護士的輪班時間比外科醫(yī)生要短得多，盡管外科醫(yī)生可能要工作12個小時或更長時間，但外科助理護士在手術(shù)期間的休息時間卻超過兩個小時。這是因為外科助理護士主要負責監(jiān)控外科醫(yī)生——在正確的時間提供正確的手術(shù)器械，時刻關(guān)注器械和紗布，以確保沒有任何東西留在病人體內(nèi)。護士無法長時間無誤地完成這種監(jiān)控任務。運輸安全管理局的工作人員在機場檢查行李時也經(jīng)常出于同樣的原因而輪換。空中交通管制員在對飛越我們領(lǐng)空的飛機進行30分鐘或一個小時的監(jiān)控和指揮后，就會休息很長時間。

不幸的是，為人父母沒有輪換或長時間休息的機會！事故是導致兒童死亡和殘疾的主要原因，每年有2300萬15歲以下的兒童因溺水、中毒、被小玩具嗆到、被狗咬傷、在操場上受傷、因接觸家庭安全隱患而受傷、跌倒等原因而死于急診室12。這并不是由于監(jiān)管疏忽——大多數(shù)事故都發(fā)生在看護人本該照看孩子的時候13。只是我們不是機器，我們的注意力有時會消失。事實上，我們重視機器人的原因之一是它們的注意力廣度本質(zhì)上是無限的！父母偶爾也要完成一些日常生活中的其他活動，比如走一會兒去接個電話、做頓飯或清空洗碗機。我們必須不斷地思考和決定：如果我離開，我的孩子還會繼續(xù)做現(xiàn)在正在做的事情嗎？我能等多久才能回來確認他的安全？我們離開的時間越長，我們的情境感知能力下降得就越多。

情境感知（Situational Awareness，SA）是一個理論結(jié)構(gòu)，幫助我們理解人們?nèi)绾翁幚硇畔ⅰ⒗斫鈴碗s的系統(tǒng)和情境，并發(fā)展決策能力14。幾十年來，我們一直在研究與自動化系統(tǒng)的互動是如何影響情境感知的。這項研究有助于我們更好地理解人類的典型處理能力和局限性。此外，該研究結(jié)果為改進人機交互系統(tǒng)的設計提供了基礎。另一項獨立且互補的研究關(guān)注人們?nèi)绾卧谟邢藁虿淮_定的信息下做出快速決策15。人們傾向于在決策中運用啟發(fā)式方法或捷徑法，這導致了可預測的判斷偏差16。由于這些偏差導致的糟糕的決策已經(jīng)被記錄在包括經(jīng)濟學、市場營銷、體育、消防以及航空在內(nèi)的許多應用中。人類情境感知中的典型弱點，以及決策中的啟發(fā)式和偏見，代表普通人的瑞士奶酪模型中一些最大、最常見的漏洞。理解這些問題將是設計優(yōu)秀機器人伙伴的關(guān)鍵。

研究表明，當父母監(jiān)督他們的孩子時，會不斷地進行復雜的心理計算，判斷哪種干預措施似乎是合適的17。他們的決定將取決于孩子的性格、當前的活動、孩子的年齡或發(fā)育情況、孩子的性別（有一種感覺，男孩比女孩更難預測，而且獨處的時間更短），還有許多其他因素。不同的照顧者有不同的養(yǎng)育能力和監(jiān)督風格。有些父母被稱為“直升機父母”，他們總是監(jiān)視孩子的一舉一動，不讓孩子把自己置于兩難的境地。還有一些家長則采用了放任式的教育方式，他們認為，孩子通過自己摸索出解決問題的方法，能學到更多東西。教養(yǎng)方式和能力最終會影響孩子的安全和幸福。簡單地說，有些人天生就比其他人更善于監(jiān)督孩子，有些人則比其他人更努力。在職場中也是如此。兩名醫(yī)生可能都非常喜歡手術(shù)室，但其中更擅長監(jiān)測任務的可能會傾向于成為麻醉師，而另一個不太適合監(jiān)測任務的可能會傾向于扮演更積極的外科醫(yī)生角色。同樣，為人父母給了我們這樣的選擇。

工作量和疲勞程度也會影響我們有效監(jiān)督孩子的能力。單親父母有很多事情要做，他們不得不在很少的幫助下完成監(jiān)督孩子的任務18。數(shù)據(jù)表明，如果兒童只有一個照顧者，或在有多個兄弟姐妹的家庭中生活，其受傷的風險就會大大增加。這一發(fā)現(xiàn)是有道理的，因為這些情況會降低照顧者密切關(guān)注孩子活動的認知能力。與高度自動化系統(tǒng)交互的人也是如此：人們越是超載或疲勞，就越有可能錯過關(guān)鍵信息或犯錯誤。

但對家長來說，有好消息也有壞消息。好消息是，許多公司正在開發(fā)和部署家用機器人，幫助父母照看孩子19。目前，這些機器人被用作遠程監(jiān)控設備，它們可以跟著孩子在房間里四處走動，用攝像頭拍下孩子的行為；父母做飯時可以隨時掃一眼遠程視頻，或是聽著音頻，聽著孩子們玩耍。我們的愿景是，這些系統(tǒng)將很快變得更加智能。它們會跟蹤孩子的身體動作和眼神，如果孩子開始爬上家具，或者好奇地盯著電源插座，它們可能會提醒父母。換句話說，你可以與機器人分享育兒的監(jiān)控任務，它可以幫助你決定你可以離開多久，什么時候回來檢查。

問題解決了嗎？沒有那么快。

駕駛艙內(nèi)的自動化是否消除了飛行員的錯誤？是的，有些是這樣，但正如飛機自動化帶來了新的復雜性和新問題一樣，保姆機器人的引入也將帶來新的問題。作為家長，我們的任務將從監(jiān)控孩子轉(zhuǎn)移到監(jiān)控機器人監(jiān)控孩子的能力。你已經(jīng)花了多年的時間來了解自己的孩子，建立起關(guān)于他會如何表現(xiàn)的心理模型，并知道你可以把目光移開多久。現(xiàn)在，你還必須了解機器人是如何運作的，它能做什么，可能錯過什么。你需要追蹤機器人可能有的多種“模式”，比如在家里和在操場上的安全模式。現(xiàn)在你需要擔心并檢查機器人是否處于正確的模式。而且，也許最重要的是，如果你過于依賴保姆機器人，你可能不會注意到什么時候出了問題，從而無法及時干預。只有當父母真正了解機器人的優(yōu)缺點時，這個系統(tǒng)才會起作用，這樣父母才敢在合適的時候依賴它，而在其他時候使用自己的判斷。

做好這一點并不容易，但同樣，設計這樣的系統(tǒng)不需要我們重起爐灶。人類與機器人之間的協(xié)作可以從工業(yè)系統(tǒng)設計者已經(jīng)面臨的類似挑戰(zhàn)中找到指導。我們可以從人類認知科學中汲取經(jīng)驗，這一科學幫助航空旅行成為最安全的交通方式之一。我們來看看人類情境感知理論，這一理論研究工作量、疲勞和固有人為偏見如何影響人的表現(xiàn)，以及科技如何使我們做出正確決策的能力變得復雜。

我們知道，在將新技術(shù)引入飛機時，事故會激增。當使用復雜的技術(shù)時，我們已經(jīng)完善了人類決策的理論，就像完善了機器人技術(shù)一樣。讓我們再次確保，從一個領(lǐng)域獲得的經(jīng)驗教訓和見解被轉(zhuǎn)移到其他領(lǐng)域。當我們引進更有能力的家用機器人時，我們能從過去的慘痛教訓中得到啟示，從而防止事故的發(fā)生嗎？不能僅僅因為我們不能將從工業(yè)應用中學到的知識轉(zhuǎn)移到消費產(chǎn)品上，就讓兒童受傷的人數(shù)每年超過2300萬。

情境感知研究人員研究我們?nèi)绾伪３謱χ車澜邕@一系統(tǒng)的心理表征。他們對我們與所有類型系統(tǒng)的交互感興趣，他們的工作在設計復雜系統(tǒng)時特別有用。它使我們能夠預測人類的行為可能如何影響給定的情況，并為有效的決策提供基礎。發(fā)展和保持情境感知包括三個階段：感知、理解和預測。感知包括處理周圍世界元素的感官信息；理解包括綜合這些新的輸入，并將它們與你的目標、期望和當前模型進行比較；而預測就是利用這些信息來預測未來的狀態(tài)和結(jié)果20。

當一臺自動機器把任務的控制權(quán)交給它的人類伙伴時——無論出于何種原因，這些人類伙伴必須保持注意力，并保持足夠的情境感知能力。

讓我們回到開車的例子上（這次只是開一輛普通的車，不是自動駕駛的）。開車的時候，你會在同一時間收到各種各樣的視覺輸入：汽車的儀表盤告訴你車速有多快；你必須注意道路，注意前方的路況，或者注意與岔道的交叉；你要注意地標、天氣；等等。還有聲音輸入：可能是車里的其他人在聊天，引擎的嗡嗡聲，其他汽車的鳴笛聲，GPS給你的指示，或者Spotify的播放列表。還有觸覺輸入：比如汽車的震動，腳踩油門踏板的壓力，以及加速或減速時的加速度變化。你會下意識地將這些信息融合在一起，從而明白什么時候需要減速，什么時候轉(zhuǎn)彎，或者什么時候接近目的地。你本能地知道，在交通信號發(fā)出前踩下剎車踏板，及時減速，而不用發(fā)出刺耳的剎車聲。你也知道如何在下雪時調(diào)整駕駛行為，什么時候要注意行人，什么時候應該暫停與乘客的談話，這樣你就可以把更多的注意力放在路上。

想象一下，如果你在開車的時候失去了情境感知，比如儀表盤掉下來了，或者后視鏡斷了，你可能很難獲得和這些輔助設備能提供信息時一樣的理解。你要么通過其他方式獲得相同的信息來補償，要么忍受情境感知能力的下降。例如，在一個后視鏡壞掉時，你要格外小心，也許要常常扭頭掃視一下后面。大多數(shù)時候，這就足夠了。但在少數(shù)情況下，努力保持足夠的情境感知可能會導致你犯錯，并可能導致事故。這雖然是一個簡單的例子，但隨著機器人進入我們的日常生活，我們會把越來越多的任務交給它們，如果這種交接設計得不好，把工作交給機器人可能會讓情況變得更糟。總體情境感知的喪失可能使我們無法捕捉錯誤或在需要時進行干預。例如，如果醫(yī)院里的機器人負責把藥送到不同的房間，然而它被困在了走廊里的一個障礙物上，誰會發(fā)現(xiàn)它被困住了，把它解救出來，并確保它回到正軌？或者，更緊急的是，誰來確保等待的病人通過另一種方式獲得藥物？

回想這一章開始提到的法航航班，當飛機墜入海洋時，飛行員不具備足夠的情境感知能力。我們已經(jīng)看到這種情況一次又一次地發(fā)生。在另一起事故中，臺灣中華航空公司006航班的飛行員試圖弄清楚飛機的方向，結(jié)果飛機在幾分鐘內(nèi)跌落了三萬英尺21。

其中一個引擎出了故障，飛行工程師通過檢查清單來了解并糾正這個問題，自動化系統(tǒng)試圖彌補引擎推力的不對稱性，并將控制輪盡可能往左轉(zhuǎn)動。飛行員需要在關(guān)閉自動駕駛儀之前了解這一情況，以便機組人員可以準備手動彌補這一問題。然而，機長在斷開自動駕駛儀之前或之后都沒有執(zhí)行正確的控制操作。由于飛機正在穿過云層，飛行員需要依賴儀表板上的水平儀指示器，它顯示飛機相對于地球地平線的方向。儀器顯示出過度的傾斜——飛機實際上是在往下飛，而且是側(cè)著飛。這太不尋常了，飛行員以為是指示器出了故障，從而失去了方向感。直到飛機沖破云層后，飛行員才重新調(diào)整方向，并意識到姿態(tài)指示器是正確的。一旦他恢復了情境感知，就能夠恢復飛機，重新啟動引擎并安全著陸。

在運行高度自主系統(tǒng)時，情境感知能力的喪失已導致商用和通用航空數(shù)百人死亡，因此，政府和航空公司已經(jīng)花費了數(shù)百萬美元來研究為什么會發(fā)生這種情況，并試圖找到解決方案。解決問題的目標通常是考慮如何防止情境感知的喪失。

某些人感知上的弱點可能源于他們對數(shù)據(jù)和環(huán)境中的特定元素的感知問題。另一種情況是，有些人可能理解了所有的相關(guān)信息，但無法理解其含義。最后，有些人可能會正確地感知和理解，但卻無法使用這些信息準確地預測未來的信息或事件。在系統(tǒng)設計人員必須考慮的三個級別中，每個級別都有許多可能的潛在故障原因，表1列出了一些最常見的原因。

表1　情境感知錯誤的分類

犯錯誤的可能性在一定程度上取決于用戶的關(guān)注程度，用戶投入過多或過少都會導致錯誤的增加22。這也意味著要求別人過多或過少地關(guān)注自動化都可能會適得其反。“喚醒”（即某人為一項任務分配物理或認知資源的水平）與成功完成一項任務的能力之間存在非線性關(guān)系。這種關(guān)系被稱為埃爾克斯-多德森定律（Yerkes-Dodson law），該定律以最先描述這種現(xiàn)象的心理學家命名。如圖9所示，當用戶沒有得到足夠的刺激時，他們就會感到無聊，更容易從主要任務上分心。但是在承受過度刺激時，他們最終會變得緊張和不堪重負。在這些時刻，認知過程實際上發(fā)生了變化。根據(jù)注意力聚焦理論，我們通常會在任務的一小部分上投入巨大的注意力，這導致我們完全忽視了注意力集中區(qū)域之外的視覺刺激。自動化通常被設計為減少用戶的任務負載，通過設計，用戶不再參與常規(guī)活動，而只參與高工作量的活動，例如從故障中恢復。因此，自動化系統(tǒng)的用戶處于績效曲線最糟糕的部分。最佳績效就是在用戶和機器之間找到任務的正確平衡。

圖9　埃爾克斯–多德森定律描述了喚醒或刺激水平與一個人在任務中的表現(xiàn)之間的關(guān)系。來源：Robert M.Yerkes and John D.Dodson,“The Relation of Strength of Stimulus to Rapidity of Habit‐Formation,”Journal of Comparative Neurology and Psychology 18,no.5(1908):459–482

一個顯而易見的解決方案可能是直接降低機器人的自動化程度，從而要求用戶更多地關(guān)注它們。這種選擇將確保用戶繼續(xù)參與，并準備好在系統(tǒng)失敗時接管。但是必須仔細考慮用戶的總工作量，包括他們執(zhí)行的所有不同任務的工作量，而不僅僅是與機器人交互的工作量。如果重新開啟自動化，用戶的工作量最終會過高，他們的決策能力會下降，績效也會下降。因此，當緊急情況發(fā)生時，他們的接管能力較弱。這是法航飛行員試圖了解情況和飛機狀態(tài)時在駕駛艙發(fā)生的事情。

我們還必須考慮疲勞的累積效應。疲勞既有生理原因（如睡眠不足、饑餓），也有心理原因（如完成任務的時間）23。研究表明，決策能力會隨著疲勞程度的變化而變化。例如，當法官做出裁決時，他們正在執(zhí)行一項繁重的精神任務。他們必須吸收和理解大量的信息，預測未來可能發(fā)生的事件，從而做出決定。疲勞還會影響判決結(jié)果，有證據(jù)表明，法官在吃完點心或午餐休息后，往往會在判決中表現(xiàn)得更加寬大。

任務的詳細程度也很重要。因為要執(zhí)行一項真正具有挑戰(zhàn)性的任務而承受高工作量，或者由于從事多個并發(fā)活動而承受高工作量，這是有區(qū)別的。當人們不得不在不同任務之間切換時，他們的反應總是比較慢。一項實驗室研究要求參與者在解決數(shù)學問題和分類幾何圖形問題之間切換。當參與者在這兩個任務之間切換時，他們浪費了時間，而隨著時間的推移，浪費的時間累加了任務，使任務變得更加復雜24。我們一直在轉(zhuǎn)換任務，例如，我們開車時先去挑選收音機里的歌，然后又轉(zhuǎn)回去監(jiān)控路面情況。當孩子們爬上滑梯時，我們會查看短信，然后抬頭看看，以確保他們的安全。在這些任務之間切換時，我們損失了數(shù)百毫秒的時間，因為我們的認知過程必須重新調(diào)整，以不同的方式執(zhí)行每一個任務。這就好像我們的大腦必須停下來，快速加載一個新程序。雖然轉(zhuǎn)換成本通常很小——不到一秒，但在安全關(guān)鍵的應用中，這些延遲會使人無法在必要的時間內(nèi)做出反應以避免事故發(fā)生。眾所周知，由于任務切換而導致的心理環(huán)境切換會削弱我們的情境感知，降低正確應對危險情況的能力25。

我們生活中的許多機器人都被限制在單一的任務上。但更先進的自動化系統(tǒng)通常設計有多種模式，以處理不同類型的特殊情況。操作員將越來越多地了解不同模式下自動化系統(tǒng)的不同行為，而這種切換將成為另一個痛點。

比如，你的車和其他新車型一樣，配有防抱死制動系統(tǒng)（Antilock Brake System，ABS）。天氣好的時候，你踩下剎車踏板，車就會減速。然而，在惡劣天氣下，汽車會以不同的模式運行。視路況而定，當你踩下踏板時，它可能不會直接剎車。為了避免失去地面牽引力，它將以脈沖方式施加和釋放剎車。在這兩種情況下，你踩下剎車踏板的方式是一樣的，但汽車的兩種反應感覺上是不同的。如果你事先不知道汽車配有防抱死系統(tǒng)，第二個結(jié)果可能會非常令人驚訝。作為一種本能反應，你可能會擔心剎車不能正常工作，并采取不恰當?shù)男袆樱缡蛊囖D(zhuǎn)向。早期防抱死制動系統(tǒng)通過制動踏板的振動來提醒駕駛員該系統(tǒng)的激活，然而司機被這個意外的信號弄糊涂了，驚慌失措，許多人的反應是把腳從剎車上拿開——這不是正確的反應26。這種簡單的模式混淆成了許多交通事故的原因。

如今的飛機比汽車擁有更多的自動駕駛模式，而操作人員對自動駕駛模式的困惑是導致航空事故的一個重要原因27。在AF447航班上，由于空速測量出現(xiàn)故障，自動駕駛儀斷開了連接，飛機從正常飛行模式過渡到備用飛行模式，在這種模式下不能提供飛行員在正常飛行中所習慣的失速保護。飛行員很難理解自己的動作是如何被轉(zhuǎn)換成飛機的輸入信號的，因此只能繼續(xù)拉回操縱桿，這導致飛機在沒有意識到的情況下失速。失速警告響了54秒，但飛行員沒有對警告做出反應，似乎也沒有意識到飛機失速了，因為他們在試圖找出問題出在哪里。警報的聲音可能并不清晰，或者飛行員的注意力可能集中在了錯誤的問題上，導致他們錯過了最緊迫、最根本的問題。顯然，他們沒有準確的情境感知能力，因此無法在那一刻做出正確的決定。

盡管飛機自動化可能仍然比汽車更復雜，但很快情況可能就不一樣了。同樣的模式混亂導致的安全問題也開始出現(xiàn)在我們的輔助駕駛汽車上。2017年對特斯拉Model S 70的一項研究記錄了一名駕駛員在6個月的駕駛過程中出現(xiàn)的11次模式混淆情況28。

笨拙的自動化設計會使糟糕的情況變得更糟。如果一個系統(tǒng)沒有清楚地顯示或告知操作者它的模式，可能會導致錯誤的信息和不恰當?shù)男袨椤Ｈ绻到y(tǒng)以不合理的方式將其模式告知操作者，也會使操作者感到困惑，并導致會出現(xiàn)相同的問題。例如，2017年，在美國海軍驅(qū)逐艦USS John S.McCain號上，指揮官決定重新分配控制權(quán)，并命令將“節(jié)流閥”轉(zhuǎn)移到另一個觀測站29。但是，舵手不小心把所有的控制裝置都調(diào)到了新的觀測站。當這種情況發(fā)生時，船舵自動重置到默認位置（船的中心線），而沒有給出任何警告或通知。模式的改變使船偏離了航線，并與一艘商業(yè)油輪相撞。船上的每個人都認為船失去了方向感，工作人員花了幾分鐘才弄清楚發(fā)生了什么。但為時已晚，USS John S.McCain號與油輪相撞，造成10名水兵死亡。

減輕模式混亂需要在設計器方面下功夫。用戶需要充分理解機器人在任何給定情況下的行為。自動化應該提供關(guān)于系統(tǒng)模式、狀態(tài)和操作的清晰提示。它不應該提供在關(guān)鍵時刻可能被誤解的反饋，即在操作員必須要輸入正確的時候。而且，如果用戶采取了錯誤的行動，自動化系統(tǒng)也必須足夠智能，能夠識別和響應操作決策中的錯誤30。

安全關(guān)鍵系統(tǒng)的運行往往要求使用該系統(tǒng)的人快速做出決策。如果一個人被剝奪了資源，也就是說，他沒有足夠的時間、信息或認知能力來做出有邏輯的、經(jīng)過充分分析的決定，那么他會選擇走捷徑。通常，他會采用啟發(fā)式原則，這樣會減少問題的復雜性，并根據(jù)過去的經(jīng)驗快速做出判斷31。當你的情境感知受損時，這通常是一種很有效的決策方式。然而，像所有的模型一樣，啟發(fā)式可能包含顯著的偏差。

一種常見的啟發(fā)式是可得性啟發(fā)式，即人們根據(jù)他們最容易回憶或想到的事情來判斷一個事件是否可能發(fā)生。例如，在臺灣中華航空事件中，飛行員更容易想到指示器有問題，而不是思考它為什么會顯示如此極端的方位數(shù)據(jù)。啟發(fā)式使飛行員能夠迅速做出判斷，但不幸的是，這種判斷是不準確的。

近100種其他類型的偏見已經(jīng)被確認和實驗驗證。但在設計機器人時，這些人類決策的弱點很少被考慮，因為工程師在設計過程中很少考慮人類的心理。因此，新系統(tǒng)很容易觸發(fā)或放大這些偏見，而不是對它們進行補償。

另一種對抗這些關(guān)于制造“太完美的”機器人的擔憂的顯而易見的方法就是更好地訓練人類自身。按照這種想法，如果操作員能夠更好地掌握他們所使用的機器人的信息，像USS John S.McCain號軍艦這樣的災難就可以避免。但如果這一點還不清楚的話，我們想明確地指出，無論接受多少培訓，人類都有基本的局限性和普遍的偏見。更重要的是，隨著新的自動化系統(tǒng)不斷進入日常生活，我們在設計的時候需要假設一般的消費者沒有接受足夠的培訓。我們將操作自己并不完全了解的工作機器人并與其互動。