2.3 負責任地創建應用

本章前面涵蓋了邊緣人工智能的一些有趣的潛在應用，下一章將提供一個框架，用于分解問題，并決定它們是否適合由邊緣人工智能來解決。

但是，正如我們在本書前言的“負責任、合乎倫理、有效的人工智能”部分看到的，至關重要的是，任何項目都要在每一步進行分析，確保其設計和使用是負責任的。這不是一個溫暖而模糊的過程，在這個過程中，我們拍拍自己的肩膀，在一些盒子上打勾，然后繼續我們的工作。設計不良的技術產品可能會是破壞生活、終結職業生涯的災難——對于產品的終端用戶、銷售這些產品的企業和創造這些產品的開發者來說都是如此。

這方面的一個例子是Uber的自動駕駛汽車部門（https://oreil.ly/UMkXa）。這家共享汽車公司為開發自動駕駛汽車發起了一場積極的行動，雇用了業界名人，并投資了數十億美元。急于在真實街道上測試系統的過程中，該公司有缺陷的安全程序和無效的軟件導致了一名行人的悲慘死亡。這場災難導致Uber的自動駕駛項目被關閉，數百名員工被解雇，自動駕駛汽車部門被火速出售給另一家企業^[3]。

制造一輛自動駕駛汽車，如果做得好，可以使道路更安全，且減少排放——這似乎是一個崇高的使命。但邊緣人工智能的復雜環境會導致潛在的陷阱，而這些陷阱是很難駕馭的。當考慮到這些風險時，一個善意的技術項目可能會成為一個致命的雷區。

在Uber的案例中，他們的自動駕駛汽車遭遇了機器學習系統中一種非常常見的故障模式：它無法理解訓練數據集中沒有出現過的情況。據美國國家運輸安全委員會（National Transportation Safety Board）透露，Uber的自動駕駛汽車沒有將物體分類為行人的能力，除非該物體靠近人行橫道（https://oreil.ly/A-URg）。

有很多因素導致了這樣的災難性失敗。就開發者而言，在沒有對自動駕駛汽車處理常見操作環境的能力進行測試的情況下，于公共道路上駕駛自動駕駛汽車顯示了他們的無能和疏忽。在Uber的案例中，這直接導致了一個人的死亡和一個公司部門的失敗。我們可能會認為，Uber自動駕駛軟件背后的團隊都是聰明能干的人——他們聘用了業內最優秀的人。那么，在構建和部署技術時，有能力的人怎么會錯過顯而易見的東西呢？

不幸的事實是，做好技術建設很難，用技術解決復雜的問題也很難，因為從本質上講，技術只能反映部分考量。除了基本的技術挑戰之外，作為一個專業人員，你有責任了解技術局限性，仔細檢查流程，理智地評估工作，并愿意在項目似乎沒有走對路時停止它。一個無意中傷害了人們的產品是一個糟糕的產品，無論設計它的團隊多么出色。

在商業環境中，你可能會與組織的慣性作斗爭，這種慣性更關心的是運輸某物，而不是確保它的安全。但你應該永遠記住，如果你忽視了自己的職業責任，到頭來你的生計、聲譽和自由都岌岌可危。更糟糕的是，你可能會制造出一個毀壞他人生活的產品，并為此后悔終生。

2.3.1 負責任的設計和人工智能倫理

負責任的設計是構建有效產品的關鍵。為了確保它得到應有的介紹，作者邀請了代爾夫特理工大學網絡物理智能實驗室的博士研究員Wiebke（Toussaint）Hutiri（https://wieb ketoussaint.com）撰寫以下部分。Wiebke在應用機器學習和邊緣計算的交叉領域進行跨學科研究，重點是為物聯網設計值得信賴的機器學習系統。

如本章前文所述，有害的人工智能失敗，使得人工智能倫理（道德）成為大多數公司將人工智能集成到其產品的重要考慮因素。對于開發者來說，倫理是很重要的，但要知道什么是倫理，以及如何將其付諸實踐往往是非常困難的。審視支撐產品開發過程的價值觀（見下面的邊欄）是以實用的方式將倫理與邊緣人工智能開發聯系起來的一種方式。有了價值觀作為基礎，下一步就是要實踐負責任的設計。

為了負責任的設計，開發者需要知道他們的“建筑”材料的局限性，并掌握其工具。此外，他們需要衡量和評估其產品是否符合他們設定的一系列功能和非功能要求。這就是機器學習與你以前開發的任何硬件或軟件應用程序不同的地方。在機器學習中，數據是你的“磚頭”，同時也是你的“溫度計”。這對邊緣人工智能有獨特的影響。

數據是“磚頭”：對于邊緣人工智能應用中的機器學習模型，你的訓練數據是你的建筑材料（構建塊）。你的數據質量會影響你的產品質量。簡單地說，如果它不在訓練數據中，就不能預測它。如果它在訓練數據中的代表性不足，就不能可靠地預測它。如果它在訓練數據中的代表性過高，就會過度地預測它，而不是其他東西。在表征數據時，重要的是要考慮類別在整個目標標簽中的分布，而不僅是類別的代表性。同樣重要的是，要看跨類別的目標標簽的質量，因為錯誤標記的訓練樣本會影響模型的質量。

數據是“溫度計”：訓練數據是“磚頭”，評估數據是用于測量模型的“溫度計”。使用不代表應用場景的評估數據集，就像使用未經校準的溫度計來測量溫度，所以擁有高質量的評估數據是很重要的。在統計學中，小樣本量需要特殊處理，用于評估機器學習模型的常用指標假定有足夠的樣本表示。對于評估數據來說，重要的是所有類別在不同的標簽中都有充分的代表性，這樣評估在統計上才有意義。如果一個類別沒有在所有目標標簽上進行評估，則模型的極限是未知的。

使用數據來構建和評估模型有很多意義。例如，數據是歷史性的，代表過去而不是未來。數據只代表時間上的一個快照，而世界在不斷變化。數據是特定于它被收集的地點和被測量的實體的。所有這些都意味著，數據只是一個樣本，永遠不會完整。不完整的數據是人工智能中偏差和歧視的主要原因，它傷害了人們，并造成了丑聞。

我們將在第7章深入研究數據集，從頭解釋所有這些概念。

為了減輕偏差，避免歧視，并評估潛在的不公平，你需要了解你的設計將被使用的背景。

●誰會使用你的設計，他們將如何使用它？

●你的設計能填補什么空白？

●你的設計將在什么樣的環境條件下運行？

●是否存在可能試圖破壞產品運營的對手？

●如果你的設計不能按預期工作，會出現什么問題？

比如說，你正在一個一年有200天下雨的小鎮上為未燒制的粘土磚創建邊緣人工智能？或者你已經仔細考慮了環境，并收集了訓練數據，使你能夠建立一個適合環境的結構？你的評估數據是一個破損的設備，還是一個精心校準的溫度計？

為了簡要總結負責任的設計和人工智能倫理，你可以把一個負責任的開發人員想象成一個善于使用他們的工具將其材料制作成一種形式，以填補利益相關者希望按照所有受項目影響的人所同意的價值來填補的空白的人。

要開始進行負責任的設計是很容易的，了解數據的局限性，了解模型的局限性，與將要使用你產品的人交談。如果本節只給你一個啟示，那應該是向那些開發負責任的邊緣人工智能的人致敬KUDO（Know Ur Data，Obviously）。

——Wiebke（Toussaint）Hutiri，代爾夫特理工大學

2.3.2 黑盒和偏差

邊緣人工智能在實踐中有兩個方面特別容易造成意想不到的傷害：黑盒和偏差。

黑盒這個術語是針對對分析和理解不透明的系統的一種比喻。輸入數據，做出決定，但其中促成這些決定的過程是不可思議的。這是對現代人工智能（尤其是深度學習模型）的普遍批評，眾所周知，深度學習模型很難解釋。而有些算法，比如隨機森林，如果你能訪問模型，就很容易解釋，你可以閱讀它的內部結構，了解它為什么會做出某些決定。但設備上的情況卻大不相同。

邊緣設備通常在設計上是不可見的，旨在與我們的建筑環境背景融為一體，它們被嵌入建筑、產品、車輛和玩具中。它們是字面意義上的黑盒，它們的內容是看不見的，通常被多層安全機制保護，以避免任何詳細的檢查。

一旦人工智能算法被部署到邊緣設備上，無論多么簡單，它對任何使用它的人來說都是一個黑盒。而且，如果該設備被部署在不同于其原始開發者預期的現實世界條件下，那么即使他們也可能對其行為方式的原因知之甚少。

這在很多方面都很危險，具體取決于你是誰。這些設備的用戶，即購買和安裝它的人，現在依賴于一個他們并不完全了解的系統。他們可能相信設備會做出正確的決定，但他們無法保證這種信任是有保證的。

在Uber的自動駕駛汽車示例中，測試司機本應能夠干預危險情況。然而無論他們接受過什么培訓，人類操作員都無法可靠地補償有故障的自動化系統。實驗中依靠人類干預來避免悲劇的發生是一個不負責任的設計決定。

這名行人是一個碰巧正在過馬路的無辜旁觀者，也是模型黑盒特性的受害者。如果有人提醒他們，駛來的汽車是一輛不可靠的自動駕駛原型車，他可能不會選擇穿越馬路。但是，隱藏在一輛外觀普通的汽車內的邊緣人工智能系統并沒有提供警告，行人沒有理由認為這輛汽車不是人類駕駛的汽車。

最后，邊緣人工智能的黑盒性質為其開發者帶來了風險。例如，想象一個邊緣人工智能相機陷阱被用來監測一個入侵物種的數量。結果可能是，攝像頭存在假陰性的問題，即每三個入侵動物中就有一個沒有被識別。如果相機陷阱被部署在一個偏遠的地方，可能無法根據實際情況驗證相機的輸出。研究人員將得到對動物數量的低估——但他們沒有辦法知道，因為原始數據可能已經不存在了。

與服務器端人工智能不同——服務器端人工智能可以與其處理的原始數據一起部署和監控——邊緣人工智能通常專門部署在無法捕獲原始數據的情境中。在實踐中，這意味著開發人員有時沒有直接的方法來衡量邊緣人工智能應用程序在現場是否正確執行。

在實踐中，保護研究人員通過存儲所有拍攝的照片并在收集存儲卡時進行人工審查來解決這個難題，直到對系統建立信心——但這需要花費時間和金錢。如果沒有相應的機制來監測一個應用程序，或者如果在現有預算內實施一個機制是不可行的，那么就不可能負責任地部署該應用程序。

偏差的危害加劇了黑盒的危害。在邊緣人工智能系統中，偏差導致系統配備了一個不代表現實世界的應用模型。如果開發人員不注意眾所周知的偏差來源，偏差就很可能在系統中發生。最常見的偏差來源如下：

人類的偏差

所有人都會根據自己的經驗（例如，不理解行人可能會無視交通規則^[5]）傾向于某種世界觀。

數據偏差

數據集反映的是數據收集過程，而不是現實（數據集可能只包含人們在人行橫道過馬路的例子）。

算法偏差

所有的人工智能算法都有先天的局限性^[6]，它們的選擇和調整可能會導致偏差（所選擇的算法可能在小的、模糊的物體上表現不佳，如晚上遠處的行人）。

測試偏差

由于現實世界的測試是困難且昂貴的，因此通常只覆蓋常見的情況，這就導致了有偏差的測試覆蓋（例如，在人工測試過程中進行詳盡的測試是昂貴的，開發人員希望降低成本，所以一個關鍵的場景沒有被測試）。

在人工智能系統中，偏差是很難避免的。雖然我們傾向于將該術語與故意的、有意識的歧視形式聯系起來（如招聘過程中的故意性別歧視），但在技術項目中，它最常見的發生原因是對應用環境缺乏了解，然后由于資源的限制而被放大。

為了減小偏差，開發團隊需要相關的領域專家、精心收集的數據集（即使它不能反映現實世界的確切條件）、適合于任務的算法，以及用于現實世界測試的足夠預算。實際上，許多開發團隊只有在經歷了因偏差而造成的代價高昂的失敗后才會注意到這些。

當與黑盒邊緣人工智能產品結合時，偏差會產生危險的情況。如前所述，用戶很可能會假設一個系統是有效的，他們會相信一個產品的運作是正確、安全和合理的。由于沒辦法檢查其運行機制，他們無法自己測試這種假設。滿足和管理用戶期望的責任完全在開發者身上。

一個成功的人工智能項目必須意識到自身的局限性，并提供必要的結構來保護用戶和公眾免受潛在失敗的影響。對于產品背后的團隊來說，定義產品運行的參數并確保其用戶了解這些參數是至關重要的。

在閱讀本書的過程中，我們將學習一個框架，以確保這種意識，并為不安全的項目部署“踩剎車”。這必須是一個從概念誕生到項目結束的持續過程。許多項目在其真正的有效性被揭示出來后會陷入道德困境，但有些項目從一開始就是錯誤的。

2.3.3 保持謹慎

在現代世界中，監控系統無處不在，公眾不得不適應它們的存在。將人工智能應用于監控是一個復雜的話題。雖然邊緣人工智能有可能被用來保護隱私，但也可能被用來侵犯人權。

另外，客戶可能會將邊緣人工智能技術用于設計目的之外的目的，而這些目的可能是不道德的。例如，考慮一下為發現瀕危物種而設計的邊緣人工智能相機陷阱。雖然該相機陷阱的目的是用于科學研究，但偷獵者可能會輕易地將其改作定位動物的工具，他們希望捕獲這些動物并在黑市上出售。在設計應用時，考慮這些潛在的“標簽外”用途非常重要，因為風險可能會高到超過產品的潛在效益。

過失的代價

使用人工智能的技術通常被設計為深度融入我們的世界，塑造我們與家庭、工作場所、企業、政府和彼此之間的日?；?。這意味著，這些系統的失敗會對人們產生深遠的影響。

本書沒有空間全面討論這種情況可能發生的無數方式，但這里有幾個例子：

因疏忽而導致的違規行為

醫療硬件可能誤診病人，影響他們的治療。

監控設備可能對某些群體的執法比其他群體更多，導致不平等的司法。

教育玩具對一些兒童來說可能比其他兒童表現得更好，從而減少了學習機會的獲得。

安全設備可能由于缺乏對不同用戶群體的測試而失效，導致身體傷害。

不安全的設備可能被犯罪分子利用，為犯罪提供便利。

故意違反道德規范

無處不在的人工智能驅動的監控可能影響個人隱私。

智能傳感器可能被偷獵者用來瞄準瀕危野生動物。

用邊緣人工智能增強的武器可能會增加沖突的死亡人數，并破壞全球權力平衡。

減輕社會危害

本書提供的框架將鼓勵你在開發過程中花時間了解自己正在建造的東西對社會的影響，并根據你的發現做出繼續/中止決策。負責任的設計是非常具體的，減輕社會危害應該系統地、持續地進行，以確保你在正確的道路上。

構建負責任的人工智能應用的最佳實踐是組建一個在技術專長和生活經驗方面都具有不同觀點的產品團隊。人類的偏差會放大技術偏差，而一個多元化的團隊不太可能在他們的集體世界觀中出現盲點。如果你有一個小團隊，重要的是要為多樣性預算時間和資金，并接觸到更廣泛的社區，找到愿意幫助評估你的想法和提供反饋的人，將他們的觀點加入組合中。

沒辦法對一個系統的“道德”進行基準測試^[7]。相反，我們需要了解創建一個系統所依據的價值——包括這些價值是什么，它們屬于誰，以及它們打算在什么情況下適用。這種意識使我們能夠將自己的工作塑造成有用的產品，帶來收益而不是傷害。

有各種公司和服務可以幫助指導團隊以負責任的方式開發人工智能，或者審核現有應用是否有潛在的危害。如果你擔心對你的工作進行有害的“標簽外”使用，也有一些法律工具供你使用。負責任的人工智能許可證（RAIL；https://www.licenses.ai）是技術許可證，旨在幫助開發者限制人工智能產品在有害應用中的合法使用。

通過將RAIL附加到他們的產品上，開發者創造了法律依據，以防止其在特定的應用列表中被濫用，該列表可以擴展到包括開發者想要包括的任何類別。一些默認的禁止選項包括監控、犯罪預測和生成假照片。當然，這只有助于防止那些認為自己受法律協議約束的實體的道德使用。

最后，有許多免費的、高質量的在線資源，你可以用來學習更多關于合乎倫理且負責任的人工智能的知識，并評估你正在做的工作。為了讓你開始，這里有一個簡短的清單：

●Berkeley Haas' guide，Mitigating Bias in Artificial Intelligence（https://oreil.ly/8uXGZ）

●Google's recommended practices for responsible AI（https://oreil.ly/SBP-3）

●Microsoft's responsible AI resources（https://oreil.ly/ZOvEm）

●PwC's responsible AI toolkit（https://oreil.ly/zZl1N）

●Google Brain's“People+AI Research（PAIR）”（https://oreil.ly/bco24）

對于當前人工智能原則的詳細高層次總結，我們也推薦閱讀“Principled Artificial Intelligence:Mapping Consensus in Ethical and Rights-Based Approaches to Principles for AI”（https://oreil.ly/8BM54）（J.Fjeld et al.，Berkman Klein Center Research Publication，2020）。