1.2 為什么需要邊緣人工智能

在沙漠或者荒野中，你可以一邊跑步一邊聽音樂，音樂通過不間斷的蜂窩網絡源源不斷地傳輸到你的手機上。在深山中一個特別美麗的地方，你拍了一張照片發給你的伴侶，幾分鐘后你收到了回復。

在一個即使是最偏遠的地方也有某種形式的數據連接的世界里，我們為什么需要邊緣人工智能？如果互聯網強大的服務器與我們只相隔一道無線電脈沖，那么這些可以自己做決定的微型設備還有什么意義呢？所有這些額外的復雜性，難道不是讓我們的生活更困難嗎？

你可能已經猜到了，答案是否定的！邊緣人工智能解決了一些非常現實的問題，否則這些問題會阻礙我們的技術更好地為人類服務。邊緣人工智能的好處可以解釋為BLERP。

1.2.1 理解邊緣人工智能的好處（BLERP）

BLERP是什么？邊緣人工智能與視覺聯盟的創始人Jeff Bier創建了這個優秀的工具（https://oreil.ly/UY-DG）來表達邊緣人工智能的好處。它由五個單詞組成：

●帶寬（Bandwidth）

●延遲（Latency）

●經濟性（Economics）

●可靠性（Reliability）

●隱私性（Privacy）

有了BLERP，任何人都可以很容易地記住和解釋邊緣人工智能的好處。它還可以作為一個過濾器，幫助決定邊緣人工智能是否適合特定應用。

下面是對這5個單詞的具體描述。

帶寬

物聯網設備捕獲的數據往往會超過它們的傳輸帶寬，這意味著它們捕獲的絕大多數傳感器數據甚至沒有被使用，而是被扔掉了！例如，一個智能傳感器可以監測一臺工業機器的振動，以確定它是否正常運行。它可能會使用一個簡單的閾值算法來了解機器何時振動過大或過小，然后通過低帶寬的無線電連接來傳達這一信息。

這聽起來已經很有用了。但是，如果能從數據中識別一些模式，從而得出機器可能即將發生故障的線索呢？如果有足夠的帶寬，那么便可以將傳感器數據發送到云端進行分析，從而判斷是否即將發生故障。

然而，在許多情況下，并沒有足夠的帶寬或能量向云端發送持續的數據流。這意味著大部分傳感器數據將被迫放棄，即使它們包含有用的信號。

帶寬限制非常普遍。這不僅與可用的連接有關，還與功率有關。網絡通信通常是嵌入式系統可以執行的最耗能的任務，這意味著電池壽命往往是功能的極限。一些機器學習模型可能有相當密集的計算，但它們往往比傳輸信號消耗更少的能量。

這就是邊緣人工智能的用武之地。如果可以在物聯網設備上進行數據分析，而無須上傳數據呢？在這種情況下，如果分析顯示機器即將故障，那么可以使用有限的帶寬發送通知，這比嘗試發送所有數據要可行得多。

當然，設備根本沒有網絡連接也是很常見的！在這種情況下，邊緣人工智能可以實現一大堆以前不可能實現的用例。稍后將介紹更多有關這方面的信息。

延遲

傳輸數據需要時間。即使你有很大的可用帶寬，從設備到互聯網服務器的往返也需要幾十或幾百毫秒。在某些情況下，延遲可以用分鐘、小時或天來衡量，比如衛星通信或存儲轉發消息。

有些應用程序需要快速響應。例如，移動的車輛由遠程服務器控制是不切實際的，在一個環境中控制車輛行駛需要在轉向調整和車輛位置之間不斷反饋。在具有明顯的延遲時，轉向成為一個主要的挑戰！

邊緣人工智能通過完全消除數據傳輸的時間來解決這個問題，自動駕駛汽車就是一個很好的例子。汽車的人工智能系統在車載計算機上運行，這使得它能夠對不斷變化的情況——例如前面的司機猛踩剎車——做出近乎即時的反應。

邊緣人工智能作為對抗延遲的武器，最引人注目的例子之一是機器人空間探索。火星離地球如此遙遠，以至于無線電傳輸以光速到達火星需要幾分鐘。更糟糕的是，由于行星的排列，直接通信往往是不可能的。這使得控制火星探測器非常困難，NASA通過使用邊緣人工智能解決了這個問題——他們的探測車使用復雜的人工智能系統（https://oreil.ly/iQr8t）來規劃任務、導航環境和尋找生命。如果你有一些空閑時間，你甚至可以通過標記數據來幫助未來的火星探測器導航（https://oreil.ly/RATTg）改進算法。

經濟性

網絡連接要花很多錢。聯網產品的使用成本更高，它們所依賴的基礎設施也要花費制造商的錢。帶寬需求越大，成本就越高。對于部署在需要通過衛星進行遠程連接的偏遠地區的設備來說，成本更高。

通過在設備上處理數據，邊緣人工智能系統減少或避免了通過網絡傳輸數據和在云端處理數據的成本。這可以解鎖許多以前無法實現的用例。

在某些情況下，只能通過派人手動執行一些任務。例如，對于動物保護研究人員來說，使用相機陷阱來監控偏遠地區的野生動物是很常見的。這些設備在檢測到運動時就會拍照，并將照片存儲到SD卡中。通過衛星互聯網上傳每一張照片的成本太高，因此研究人員不得不前往他們的相機陷阱處收集圖像并清理存儲空間。

由于傳統的相機陷阱是運動激活的，因此它們會拍攝很多不必要的照片，這些照片可能會被風中移動的樹枝、走過的徒步旅行者和研究人員不感興趣的生物觸發。但一些團隊現在使用邊緣人工智能只識別他們關心的動物，這樣就可以丟棄其他圖像。這意味著他們不必經常飛到一個偏僻的地方去換SD卡。

在其他情況下，成本可能不是問題。但是對于依賴服務器端人工智能的產品，維護服務器端基礎設施的成本可能會使業務模型復雜化。例如，針對一組需要“打電話回家”才能做決定的設備，可能不得不采用訂閱模式，還必須長期維護服務器，如果不再維護服務器，客戶可能會有設備無法使用的風險^[7]。

不要低估經濟的影響。通過降低長期支持的成本，邊緣人工智能實現了大量之前不可行的用例。

可靠性

由設備上的人工智能控制的系統可能比依賴云連接的系統更可靠。向設備添加無線連接時，你是在添加一個龐大而復雜的從鏈路層的通信技術到運行應用程序的互聯網服務器的依賴網絡。這其中許多部分是無法控制的，所以即使做出了所有正確的決策，也仍然會面臨與組成分布式計算棧的技術相關的可靠性風險。

對于某些應用程序，這可能是可以容忍的。例如當用戶的家庭網絡連接中斷時，可以響應語音命令的智能音箱會停止識別用戶的命令，這種情況用戶可能會理解，但這仍然是一個令人沮喪的經歷。

但在其他情況下，安全是最重要的。例如一個監控工業機器的人工智能系統，用于確保機器在安全參數范圍內運行，如果它在互聯網連接中斷時停止工作，可能會危及人類生命。如果人工智能完全基于設備，那么會更安全，因為在出現網絡連接問題時仍然可以運行。

可靠性通常是一種折中，所需的可靠性級別取決于用例。邊緣人工智能可以成為提高產品可靠性的有力工具。雖然人工智能本身就很復雜，但它代表了與全局連接不同的復雜類型，其風險在許多情況下更容易管理。

隱私性

在過去的幾年里，許多人都不情愿地在便利性和隱私性之間進行權衡。理論上，如果我們希望自己的技術產品更智能、更有用，就必須放棄我們的數據。傳統上智能產品是在遠程服務器上做出決策的，因此它們通常會將傳感器數據流發送到云端。

這對于某些應用來說可能很好，例如，用戶可能不擔心物聯網恒溫器將溫度數據報告給遠程服務器^[8]。但對于其他應用程序，隱私是一個巨大的問題。例如，許多人會猶豫是否要在家里安裝聯網的安全攝像頭。這可能會提供一些安全保障，但將他們最私密空間的實時視頻和音頻傳輸到互聯網上，這樣做的代價似乎并不值得。即使攝像頭的制造商是完全值得信賴的，也總有可能通過安全漏洞暴露數據^[9]。

邊緣人工智能提供了另一種選擇。安全攝像頭無須將實時視頻和音頻傳輸到遠程服務器上，而是可以利用一些部署在自身的智能應用，在主人外出工作時識別出入侵者，然后以適當的方式提醒主人。當數據在嵌入式系統上處理并且從不傳輸到云端時，用戶隱私受到保護，數據泄露和濫用的機會也更少。

邊緣人工智能保護隱私的能力解鎖了大量令人興奮的用例。對于安全、工業、兒童保育、教育和醫療保健等領域的應用程序來說，這是一個特別重要的因素。事實上，由于一些領域涉及關于數據安全的嚴格法規（或客戶期望），因此隱私性最好的產品是完全避免收集數據的產品。

使用BLERP

正如我們將在第2章看到的，BLERP可以是一個方便的工具，用于理解特定問題是否適合邊緣人工智能。無須對每個方面都進行強有力的論證，即使只滿足一兩個標準，如果足夠有說服力，就可以為用例提供價值。

1.2.2 邊緣人工智能的作用

邊緣人工智能的獨特優勢提供了一套新的工具，可以應用到世界上的一些重大問題中。動植物保護、醫療保健和教育等領域的技術人員已經使用邊緣人工智能產生了重大影響。下面是幾個讓人感到興奮的例子：

●智能公園（https://www.smartparks.org）正在使用運行機器學習模型（https://oreil.ly/nyVIm）的項圈來更好地了解世界各地野生動物園的大象行為。

●Izoelektro公司推出的RAM-1（https://oreil.ly/hR-US）利用嵌入式機器學習技術檢測電力傳輸硬件即將發生的故障，用于防止引起森林火災。

●沙特阿拉伯哈立德國王大學的Mohammed Zubair Shamim博士等研究人員正在訓練模型，這些模型可以部署在低成本設備上，用于篩查威脅生命的疾病，如口腔癌（https://oreil.ly/ktZq_）。

●世界各地的學生都在為他們當地的行業開發解決方案。來自巴西UNIFEI的Jo?o Vitor Yukio Bordin Yamashita使用嵌入式硬件創建了一個用于識別可影響咖啡植物的疾病的系統（https://oreil.ly/gSv-J）。

邊緣人工智能的特性使其特別適合應用于全球性問題。由于可靠的網絡連接價格昂貴，而且并非普遍可用，因此許多智能技術只能使生活在工業化、富裕和網絡連接良好的地區的人們受益。通過消除對可靠互聯網連接的需求，邊緣人工智能降低了享受造福人類和地球的技術的門檻。

當涉及機器學習時，邊緣人工智能一般使用小型模型，小型模型訓練起來速度快、成本低。由于不需要維護昂貴的后端服務器等基礎設施，因此邊緣人工智能使資源有限的開發人員能夠為他們更了解的本地市場構建尖端的解決方案。要了解更多關于這些機會的信息，建議觀看“TinyML and the Developing World”（https://oreil.ly/csz6p），這是Pete Warden在TinyML（微型機器學習）肯尼亞聚會上的精彩演講。

正如前文提到的，邊緣人工智能也為用戶創造了提高隱私性的機會。在網絡世界里，許多公司將用戶數據視為一種可以提取和挖掘的寶貴資源。為了使用人工智能產品，消費者和企業主經常被要求犧牲自己的隱私，將他們的數據置于未知的第三方手中。

使用邊緣人工智能，數據不需要離開設備，用戶擁有自己的數據，這使得用戶對產品更加信任。這對于為弱勢群體設計的產品尤其重要，他們可能會對那些似乎在收集他們數據的服務持懷疑態度。

正如我們將在后續章節中看到的，為了建立道德的人工智能系統，必須克服許多潛在的陷阱。也就是說，這項技術為讓世界變得更美好提供了巨大的機會。

如果你正在考慮使用邊緣人工智能來解決當地社區的問題，那么我們會很樂意聽到你的聲音。我們已經為許多有影響力的項目提供了支持，并希望找到更多的項目。可發送電子郵件給我們hello@edgeaibook.com。

1.2.3 邊緣人工智能與常規人工智能之間的主要區別

邊緣人工智能是常規人工智能的一個子集，所以有很多相同的適用原則。但是，對于邊緣設備上的人工智能來說有一些特殊的事情需要考慮，以下是一些要點。

在邊緣訓練是少見的

很多AI應用程序都是由機器學習驅動的。機器學習包含訓練和推理兩個過程：訓練一個模型可以根據一組標記的數據做出預測；模型經過訓練后可以用于推理，即對以前沒有見過的數據做出新的預測。

邊緣AI和機器學習通常指的是推理。訓練模型比推理需要更多的計算和內存，而且訓練過程通常需要一個已標記的數據集。這些東西在邊緣很難滿足，因為設備資源有限，并且數據是原始的、未經過濾的。

出于這個原因，邊緣AI中使用的模型在部署到設備上之前，通常會使用相對強大的計算資源以及經過清理和標記（通常是手動標記）的數據集進行訓練。從技術上講，在邊緣設備本身上訓練機器學習模型是可行的，但非常少見，主要是因為缺乏訓練和評估所需的標記數據。

設備上的訓練有兩種普遍的類型。第一種通常用于手機上的面部解鎖或指紋驗證等任務，將一組生物特征映射到特定用戶。第二種用于預測性維護，即設備上的算法學習機器的正常狀態，以便在狀態變得異常時采取行動。4.2.4節會討論更多細節。

邊緣AI的重點是傳感器數據

邊緣設備令人興奮的地方在于，它們離數據產生的地方很近。通常，邊緣設備配備了傳感器，使它們能夠立即與環境連接。邊緣AI部署的目標是理解這些數據，識別模式并使用它們做出決策。

傳感器數據往往數量龐大、有噪聲且難以管理，它以每秒數千次的高頻率采集數據，運行邊緣AI應用程序的嵌入式設備在有限的時間內收集這些數據、處理數據、將其輸入某種AI算法，并根據結果采取行動。這是一個重大的挑戰，特別是考慮到大多數嵌入式設備的資源有限，沒有RAM來存儲大量數據。

處理原始傳感器數據的需求使得數字信號處理成為大多數邊緣AI部署的關鍵部分。在任何高效和有效的實現中，信號處理和AI組件必須作為一個系統一起設計，在性能和準確性之間進行權衡。

很多傳統的機器學習和數據科學工具都專注于表格數據，比如公司財務或消費產品評論。相比之下，邊緣AI工具的構建是為了處理持續的傳感器數據流。這意味著構建邊緣AI應用程序需要一整套完全不同的技能和技術。

機器學習模型可以變得非常小

邊緣設備的設計通常是為了限制成本和功耗，一般來說，比起個人計算機或網絡服務器，邊緣設備的處理器處理速度更慢，內存更小。

目標設備的限制意味著，當機器學習被用來實現邊緣AI時，機器學習模型必須非常小。在一個中型微控制器上，可能只有一百多KB的ROM可用于存儲模型，還有一些容量更小的設備。由于較大的模型需要更多的時間來執行，因此處理速度較慢的處理器也會推動開發人員部署較小的模型。

縮小模型涉及一些權衡。更大的模型有更多的學習能力，當一個模型變小時，會失去一些表征其訓練數據集的能力，并且可能變得不那么準確。所以創建嵌入式機器學習應用程序的開發人員必須在模型的大小和所需的準確性之間進行權衡。

已經存在各種各樣的壓縮模型技術，可以減小模型尺寸，使模型適合更小的硬件，占用更少的計算時間。這些壓縮技術可能非常有用，但有時也會以微妙而有風險的方式來影響模型的準確性。4.2.3節將詳細討論這些技術。

除了圖像處理之類的任務需要解釋涉及很多細微差別的視覺信息，并不是所有的應用程序都需要大而復雜的模型，通常對于更簡單的數據，幾KB（或更少）的模型就足夠了。

從反饋中學習是有限的

AI應用程序是通過一系列迭代反饋循環來構建的。我們會完成一些任務，衡量它的表現，然后找出需要改進的地方。例如，一個健身監控器可以根據從傳感器收集的數據估計用戶跑10 km所用的時間，為了測試它是否運行良好，可以用用戶實際跑10 km的時間驗證預測是否正確。如果不正確，可以把用戶的真實數據添加到訓練數據集中，并嘗試訓練一個更好的模型。

如果有可靠的網絡連接，這應該不會太難，可以把數據上傳到服務器上。但邊緣AI的神奇之處在于，可以將AI應用部署到網絡帶寬有限的設備上。在這種情況下，可能沒有足夠的帶寬來上傳新的訓練數據。甚至可能根本無法上傳任何東西。

這對我們的應用程序開發工作流提出了一個很大的挑戰。當我們對系統的訪問受限時，如何確保系統在現實世界中表現良好？在收集更多數據如此困難的情況下，我們如何改進自己的系統？這是邊緣AI開發的核心主題，我們將在本書中大量討論。

計算是多樣化和異構的

大多數服務器端的AI應用運行在普通的x86處理器上，添加了一些GPU（圖形處理單元）進行深度學習推理。此外，如Arm公司最近推出的服務器CPU，以及Google的深度學習加速器TPU（張量處理單元）也用于深度學習的推理，但大多數工作負載運行在非常普通的硬件上。

相比之下，嵌入式世界包括一系列令人眼花繚亂的設備類型：

●微控制器，包括微型8位芯片和32位處理器。

●運行嵌入式Linux的片上系統（SoC）設備。

●基于GPU技術的通用加速器。

●現場可編程門陣列。

●快速運行單一模型架構的固定架構加速器。

每個類別都包括來自許多不同制造商的無數設備，每個設備都有一組獨特的構建工具、編程環境和接口選項。這可能會讓人不知所措。

硬件的多樣性意味著對于任何給定的用例，都可能有多個合適的系統。選擇合適的方案是一個難題，我們將在本書的整個過程中討論這個挑戰。

目標通常是“足夠好”

對于傳統AI，目標通常是在不考慮成本的情況下獲得盡可能好的性能。在服務器端AI應用中使用的深度學習模型的大小可能達到千兆字節，依賴于強大的GPU計算，這些大模型能夠及時運行。當算力不是障礙時，最準確的模型往往是最好的選擇。

邊緣AI的好處也伴隨著一些嚴格的限制。邊緣設備的計算能力較差，通常需要在模型的性能和準確性之間進行權衡，這是一個棘手的選擇。

這當然是一個挑戰，但不是障礙。對于大量的用例來說，在邊緣運行AI的巨大好處很容易超過準確性稍有降低的代價。對于其他少量的設備來說，有邊緣AI也比完全沒有要好得多。

我們的目標是建立能夠充分利用這種“足夠好”的性能的應用程序——一種被Alasdair Allan優雅地描述為Capable Computing（https://oreil.ly/W4gDl）的方法。任何性能損失都應被考慮在內，成功做到這一點的關鍵便是使用一些工具來幫助我們了解自己的應用程序在現實世界中的性能。我們將詳細介紹這個話題。

工具和最佳實踐仍在不斷演進

作為一項剛剛開始大規模采用的全新技術，邊緣AI仍然依賴于為大尺寸的、服務器端的AI模型開發的工具和方法。事實上，大多數AI研究仍然專注于在巨大的數據集上構建大型模型，這有兩個方面的影響。

第一，正如我們將在第5章中看到的，我們經常會發現自己使用來自數據科學和機器學習領域的現有開發工具。從積極的方面來看，這意味著我們可以從一個豐富的庫和框架的生態系統中獲益，這些庫和框架已被證明是行之有效的。然而，現有工具很少會優先考慮在邊緣上重要的事情，比如小模型尺寸、計算效率以及在少量數據上訓練的能力。我們經常需要做一些額外的工作來關注這些重點。

第二，由于邊緣AI研究是剛興起的，我們可能會看到極其迅速的演變。隨著該領域的發展，越來越多的研究人員和工程師開始關注它，那么必然會逐漸出現提高效率的新方法，以及創建有效應用程序的最佳實踐和技術。這種快速變化的前景使邊緣AI成為一個非常令人興奮的領域。