1.3 邊緣AI芯片

前文介紹的主要是云端數據中心AI芯片，主要用于訓練大型、復雜的深度學習模型，是目前市場的主流產品。

基于深度學習模型的AI在許多領域的應用都取得了突破性進展。然而，將這些高精度模型應用于邊緣用戶的數據驅動、學習、推理解決方案仍然面臨挑戰。深度學習模型通常計算成本高、耗電量大，并且需要大量內存來處理數百萬個參數的復雜迭代操作。因此，深度學習模型的訓練和推理通常在云端的HPC集群上進行。

數據傳輸到云端會導致時延、安全和隱私問題，無法做出實時決策。如果在邊緣設備上進行深度學習模型的訓練和推理，就可以避免這些問題。邊緣設備是最接近用戶的設備，如汽車、無人機、手機、智能傳感器、可穿戴設備、物聯網設備等。這些設備的內存、計算資源和供電能力有限，因而人們開發了芯片和軟件層面的優化技術，以便在邊緣側高效地實現AI模型的訓練和推理。

在邊緣計算領域，用于訓練的AI芯片可以訓練邊緣設備上的AI模型，從而滿足本地化AI應用的需求。同時，大量用于推理的AI芯片（以ASIC芯片為主）可以被應用于邊緣設備中。

然而，就大模型而言，目前用于推理的ASIC AI芯片市場還很小，仍處于起步階段。即使是GPU，許多人也希望將其用于訓練而不是推理。無論是大公司還是新創公司，產業界都在等待邊緣AI芯片市場開花、結果。大公司憑借雄厚的資金實力和技術優勢，在邊緣AI芯片、軟件、解決方案等方面都進行了布局。大多新創公司則憑借靈活的機制和創新能力，努力在邊緣AI芯片應用領域有所突破。

圖1.12所示為云端AI與邊緣AI的不同特點。邊緣AI強調低能耗、與嵌入式技術的融合和實時數據，云端AI則強調大規模、高算力、高速處理和統計用大數據。邊緣設備進行AI訓練的能力有限，目前研發的重點是AI推理。邊緣推理指模型經過預訓練后部署到邊緣設備上進行AI推理。云端AI則關注AI模型的優化和長期學習。

圖1.12　云端AI和邊緣AI的不同特點

邊緣推理的優勢主要體現在：可以提高數據處理速度和響應速度，滿足實時性要求；可以縮短網絡時延，降低成本；可以提高安全性和隱私性，保護用戶數據。

目前，邊緣推理的應用領域越來越廣泛，包括智能制造（如檢測產品質量、預測設備故障等）、智慧城市（如交通管理、安防監控、環境監測等）、智能家居（如人臉識別、語音控制、物聯網等），以及醫療保健、自動駕駛等。許多新創公司在開發邊緣AI推理芯片。因為GPU在云計算市場占據了壓倒性的份額，云計算的電力也更容易得到保障；而邊緣應用中資源有限，經常使用的是電池，電源效率至關重要。因此，極低功耗，甚至是自供電的ASIC芯片成為邊緣AI芯片開發的目標。

根據國際數據集團（International Data Corporation，IDC）的預測，全球邊緣推理市場規模將從2022年的131億美元增長到2027年的896億美元。從邊緣AI芯片的市場來看，現在仍然沒有一款像英偉達H100或B100這樣具有代表性、占有大部分AI云計算市場份額的芯片，呈現出五花八門的產品“散落”在各個應用領域的情形。目前邊緣AI芯片領域的主要公司及其產品如下。

（1）英偉達。該公司推出了Jetson系列邊緣AI計算平臺，還有針對工業、醫療等領域的定制邊緣AI芯片。

（2）英特爾。該公司推出了Movidius神經計算棒（Neural Compute Stick，NCS）系列產品，用于無服務器端的邊緣AI；還有Agilex FPGA系列產品等。

（3）百度。該公司推出了昆侖系列邊緣AI處理器，被廣泛應用于智能安防、智能出行等場景。

（4）高通。該公司推出的Snapdragon系列移動SoC芯片具備強大的AI運算能力，可廣泛應用于移動和無線邊緣設備。

（5）聯發科。該公司推出了面向邊緣設備的A系列AI處理單元（AI Processing Unit，APU）。

（6）寒武紀。該公司推出的思元220及相應的M.2加速卡是其首款邊緣AI芯片產品，在1GHz的主頻下，理論峰值性能為32TOPS（INT4）、16TOPS（INT8）、8TOPS（FP16），可支持邊緣計算場景下的視覺、語音、自然語言處理，以及智能數據分析與建模等多樣化的AI應用。

本書第2章將探討實現深度學習AI芯片的一些新方法，也會介紹邊緣AI芯片的架構和算法設計、邊緣AI芯片優化等研究方向，以及一些前沿設計實例。

目前，邊緣推理市場尚處于發展初期，有著巨大的發展潛力。與其他AI芯片相似，研發邊緣推理的AI芯片還存在不少挑戰，如能效和成本問題、軟件的開發和部署問題，以及標準化問題等，而能效是最突出的問題之一。