1.2 昇騰AI處理器

掃碼觀看視頻

昇騰AI處理器的芯片本質上是片上系統（System on Chip，SoC），主要應用在和圖像、視頻、語音、文字處理相關的場景。該處理器芯片的主要組成部件包括特制的計算單元、大容量的存儲單元和相應的控制單元，邏輯架構如圖1-6所示。它封裝了Virtuvian主芯片、4個高帶寬內存（High Bandwidth Memory，HBM）堆棧式芯片和Nimbus I/O芯片。這些部件通過1024位的二維網格結構的CHIE片上網絡連接起來。昇騰AI處理器有 4 個數字視頻預處理（Digital Video Pre-Processing，DVPP）模塊，可以處理 128 通道全高清視頻（H.264/H.265）。

昇騰AI處理器的芯片集成了若干個達·芬奇架構的AI Core，負責執行矩陣、向量計算密集的任務，還集成了數個CPU核心，每4個核心構成一個簇。其中一部分核心部署為AI CPU，承擔部分AI計算功能（負責執行不適合運行在AI Core上的算子任務）；另一部分核心部署為系統控制CPU，負責整個SoC的控制功能。此外，芯片內有層次化的存儲結構。AI Core內部有兩級內存緩沖區，SoC片上還有L2緩沖區，專門為AI Core和AI CPU提供高帶寬、低延遲的內存訪問服務。芯片連接了4個高帶寬內存控制器（High Bandwidth Memory Controller，HBMC），并提供PCI-e服務。

注：DMA即Direct Memory Access，直接存儲器訪問；NIC即Network Interface Card，網絡接口卡；STARS即System Task And Resource Scheduler，系統任務和資源調度器；IMU即I/O board Management Unit，I/O板管理單元。

圖1-6　昇騰AI處理器芯片的邏輯架構

該芯片真正的算力擔當是采用了達·芬奇架構的AI Core。這些AI Core通過特別設計的架構和電路實現了高通量、大算力和低功耗的特性，特別適合處理深度學習中神經網絡的常用計算，如矩陣乘法等。由于芯片采用了模塊化的設計，可以很方便地通過疊加模塊的方法提高后續芯片的計算力。針對深度神經網絡參數量大、中間值多的特點，該芯片還特意為 AI計算引擎配備了片上緩沖區（On-chip Buffer），以提供高帶寬、低延遲、高效率的數據交換和訪問服務。能夠快速訪問所需的數據對于提高 AI 算法的整體性能至關重要，同時，將大量需要復用的中間數據緩存在片上對于降低系統整體功耗意義重大。

DVPP模塊主要完成圖像和視頻的編解碼，支持4K（4096像素×2160像素）分辨率視頻處理，同時支持對JPEG和PNG等格式圖像的處理。來自主機端存儲器或網絡的視頻和圖像數據，在進入昇騰AI處理器芯片的AI計算引擎處理之前，需要具備滿足處理要求的數據輸入格式、分辨率等標準，因此需要調用DVPP模塊進行預處理以達到格式和精度轉換等要求。DVPP模塊主要提供視頻解碼（Video Decoder，VDEC）、視頻編碼（Video Encoder，VENC）、JPEG編解碼（JPEG Encoder/Decoder，JPEGD/E）、PNG解碼（PNG Decoder，PNGD）和圖像預處理（Vision Pre-Processing Core，VPC）等功能。圖像預處理可以完成對輸入圖像的上/下采樣、裁剪、色調轉換等多種處理任務。DVPP模塊采用了專用定制電路的方式來實現高效率的圖像處理功能，對應于每一種不同的功能都會設計一個相應的硬件電路模塊來完成計算工作。在DVPP模塊收到圖像和視頻處理任務后，會通過雙倍數據速率（Double Data Rate，DDR）存儲從內存中讀取需要處理的圖像和視頻數據，并分發到內部對應的處理模塊進行處理，待處理完成后將數據寫回內存，等待后續執行步驟。