1.5 本章小結

在生成式AI需求的推動下，AI芯片市場正在迅速擴張。目前，英偉達的GPU在AI大模型訓練等需要高算力的應用中獨占鰲頭。它的內部架構專門針對Transformer模型做了優化，例如H100增加了Transformer核，B100、B200把數值精度降至FP6，甚至FP4，因此特別適用于大模型的訓練。另外，這些大規模訓練需要把成千上萬塊GPU連接起來組成分布式網絡和計算集群，而非常成熟的英偉達CUDA系統和NVLink技術在互連中起到了十分關鍵的作用。

目前的CPU也不再是幾年前用途單一的CPU。為了給特定AI應用提供優化后的系統和芯片，英偉達給原來的CPU加上了AI單元或模塊，從而能夠直接、有效地完成AI推理任務。這也為將要興起的新型PC——AI PC（見第2章）做好了芯片開發的規劃和準備。

ASIC有比GPU更低的產品成本和計算成本。與GPU相比，ASIC可以高效地處理訓練和推理計算。目前，ASIC市場已經開始萌芽，一些大公司（如谷歌、微軟、亞馬遜等）也在爭相開發ASIC AI芯片。Graphcore、Groq、Cerebras和Etched AI等新創公司開發的芯片因具有獨特的架構和很高的性能，已經對英偉達的GPU構成挑戰。

生成式AI所使用的大模型參數量極大，對其進行訓練和運行都需要龐大的算力。根據微軟提供的數據，OpenAI為ChatGPT提供了28.5萬塊CPU和1萬塊英偉達A100 GPU，按照ChatGPT-3的1750億個參數來算，訓練一次需要耗費1200萬美元，每天需要支出的電費約為5萬美元，初始投入就達8億美元。

目前，不斷增長的大數據、高算力、高耗能已經給AI芯片的發展帶來了非常大的壓力和挑戰。要想解決這些問題和挑戰，實現基于小語言模型（Small Language Model，SLM，簡稱小模型）、小數據、極低功耗，可持續發展的AI芯片，從而推動社會經濟的AI轉型升級，就需要有重大的創新，這正是本書第3～9章所要探討的內容。其中，類腦芯片是AI芯片的一個類別。這種芯片模仿人腦神經網絡的結構和功能，基于神經形態計算，采用存算一體化架構，具有超低功耗、高并行性等特點，在處理稀疏數據、實時響應等方面具有優勢。目前，類腦芯片還處于研發階段，未得到廣泛應用，但很可能成為下一代AI芯片。本書第7章也將探討類腦芯片的研發進展及未來趨勢。