前言

自2021年《AI芯片：前沿技術與創新未來》一書出版以來，它的發行量遠超我的預期，人們在全世界的很多地方能看到這本書。短短4年間，世界發生了巨大的變化，AI領域和半導體芯片產業也發生了許多重要事件。這讓我意識到，有必要撰寫第二本關于AI芯片的書，以緊跟時代步伐、介紹新興領域和最新動向，與第一本書相互補充。

在這4年中，最令人矚目的事件之一便是ChatGPT的橫空出世。作為一種生成式AI語言模型，它誕生后很快演進到能夠生成文本、圖像、視頻、計算機代碼等各種內容。生成式AI也迅速成為推動AI領域又一次飛躍的驅動力。這一驅動力的關鍵支柱是大語言模型（Large Language Model，LLM，簡稱大模型），而絕大多數的大模型是基于Transformer算法構建的。

與此同時，為了滿足大模型和Transformer算法對算力的巨大需求，AI芯片的架構也在不斷優化。通過采用新的工藝，傳統的“集成電路”演變為“集成芯片”，即通過芯粒集成、3D堆疊、混合鍵合等先進的封裝手段，大幅增加了單塊芯片中的晶體管數量，增加幅度達幾百甚至幾千倍，從而極大地提高了芯片的算力和性能。

大模型的計算規模正以驚人的速度增長。OpenAI訓練GPT-4所需的計算量達到約2×1025 FLOPS（Floating-point Operations per Second，每秒浮點操作數），訓練成本約為1億美元；而2024年谷歌發布的非常強大的模型——Gemini Ultra，訓練成本比GPT-4翻了一倍。這種對算力、能耗和成本的巨大需求，已成為AI和AI芯片持續發展的嚴峻挑戰。

應對這些變化和挑戰的關鍵在于兩個字——創新。唯有通過創新，才能引發新的技術變革、誕生新的產業并產生經濟效益，從而推動AI進入可持續發展的軌道，進而推動人類文明的前進。創新不是一蹴而就的，而是需要前瞻的視野和勇于探索的精神，不僅要專注于技術開發，還要從基礎科研出發，一步一個腳印地向前邁進。

本書旨在從創新的角度探討AI芯片當前與未來的發展。從應用層，到最底層的器件和材料；從生成文本、圖像和視頻的AI應用，到由AI芯片組成的、能夠自主完成重大科學發現的系統；從當前基于Transformer算法的大模型，到“后Transformer”以及未來的通用人工智能（Artificial General Intelligence，AGI）芯片架構；從能耗巨大的深度學習（Deep Learning），到能耗極低的神經形態計算和符號計算；從現有的硅基硬件，到未來的濕件，本書將帶領讀者深入探索這些前沿的創新領域。

本書各章的內容重點及其邏輯架構如圖A.1所示，具體介紹如下。

圖A.1　本書各章的內容重點及其邏輯架構

第1章簡要介紹大模型浪潮下，AI芯片的需求與挑戰，并介紹AI芯片的常見類型和架構，以及它們各自的計算能力和獨特優勢。全球各大科技公司和研究機構不斷推出創新產品，為AI芯片領域注入新的活力。本章重點介紹當前備受關注的英偉達（NVIDIA）圖形處理器（Graphics Processing Unit，GPU）的技術趨勢、谷歌（Google）的張量處理器（Tensor Processing Unit，TPU），以及英特爾（Intel）、超威半導體（Advanced Micro Devices，AMD）芯片研發的新進展。另外，本章還介紹一些非常具有潛力、準備與大公司產品（尤其是GPU）競爭的新創公司產品。

第2章聚焦當今主流的深度學習領域，探討一些創新方法與架構，尤其是針對大模型和Transformer算法的優化算法。由于大模型的計算成本高昂，且能耗巨大，如何改進現有的深度學習方法或開發全新的算法以取代它們，已經成為研究的重中之重。

第3章展望即將到來的“后Transformer”時代，探討一些新興的算法和思路，如超維計算、耦合振蕩計算、神經符號計算等以“符號”作為核心單元的計算范式，并介紹使用新興半導體器件來實現這些計算范式的方法。

第4章從半導體芯片技術的進步出發，全面介紹半導體芯片產業的前沿技術，如晶體管架構、晶背供電、光刻工藝、芯粒與異質集成，以及3D堆疊等。此外，本章還深入探討兩項顛覆性技術：分子器件與分子憶阻器，以及打印類腦芯片。這些前沿技術不僅推動了芯片性能的提升，還為未來的芯片設計提供了全新的思路。

第5章將視角轉向更底層的技術創新，探討使用化學或生物方法實現AI的可能性。這些技術創新顛覆了傳統芯片的概念，可使AI芯片不再是堅固的硬件，而是柔軟或液態的濕件。雖然這些技術目前仍處于實驗室階段，但研究人員對其寄予厚望。因為它們不僅擺脫了傳統的用數學模型模擬智能的方式，更是通過化學物質或生物體模仿真實大腦的智能，有望創造出更接近生物大腦的AI，從而在效率和性能上取得重大突破。

第6章深入探討AI在科學發現中的創新應用，介紹科學研究的核心流程，并基于此展望未來實現完全自主的“AI科學家”的可能性。如果這種“AI科學家”得以實現，將徹底改變當前“小作坊”式的科研模式，推動科研轉向大規模“批量生產”的方式。這種方式甚至可能催生出諾貝爾獎級別的研究成果，為科學發現的效率和質量帶來革命性改進。

與傳統的深度學習加速芯片相比，類腦芯片的運行方式更接近人類的大腦，雖然目前已經有一些原型樣片，但與商業化應用尚有距離。本書第7章與第8章探討生成式AI興起后，實現神經形態計算與類腦芯片的創新方法，并介紹具備感知和執行功能的具身智能芯片。目前，大多數訓練AI模型的數據主要來自互聯網，缺乏對周圍物理環境的感知，而這樣的智能是不完整的，尚不能被稱為真正的智能。

在生成式AI熱潮中，AGI是關注度最高的概念之一。本書第9章聚焦AGI芯片，展望未來可能的AGI芯片架構。不過，AGI的定義目前仍未明確且存在爭議，AGI芯片在最終實現之前還需要經歷漫長的研發過程。

本書旨在為AI和芯片領域的研究人員，工程技術人員，科技、產業決策和管理人員，創投從業者，AI、集成電路、計算機等相關專業的本科生、研究生和教學工作者，以及對AI芯片感興趣的讀者提供一本新穎、前沿且富有創新思維的專業讀物。這既是我上一本作品《AI芯片：前沿技術與創新未來》的宗旨，也是我寫作本書的指導思想。然而，本書并不適合完全的初學者，它的核心目標讀者是已經在AI或芯片領域中有一定經驗并具備基礎知識的專業人士。

我非常感謝人民郵電出版社高級策劃編輯賀瑞君對出版本書的熱情支持與多方面的協助。同時，我也要感謝出版社的其他同仁，感謝他們在本書出版過程中所給予的支持與協助。

與AI和芯片相關的技術正在以驚人的速度進步，人類社會和文明也在隨之不斷向前發展。如今，圖書出版的節奏已經難以跟上技術快速變化的步伐。本書正是在這種創新日新月異、信息與知識爆炸的時代背景下撰寫和出版的，可以看作當前“指數發展”時代的一個“快照”。書中難免存在不足之處，懇請讀者批評指正。

張臣雄

2024年12月