第2版前言

2020年3月，“智能計算系統(tǒng)”課程的同名教材《智能計算系統(tǒng)》第1版正式出版。之后，我們又出版了課程實驗教材《智能計算系統(tǒng)實驗教程》和英文教材AI Computing Systems。得益于各位讀者對智能計算系統(tǒng)課程理念和內(nèi)容的認同，第1版教材已重印7次，被國內(nèi)超過百所高校使用。在此，我們衷心感謝各位讀者對這本教材的大力支持。

本書第1版出版至今已有四年之久，智能計算系統(tǒng)領(lǐng)域的發(fā)展日新月異，其中影響最深遠的就是以GPT系列為代表的大型語言模型（Large Language Model，LLM）的出現(xiàn)。GPT-4已擁有接近人類水平的語言理解和生成能力，并在知識儲備上遠超人類水平，因而在大量智能任務(wù)上有著優(yōu)異的表現(xiàn)。例如GPT-4能夠像文字工作者一樣完成各類文檔的寫作任務(wù)，像軟件工程師一樣完成程序編碼任務(wù)，像翻譯人員一樣實現(xiàn)自然語言文本間的轉(zhuǎn)換。

如果說四年前，業(yè)界都認為通用人工智能還是一件很遙遠的事情，那么到了今天，GPT的進展讓我們不得不正視這場由大模型引發(fā)的通用人工智能革命。圖靈獎獲得者、深度學(xué)習(xí)之父杰弗里·辛頓（G.Hinton）也說：“這些東西（大模型）與我們完全不同。有時我認為這就像外星人登陸了，而人們還沒有意識到。”

大模型取得巨大進步的一個關(guān)鍵因素是智能計算系統(tǒng)所提供的巨大算力。例如GPT-3的模型參數(shù)量達1750億，其訓(xùn)練使用了1萬顆英偉達V100 GPU組成的高性能智能計算系統(tǒng)，單次訓(xùn)練用時14.8天，單次訓(xùn)練成本約為1000萬美元。GPT-4有1.76萬億個參數(shù)，其訓(xùn)練更是使用2.5萬顆A100 GPU運行了近100天，對智能計算系統(tǒng)算力的需求達到了GPT-3的67倍。未來如果還要訓(xùn)練出人腦規(guī)模的大模型（100萬億個參數(shù)），我們對智能計算系統(tǒng)算力的需求還將進一步提升。因此，大模型的發(fā)展使我們必須重新審視智能計算系統(tǒng)課程的知識體系。

第2版保留了原有深度學(xué)習(xí)計算系統(tǒng)的精髓，以大模型為牽引，大幅度調(diào)整了各個章節(jié)的內(nèi)容，希望能夠從各個層面系統(tǒng)講解如何使智能計算系統(tǒng)獲取持續(xù)增長的計算能力，為未來更大、更通用的模型提供支撐。其中包括如何構(gòu)建大模型算法（第2、3章），如何讓編程框架支撐海量處理器分布式訓(xùn)練大模型（第4、5章），如何在單個處理器層面實現(xiàn)算力提升（第6、7章），如何面向大模型進行智能計算系統(tǒng)的編程（第8章）。我們還專門增加了第9章，將前面各個章節(jié)串聯(lián)起來，介紹完整的面向大模型的智能計算系統(tǒng)。[1]

具體而言，在第1章中，我們整體回顧了人工智能、智能計算系統(tǒng)的發(fā)展歷程，并介紹了大模型對智能計算系統(tǒng)的需求。

在第2、3章中，我們在第1版介紹深度學(xué)習(xí)算法知識的基礎(chǔ)上增加了大模型算法的相關(guān)知識，包括大模型算法基礎(chǔ)、自然語言處理大模型、圖像處理和多模態(tài)大模型。同時新增了應(yīng)用于圖像生成的神經(jīng)網(wǎng)絡(luò)相關(guān)知識，包括擴散模型和相關(guān)應(yīng)用，使讀者能夠全面了解深度學(xué)習(xí)算法基礎(chǔ)與新興的大模型算法。

在第4章中，我們不再以TensorFlow為重點來介紹編程框架的使用，而是改為介紹目前業(yè)界影響力更大的深度學(xué)習(xí)編程框架PyTorch的發(fā)展歷程、基本概念、編程模型和使用方法。然后在第5章中，我們跳出具體的編程框架，介紹編程框架的工作原理，尤其是如何通過分布式訓(xùn)練機制來高效地處理大模型任務(wù)。

此次改版我們完全重寫了第6、7章。在第6章中，我們回顧了深度學(xué)習(xí)所用的處理器結(jié)構(gòu)從通用逐步走向?qū)Ｓ玫倪^程，使讀者能夠更直觀地理解深度學(xué)習(xí)處理器的基本原理、掌握智能計算系統(tǒng)的設(shè)計準(zhǔn)則。在第7章中，我們展開介紹了深度學(xué)習(xí)處理器的體系結(jié)構(gòu)應(yīng)當(dāng)如何應(yīng)對大模型處理中的計算、訪存、通信瓶頸。

在第8章中，我們介紹了基于BCL語言（BANG C Language）的高性能算子開發(fā)優(yōu)化實踐，使讀者能夠?qū)W習(xí)如何高效編寫面向大模型的智能算法。

第9章在前幾章的基礎(chǔ)上全面介紹當(dāng)代面向大模型的智能計算系統(tǒng)，并以開源大模型BLOOM作為驅(qū)動范例，介紹大模型在智能計算系統(tǒng)上的運行實例，以及系統(tǒng)軟件、基礎(chǔ)硬件層面的優(yōu)化技術(shù)。

本書凝聚著中國科學(xué)院計算技術(shù)研究所處理器芯片全國重點實驗室以及中國科學(xué)院軟件研究所智能軟件研究中心很多老師和學(xué)生的心血。其中，我負責(zé)整理第1章，李玲研究員和張蕊副研究員負責(zé)整理第2、3章，李威副研究員負責(zé)整理第4章，文淵博負責(zé)整理第5章，趙永威副研究員負責(zé)編寫第6、7章，郭崎、周曉勇和李寶亮負責(zé)整理第8章。張振興、文淵博和張蕊負責(zé)編寫第9章。我和李玲研究員負責(zé)全書的統(tǒng)稿。此外，劉暢、李昊宸、李文毅、阮庭峰、畢鈞、劉子康、樊哲、劉晰鳴、陳亦、楊志浩、劉天博、張洪翔、岳志飛、劉洋、李夏青等也參與了本書的編寫。王麒丞、陳文瑞、余悉越、張煬、陳惠來、韓沛軼、王昱昊、呂涵祺等負責(zé)本書多幅圖的繪制。張欣、張振興、嚴(yán)彥陽、黃迪、彭少輝、何同輝、萬海南、呂涵祺等參與了本書的校對。張曦珊副研究員對教材內(nèi)容提出了寶貴意見。由于我們學(xué)識水平有限，書中一定還有錯漏之處，懇請讀者多多批評指正。如有任何意見和建議，歡迎發(fā)郵件至aics@ict.ac.cn。

本書的寫作受到了處理器芯片全國重點實驗室、中國科學(xué)院戰(zhàn)略性先導(dǎo)計劃、科技部重點研發(fā)計劃、國家自然科學(xué)基金、騰訊科學(xué)探索獎和中國科學(xué)院大學(xué)教材出版中心的支持。

大模型的發(fā)展預(yù)示著通用人工智能快要到來。這個“快要到來”可以用毛主席的一段名言來描述：“決不是如有些人所謂‘有到來之可能’那樣完全沒有行動意義的、可望而不可即的一種空的東西。它是站在海岸遙望海中已經(jīng)看得見桅桿尖頭了的一只航船，它是立于高山之巔遠看東方已見光芒四射噴薄欲出的一輪朝日，它是躁動于母腹中的快要成熟了的一個嬰兒。”因此，我期盼本書能為通用人工智能的真正到來貢獻一份微小的力量。或許未來實現(xiàn)通用人工智能的科學(xué)家和工程師，曾經(jīng)是本書的讀者，那將會是我人生的無上光榮。

中國科學(xué)院計算技術(shù)研究所

陳云霽

2024年1月

---

[1]由于《智能計算系統(tǒng)實驗教程》已經(jīng)出版，我們?nèi)サ袅说?版原有的第9章（實驗）和附錄。