1.2 智能計算系統

1.2.1 什么是智能計算系統

一個完整的智能體需要從外界獲取輸入，并且能夠解決現實中的某種特定問題（例如弱人工智能）或者能夠解決各種各樣的問題（強人工智能）。而人工智能算法或代碼本身并不能構成一個完整的智能體，必須要在一個具體的物質載體上運行起來才能展現出智能。因此，智能計算系統就是智能的物質載體。

現階段的智能計算系統，硬件上通常是集成通用處理器和智能處理器的異構系統，軟件上通常包括一套面向開發者的智能計算編程環境（包括編程框架和編程語言）。

采用異構系統的原因在于，近十年來通用處理器的計算能力增長近乎停滯，而智能計算能力的需求在不斷以指數增長，二者形成了剪刀差。為了彌補這個剪刀差，智能計算系統必須要集成智能芯片來獲得強大的計算能力。例如，寒武紀深度學習處理器能夠以比通用處理器低一個數量級的能耗，達到100倍以上的智能處理的速度。

異構系統在提高性能的同時，也帶來了編程上的困難。程序員需要給系統中的兩類芯片編寫指令、調度任務，如果沒有系統軟件的支持會非常困難。因此，智能計算系統一般會集成一套編程環境，方便程序員快速便捷地開發高能效的智能應用程序。這套編程環境主要包括編程框架和編程語言兩部分。常用的深度學習編程框架包括TensorFlow和PyTorch等，深度學習編程語言包括CUDA語言和BCL語言等。

1.2.2 為什么需要智能計算系統

以通用處理器為中心的傳統計算系統的速度和能效遠遠達不到智能應用的需求。例如2012年，谷歌大腦用1.6萬個通用處理器核跑了3天的深度學習訓練來識別貓臉[17]。這充分說明傳統計算系統的速度難以滿足應用需求。2016年，AlphaGo與李世石下棋時，用了1202個CPU和176個GPU[18]，每盤棋電費就要數千美元，與之對比，李世石的功耗僅為20 W。這充分說明傳統計算系統的能效難以滿足應用需求。2020年，完整地訓練一次GPT-3總共耗費3.14×1023浮點運算次數，在一臺8卡V100 GPU服務器上需要約3640天（約9.97年）。這充分說明傳統計算系統的單節點模式難以滿足應用需求。因此，人工智能不可能依賴于傳統計算系統，必須有自己的核心物質載體——智能計算系統。

1.2.3 智能計算系統的發展

從發展歷史上看，已有的智能計算系統可以大致分為兩代：第一代智能計算系統，出現于1980年前后，主要是面向符號主義的專用計算系統；第二代智能計算系統，出現于2010年左右，主要是面向連接主義的專用計算系統。同時，我們預期未來會出現一類新的智能計算系統，成為強人工智能/通用人工智能的物質載體。這或許會是第三代智能計算系統。

1.2.3.1 第一代智能計算系統

20世紀80年代是人工智能發展的第二次熱潮。第一代智能計算系統主要是在這一次熱潮中發展起來的面向符號邏輯處理的計算系統。它們的功能主要是運行當時非常熱門的智能編程語言Prolog或LISP編寫的程序。

1975年，麻省理工學院（MIT）AI實驗室的R.Geenblatt研制了一臺專門面向LISP編程語言的計算機——CONS，它是最早的智能計算系統之一。1978年，該實驗室又發布了CONS的后繼CADR。1981年日本提出了五代機計劃。該計劃認為過去的第一代、第二代、第三代、第四代計算機分別是真空管計算機、晶體管計算機、集成電路計算機和超大規模集成電路計算機，而第五代計算機是人工智能計算機，人們只需要把要解決的問題交給它，而不需要告訴它如何去解，它就能自動求解出該問題。本質上講，日本五代機也是一個Prolog機。整個20世紀80年代，美日高校、研究所、企業研制了各種各樣的Prolog機和LISP機。

20世紀80年代末到90年代初，人工智能進入冬天。第一代智能計算系統找不到實際的應用場景，市場坍塌，政府項目停止資助，創業公司紛紛倒閉。圖1.3[5]是MIT博物館保存的自己研制的LISP機。

從技術上看，第一代智能計算系統是一種面向高層次語言的計算機體系結構，其編程語言和硬件是高度統一化的，比如LISP和Prolog。這種計算系統被淘汰的原因主要有兩方面：一方面，不同于現在人工智能有大量語音識別、圖像識別、自動翻譯等實際應用需求，當時的Prolog和LISP等符號智能語言并沒有太多的實際應用需求；另一方面，當時的通用處理器發展速度非常快，專用計算系統的迭代速度跟不上通用處理器。在20世紀摩爾定律的黃金時期，每一年半通用處理器的性能就能提升一倍，10年下來通用處理器的處理速度能取得100倍的提升。而專用的智能計算系統沒有通用處理器那么廣泛的應用，往往需要數年才有資金進行迭代更新。幾年下來，專用的智能計算系統的速度可能不比通用處理器快多少。因此第一代智能計算系統逐漸退出了歷史舞臺。

1.2.3.2 第二代智能計算系統

第二代智能計算系統主要研究面向連接主義（深度學習）處理的計算機或處理器。中科院計算所從2008年開始做人工智能和芯片設計的交叉研究，2013年和法國國家信息與自動化研究所（Inria）共同設計了國際上首個深度學習處理器架構——DianNao。隨后，中科院計算所又研制了國際上首個深度學習處理器芯片“寒武紀1號”。在此基礎上，全球五大洲30個國家/地區的200個機構（包括哈佛大學、斯坦福大學、麻省理工學院、谷歌、英偉達等），以及兩位圖靈獎得主、10余位中美院士、30位ACM會士、100位IEEE會士在廣泛跟蹤引用中科院計算所的論文，開展相關方向研究。因此，Science雜志刊文評價寒武紀為深度學習處理器的“開創性進展”，并評價寒武紀團隊在深度學習處理器研究中“居于公認的領導者行列”。表1.1列出了一些第二代智能計算系統的代表性工作。

與第一代智能計算系統相比，第二代智能計算系統有兩方面的優勢：第一，深度學習有大量實際的工業應用，已經形成了產業體系，因此相關研究能得到政府和企業的長期資助；第二，摩爾定律在21世紀發展放緩，通用處理器性能增長停滯，專用智能計算系統的性能優勢越來越大。因此，在可預見的將來，第二代智能計算系統還將長期健壯發展，持續迭代優化。

事實上，今天的超級計算機、數據中心計算機、手機、汽車電子、智能終端都要處理大量深度學習類應用，因此都在朝智能計算系統方向演進。例如，IBM將其研制的2018年世界上最快的超級計算機SUMMIT稱為智能超算機。在SUMMIT上利用深度學習方法做天氣分析的工作甚至獲得了2018年超算應用最高獎——戈登·貝爾獎。手機更是因其要用深度學習處理大量圖像識別、語音識別、自動翻譯等任務，被廣泛看作一種典型的小型智能計算系統。僅集成寒武紀深度學習處理器的手機就已有近億臺。因此，未來如果人類社會真的進入智能時代，可能絕大部分計算機都可以被看作智能計算系統。因此，本書主要介紹第二代智能計算系統。

1.2.3.3 第三代智能計算系統展望

第一代和第二代智能計算系統均是面向弱人工智能的定制化設計的智能計算系統，目標是讓智能算法跑得更快更省電。它們之間的區別僅在于，第一代智能計算系統面向符號主義智能（Prolog和LISP），而第二代面向連接主義智能（深度學習）。一個非常有意思的問題是，未來的第三代智能計算系統會是什么樣子？

大模型的發展給這個問題帶來了一種可能的答案。隨著智能計算系統計算能力的逐步增強，深度學習大模型可以變得越來越大，甚至在規模上超過人腦，這將不僅僅是把個別弱人工智能問題做得更好，而是能逐步逼近強人工智能，從而像人一樣在各種簡單問題上表現得更好。如果我們能使大模型進一步擁有邏輯推理和涌現等高級認知智能，或許強人工智能有可能成為現實。因此第三代智能計算系統應當具有超強計算能力，從而能涌現出強人工智能的系統。