前言

從算法角度看，神經(jīng)網(wǎng)絡(luò)分Training（訓(xùn)練）和Inference（推理）兩個過程，本書主要討論Inference過程。從技術(shù)類別看，本書主要討論神經(jīng)網(wǎng)絡(luò)硬件，尤其是芯片設(shè)計層面的內(nèi)容，如何訓(xùn)練出優(yōu)秀的模型、如何設(shè)計神經(jīng)網(wǎng)絡(luò)加速器的驅(qū)動程序和編譯器等內(nèi)容均非本書重點。

本書內(nèi)容主要分三部分：神經(jīng)網(wǎng)絡(luò)的分析、神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計及具體的實現(xiàn)技術(shù)。通過閱讀本書，讀者可以深入了解主流的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，掌握如何從零開始設(shè)計一個能用、好用的產(chǎn)品級加速器。

“兵馬未動，糧草先行”，在設(shè)計神經(jīng)網(wǎng)絡(luò)加速器之前，需要對主流的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、常見算子，以及各個算子運算細(xì)節(jié)有深入的理解。第1章介紹了目前主流圖像處理領(lǐng)域神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，提取出各個網(wǎng)絡(luò)的基本塊、網(wǎng)絡(luò)算子及其參數(shù)量和運算量，闡述了加速器的編程模型和硬件架構(gòu)分類。

“程序=數(shù)據(jù)結(jié)構(gòu)+算法”，第2、3章分別討論了加速器運算子系統(tǒng)和存儲子系統(tǒng)的設(shè)計，并對NVDLA、TPU、GPU實現(xiàn)卷積運算的過程進(jìn)行了詳細(xì)的推演，以便讀者對加速器架構(gòu)設(shè)計有初步的了解。

“加速器設(shè)計需要綜合能力”，僅靠零碎的靈感和天馬行空的創(chuàng)意，設(shè)計不出能用、好用的加速器產(chǎn)品。第4～6章用大量篇幅討論了加速器設(shè)計中可能遇到的問題及解決方法。

“生活不止眼前的茍且，還有詩和遠(yuǎn)方”，在加速器的設(shè)計過程中，閉門造車不可取，在埋頭苦干的間歇，仰頭望望天空和遠(yuǎn)方，或許有意想不到的收獲。第7章對加速器進(jìn)行盤點，展望了神經(jīng)網(wǎng)絡(luò)加速器的未來，希望對讀者有所啟發(fā)。

“一圖勝千言”，很多復(fù)雜的邏輯用一張圖就能輕松解釋，很多煩瑣的言語用一張圖就能直觀表達(dá)。本書包含100余幅圖，希望將講述的內(nèi)容清晰地傳達(dá)給讀者。

“一切皆有可能”，本書在討論具體設(shè)計問題時，一般會先給出多種建議，然后篩選出合理的方案，意在傳達(dá)硬件架構(gòu)設(shè)計的思維方式。很多思維方式不僅限于神經(jīng)網(wǎng)絡(luò)加速器，由此及彼，可推而廣之。

感謝我的朋友姜君、周焱、王瑋琪，他們總是耐心地鼓勵和幫助我，我從他們身上學(xué)到很多。感謝我的太太張金艷和女兒甄溪，她們也為這本書付出了很多。

閱讀本書不需要太多預(yù)備知識，需要的是求知探索的勇氣和耐心。如果讀者有任何問題和建議，歡迎與我聯(lián)系：rill_zhen@126.com。

甄建勇

2023年3月于上海