1.1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

經(jīng)過(guò)幾年的發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域已經(jīng)非常廣泛。沒(méi)有一種硬件架構(gòu)能夠支持所有的神經(jīng)網(wǎng)絡(luò)，從能效比角度來(lái)看也是如此，因?yàn)椴煌I(lǐng)域的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可能差異較大，所以設(shè)計(jì)硬件加速器架構(gòu)時(shí)應(yīng)該對(duì)某個(gè)或者某類(lèi)應(yīng)用領(lǐng)域有所側(cè)重。當(dāng)然，也不應(yīng)該走向另外一個(gè)極端，即僅支持某個(gè)特定的神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)算法日新月異，演進(jìn)迅速。專(zhuān)用性過(guò)強(qiáng)會(huì)大大增加項(xiàng)目風(fēng)險(xiǎn)，雖然硬件架構(gòu)支持所應(yīng)用領(lǐng)域的主流神經(jīng)網(wǎng)絡(luò)，但也要對(duì)算法留有一定的演進(jìn)空間。這需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象和總結(jié)，找出共性并實(shí)現(xiàn)。對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象和總結(jié)，可從以下幾個(gè)方向入手。

?瀏覽目標(biāo)領(lǐng)域及其鄰域的神經(jīng)網(wǎng)絡(luò)，了解其功能、結(jié)構(gòu)、異于其他網(wǎng)絡(luò)的關(guān)鍵點(diǎn)，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)。

?對(duì)于目標(biāo)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步分析，掌握其網(wǎng)絡(luò)結(jié)構(gòu)并分類(lèi)總結(jié)，了解數(shù)據(jù)流向，對(duì)整體所需算力、參數(shù)量進(jìn)行統(tǒng)計(jì)，對(duì)帶寬需求做到心中有數(shù)。

?對(duì)于目標(biāo)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)，找到不同網(wǎng)絡(luò)中重復(fù)出現(xiàn)的基本塊，抽取其計(jì)算過(guò)程、數(shù)據(jù)流向等信息。

?對(duì)于目標(biāo)網(wǎng)絡(luò)中的基本塊進(jìn)一步分析，對(duì)具體運(yùn)算細(xì)節(jié)進(jìn)行歸納。

?對(duì)于歸納出來(lái)的算法細(xì)節(jié)，根據(jù)需要挑選出要實(shí)現(xiàn)的部分算法之后，考慮硬件架構(gòu)的細(xì)節(jié)。

本書(shū)將重點(diǎn)介紹圖像相關(guān)的神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)，即具有圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)義分割等功能的神經(jīng)網(wǎng)絡(luò)。我們可以將這些神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分成以下幾類(lèi)。

第一類(lèi)是直筒形結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。顧名思義，這類(lèi)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)較單一，基本沒(méi)有分支、循環(huán)等結(jié)構(gòu)，是最傳統(tǒng)的CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）。神經(jīng)網(wǎng)絡(luò)的輸入到輸出結(jié)構(gòu)很簡(jiǎn)單，像一個(gè)直筒，數(shù)據(jù)傳遞的路徑始終只有一個(gè)。AlexNet、GoogleNet、MobileNet等都屬于這類(lèi)神經(jīng)網(wǎng)絡(luò)。

第二類(lèi)是并行結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。這類(lèi)神經(jīng)網(wǎng)絡(luò)包括單網(wǎng)絡(luò)內(nèi)多分支并行和多網(wǎng)絡(luò)并行兩種。對(duì)于具有多網(wǎng)絡(luò)并行結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，不同并行分支網(wǎng)絡(luò)可能是同構(gòu)的，也可能是異構(gòu)的。對(duì)于同構(gòu)子網(wǎng)絡(luò)之間的參數(shù)，可能是復(fù)用的，也可能是不復(fù)用的。DeepID屬于這類(lèi)神經(jīng)網(wǎng)絡(luò)。

第三類(lèi)是級(jí)聯(lián)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。和并行結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)類(lèi)似，這類(lèi)神經(jīng)網(wǎng)絡(luò)一般也由多個(gè)子網(wǎng)絡(luò)組成，區(qū)別在于級(jí)聯(lián)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中，各個(gè)子網(wǎng)絡(luò)級(jí)聯(lián)而成，下一級(jí)網(wǎng)絡(luò)需要使用上一級(jí)網(wǎng)絡(luò)的輸出結(jié)構(gòu)。CRAFT（Character Region Awareness For Text detection，字符位置可感知的文本檢測(cè)）就屬于這類(lèi)神經(jīng)網(wǎng)絡(luò)。

第四類(lèi)是并串混合結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。在整體網(wǎng)絡(luò)的子網(wǎng)絡(luò)之間，既有并聯(lián)又有串聯(lián)，結(jié)構(gòu)復(fù)雜。StuffNet、Attention-Net、MR-CNN、Multipath屬于此類(lèi)網(wǎng)絡(luò)。

除了上述幾種類(lèi)型，還有很多神經(jīng)網(wǎng)絡(luò)需要仔細(xì)研究，比如以R-FCN（Region-based Fully Convolutional Net，基于區(qū)域的全卷積網(wǎng)絡(luò)）為代表的Faster RCNN系列、以RestNet為代表的具有Skip結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)以及具有Inception結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)、全卷積網(wǎng)絡(luò)等。從硬件架構(gòu)的角度，我們不需要記住所有的神經(jīng)網(wǎng)絡(luò)，只需對(duì)具有代表性的神經(jīng)網(wǎng)絡(luò)反復(fù)鉆研、仔細(xì)分析，確保最后的硬件實(shí)現(xiàn)是和算法等價(jià)的。尤其是現(xiàn)階段神經(jīng)網(wǎng)絡(luò)的可解釋性機(jī)制尚不清晰，如果硬件實(shí)現(xiàn)和算法不一致，有可能差之毫厘，謬以千里。