2.4　深度學習實踐

2.4.1　建模工具

深度學習網絡內部建模過程如圖2-15所示。

深度學習工具是一套靈活的建模框架。使用深度學習工具，在大數據集與大運算量下，采用一些基本框架，避免很多人工干預和手動編程，實現過程的自動化。

一個神經網絡模型主要包括數據輸入、神經層處理、損失函數計算、反向梯度計算、訓練與驗證。神經層處理包括網絡結構、連接關系，以及激勵函數的選擇。

2.4.2　軟硬件工具

各家互聯網巨頭都推出了相應的軟件工具，主要有谷歌公司的TensorFlow、臉書公司的Torch、微軟公司的CNTK，以及亞馬遜公司支持的MXNET。這些框架將以上的模塊和過程自動化，大大促進了深度學習技術的普及。

深度學習軟硬件工具如圖2-16所示。

深度學習工具一直是深度學習研究進展的一個副產品。國際上對深度學習的研究，呈現出群雄逐鹿的局面，其中當前幾個實力雄厚的團隊如下。

（1）由Jeff Dean領導的Googel Brain團隊，包括深度學習領軍人物Geoffrey Hinton。

（2）由Yann LeCun領導的Facebook AI Research。

（3）由Ilya Sutskever領導的OpenAI。

從硬件層面，底層硬件包括可編程邏輯陣列（FPGA)、通用圖形處理器（GPGPU)、通用處理器（CPU)群集。因為運行效率的問題，目前主要采用通用圖形處理器、FPGA和定制化的方法。

例如，NVIDIA公司提出的Pascal系列、Tesla系列等通用圖形處理器。英特爾公司收購了Nervana和Altera公司，推出的Phi處理器等。谷歌公司更是推出了定制化ASIC的TPU(TensorFlow Processing Unit)。

微軟、亞馬遜和谷歌都推出了帶通用圖形處理器的云主機，大大方便了深度學習的使用。幾家公司又推出了帶可編程邏輯陣列（FPGA)的云主機，大大方便了定制化的神經網絡訓練和部署。