1.2.1 常用的深度學習框架

對于希望參與深度學習開發的技術人員而言，選擇一個合適的框架是非常重要的。正所謂“工欲善其事，必先利其器”，一個合適的深度學習框架可以起到事半功倍的效果。本小節介紹目前流行的深度學習框架及其特性，供讀者在開始學習前參考。

1．TensorFlow

TensorFlow是谷歌大腦團隊開發的深度學習框架，支持Python語言和R語言，適用于穩定的機器學習產品，以及在功能復雜的研究中使用。

TensorFlow提供了數據可視化工具TensorBoard。它能夠簡化顯示數據的過程，也可以使用Python語言和R語言的可視化包來自己開發數據可視化功能。

TensorFlow的初始版本于2015年11月9日面世，穩定版本2.4.1于2021年1月21日推出，采用Python、C++和CUDA語言開發，支持Linux、macOS、Windows和Android平臺。

2．Keras

谷歌的軟件工程師弗朗索瓦·肖萊開發了Keras。Keras擁有超過35萬用戶和700多個開源貢獻者，是成長最快的深度學習框架之一。

Keras支持Python開發的高階神經網絡API（應用程序接口），這也是它深受歡迎的原因之一。很多研究機構、實驗室和公司選擇使用 Keras。2017 年 7 月，Keras 得到了CNTK 2.0的后臺支持，2018年TensorFlow 2.0發布后，Keras被正式確定為TensorFlow的高階API開發包，即tf.keras包。

Keras的初始版本于2015年3月27日面世，穩定版本2.4.0于2020年6月17日推出。

3．PyTorch

PyTorch由Facebook的人工智能研究院（FAIR）開發，支持動態圖并提供了Python接口，是Python優先的深度學習框架。PyTorch被大公司廣泛應用。

PyTorch的初始版本于2016年9月面世，穩定版本1.7.1于2020年12月10日推出。

4．Theano

Theano由蒙特利爾大學使用Python開發，是一個擅長處理多維數組的Python庫。Theano 是 Python 深度學習中的一個關鍵基礎庫，可以直接用來創建深度學習模型或包裝庫，簡化了開發者的編碼復雜度。

Theano的初始版本于2007年面世，被稱為最早的深度學習開源框架，穩定版本1.0.5于2020年7月27日推出。Theano支持Linux、macOS和Windows平臺。

5．Caffe

Caffe（嵌入快速特征的卷積體系結構）由加利福尼亞大學伯克利分校開發，開發語言是C++，并提供Python接口。Caffe用于圖像的檢測和分類。

Caffe支持基于GPU和CPU的加速計算核心庫，例如NVIDIA、cuDNN和IntelMLK等。使用一個NVIDIA K40 GPU，Caffe可以在一天內處理超過6000萬張圖像。

6．MXNet

Apache MXNet是用于訓練和部署深度神經網絡的開源框架，由亞馬遜（Amazon）公司官方維護。MXNet支持快速的模型訓練和靈活的編程模型（支持C++、Python、Java、Julia、MATLAB/JavaScript、Go、R-Scala、Perl 和 Wolfram 等開發語言）。MXNet 庫可以很方便地部署于多種GPU平臺和各種設備（包括手機）。

7．CNTK

CNTK 是微軟公司開發的深度學習開源框架，可以通過有向圖的一系列計算步驟構建神經網絡。CNTK支持Python和C++接口，通常用于手寫文字的識別、語音識別和人臉識別。

8．PaddlePaddle

PaddlePaddle（飛槳）是百度公司推出的深度學習框架，集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件和豐富的工具組件于一體。PaddlePaddle 采用 C++和Python語言開發，支持Linux、macOS和Windows平臺。

PaddlePaddle的初始版本于2018年7月面世，穩定版本2.1于2021年5月發布。

9．MindSpore

MindSpore是華為推出的開源深度學習框架，是華為全棧全場景AI解決方案的重要組成部分。MindSpore具有以下特性。

① 開發態友好：支持自動微分、網絡+算子統一編程、函數式/算法原生表達、反向網絡算子自動生成等特性，AI科學家和工程師更易使用。

② 運行態高效：可以充分發揮昇騰芯片的大算力特性；提升并行線性度；支持深度圖優化，自適應AI Core算力和精度。

③ 部署態靈活：支持端?邊?云統一架構，實現一次開發，按需部署；按需協同計算，更好地保護隱私。

MindSpore的總體架構介紹詳見本書第2章。MindSpore的初始版本于2019年8月面世。2020年3月28日，華為宣布MindSpore正式開源。