1.2.3　深度學習的3種結構類型

深度學習從神經網絡的結構和技術應用上可以劃分為3類：生成型深度結構、判別型深度結構和混合型深度結構。

1．生成型深度結構

生成型深度結構旨在模式分析過程中描述觀測數據的高層次相關特征，或者描述觀測數據與其相關類別的聯合概率分布，這方便了先驗概率和后驗概率的估計，通常使用無監督學習處理該結構的學習。當應用生成模型時，需要大量含標簽訓練樣本集，該模型的收斂速度較慢，容易陷入局部最優解中。生成型深度結構的深度學習模型主要有自編碼器、受限玻爾茲曼機等。

2．判別型深度結構

判別型深度結構旨在提供對模式分類的區分性能力，通常描述數據的后驗分布。卷積神經網絡是第一個真正成功訓練多層網絡結構的學習算法，它屬于判別型訓練算法。受視覺系統結構的啟示，當具有相同參數的神經元應用于前一層的不同位置時，便可以捕獲一種變換不變性特征。經過不斷的發展，出現了利用BP算法設計訓練的CNN。CNN作為深度學習框架是基于最小化預處理數據要求而產生的。受早期的時間延遲神經網絡影響，CNN通過共享時域權值降低復雜度。CNN是利用空間關系減少參數數目以提高一般前向BP訓練的一種拓撲結構，并在多個實驗中獲取了較好性能。在CNN中被稱作局部感受區域的圖像的一小部分作為分層結構的最底層輸入。信息通過不同的網絡層次進行傳遞，因此在每一層能夠獲取對平移、縮放和旋轉不變的觀測數據的顯著特征。

3．混合型深度結構

混合型深度結構的目的是對數據類型進行判別、分類。該學習過程包含兩個部分：生成部分和區分部分。在應用生成型深度結構解決分類問題時，因為現有的生成型結構大多數都是用于對數據的判別，可以結合判別型模型在預訓練階段對網絡的所有權值進行優化，例如，通過深度置信網絡進行預訓練后的深度神經網絡。