1.3 深度學(xué)習(xí)簡介

為了學(xué)習(xí)一種好的表示，需要構(gòu)建具有一定“深度”的模型，并通過學(xué)習(xí)算法讓模型自動學(xué)習(xí)出好的特征表示（從底層特征到中層特征，再到高層特征），從而最終提升預(yù)測模型的準(zhǔn)確率。所謂“深度”，是指對原始數(shù)據(jù)進行非線性特征轉(zhuǎn)換的次數(shù)。如果把一個表示學(xué)習(xí)系統(tǒng)看作一個有向圖結(jié)構(gòu)，深度也可以看作從輸入節(jié)點到輸出節(jié)點所經(jīng)過的最長路徑的長度。

這樣我們就需要一種學(xué)習(xí)方法可以從數(shù)據(jù)中學(xué)習(xí)一個“深度模型”，這就是深度學(xué)習(xí)（Deep Learning，DL）。深度學(xué)習(xí)是機器學(xué)習(xí)的一個子問題，其主要目的是從數(shù)據(jù)中自動學(xué)習(xí)到有效的特征表示。

圖1.2給出了深度學(xué)習(xí)的數(shù)據(jù)處理流程，通過多層的特征轉(zhuǎn)換，把原始數(shù)據(jù)變成更高層次、更抽象的表示。這些學(xué)習(xí)到的表示可以替代人工設(shè)計的特征，從而避免“特征工程”。

深度學(xué)習(xí)將原始的數(shù)據(jù)特征通過多步的特征轉(zhuǎn)換得到一種特征表示，并進一步輸入到預(yù)測函數(shù)中得到最終結(jié)果。和“淺層學(xué)習(xí)”不同，深度學(xué)習(xí)需要解決的關(guān)鍵問題是貢獻(xiàn)度分配問題（Credit Assignment Problem，CAP），即一個系統(tǒng)中不同的組件（Component）或其參數(shù)對系統(tǒng)最終輸出結(jié)果的貢獻(xiàn)或影響。以下圍棋為例，每當(dāng)下完一盤棋，最后的結(jié)果要么贏要么輸。我們會思考哪幾步棋導(dǎo)致了最后的勝利，或者又是哪幾步棋導(dǎo)致了最后的敗局。如何判斷每一步棋的貢獻(xiàn)就是貢獻(xiàn)度分配問題，這是一個非常困難的問題。從某種意義上講，深度學(xué)習(xí)可以看作一種強化學(xué)習(xí)（Reinforcement Learning，RL），每個內(nèi)部組件并不能直接得到監(jiān)督信息，需要通過整個模型的最終監(jiān)督信息（獎勵）得到，并且有一定的延時性。

圖1.2 深度學(xué)習(xí)的數(shù)據(jù)處理流程

目前，深度學(xué)習(xí)采用的模型主要是神經(jīng)網(wǎng)絡(luò)模型，主要原因是神經(jīng)網(wǎng)絡(luò)模型可以使用誤差反向傳播算法，可以比較好地解決貢獻(xiàn)度分配問題。只要是超過一層的神經(jīng)網(wǎng)絡(luò)，都會存在貢獻(xiàn)度分配問題，因此可以將超過一層的神經(jīng)網(wǎng)絡(luò)都看作深度學(xué)習(xí)模型。隨著深度學(xué)習(xí)的快速發(fā)展，模型深度也從早期的5～10層增加到目前的數(shù)百層。隨著模型深度的不斷增加，其特征表示的能力也越來越強，從而使后續(xù)的預(yù)測更加容易。