第3章 前饋神經(jīng)網(wǎng)絡(luò)

本章內(nèi)容

◎感知器模型

◎多層神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)

◎損失函數(shù)和輸出單元的選擇

◎TensorFlow實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)

從本章起，我們將正式開始介紹深度神經(jīng)網(wǎng)絡(luò)模型，以及學(xué)習(xí)如何使用TensorFlow實(shí)現(xiàn)深度學(xué)習(xí)算法。人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)）在一定程度上受到了生物學(xué)的啟發(fā)，期望通過一定的拓?fù)浣Y(jié)構(gòu)來模擬生物的神經(jīng)系統(tǒng)，是一種主要的連接主義模型（人工智能三大主義：符號主義、連接主義和行為主義）。

本章將從最簡單的神經(jīng)網(wǎng)絡(luò)模型——感知器模型開始，首先了解感知器模型（單層神經(jīng)網(wǎng)絡(luò)）能夠解決什么樣的問題，以及它所存在的局限性。為了克服單層神經(jīng)網(wǎng)絡(luò)的局限性，我們必須拓展到多層神經(jīng)網(wǎng)絡(luò)。圍繞多層神經(jīng)網(wǎng)絡(luò)，我們會進(jìn)一步介紹常用的激活函數(shù)等。本章的內(nèi)容是深度學(xué)習(xí)的基礎(chǔ)，對于理解后續(xù)章節(jié)的內(nèi)容非常重要。

深度學(xué)習(xí)的概念是從人工神經(jīng)網(wǎng)絡(luò)的研究中發(fā)展而來的，早期的感知器模型只能解決簡單的線性分類問題，后來發(fā)現(xiàn)通過增加網(wǎng)絡(luò)的層數(shù)可以解決類似于“異或問題”的線性不可分問題，這種多層的神經(jīng)網(wǎng)絡(luò)又被稱為多層感知器。對于多層感知器，我們使用反向傳播算法進(jìn)行模型的訓(xùn)練，但是我們發(fā)現(xiàn)反向傳播算法有著收斂速度慢、容易陷入局部最優(yōu)等缺點(diǎn)，限于當(dāng)時計算機(jī)的算力及數(shù)據(jù)量的不足，反向傳播算法無法很好地訓(xùn)練多層感知器。另外，當(dāng)時使用的激活函數(shù)也存在著梯度消失的問題，這使得人工神經(jīng)網(wǎng)絡(luò)的發(fā)展幾乎陷入了停滯狀態(tài)。

為了讓多層神經(jīng)網(wǎng)絡(luò)能夠訓(xùn)練，學(xué)者們探索了很多的改進(jìn)方案，直到2006年杰弗里·辛頓等人基于深度置信網(wǎng)絡(luò)（DBN）提出了無監(jiān)督貪心逐層訓(xùn)練算法，才讓這一問題的解決有了希望，深度學(xué)習(xí)的概念也是在這一年由杰弗里·辛頓等人提出的。

本章內(nèi)容主要包括四個部分：第一部分介紹神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，從基本的感知器模型到多層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；第二部分介紹神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)；第三部分介紹損失函數(shù)和輸出單元的選擇；第四部分是使用TensorFlow搭建一個簡單的多層神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)MNIST手寫數(shù)字的識別。

本章知識結(jié)構(gòu)圖