官术网_书友最值得收藏!

1.3.1 神經(jīng)元模型

人類大腦神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都具有來自其他神經(jīng)元(突觸)的輸入連接。這些神經(jīng)元以電荷的形式接受刺激,并且每個(gè)神經(jīng)元都有一個(gè)核用于決定輸入如何刺激神經(jīng)元,從而判斷是否觸發(fā)神經(jīng)元的激活。在神經(jīng)元的末端,輸出信號(hào)通過樹突傳播到其他神經(jīng)元,從而形成神經(jīng)元網(wǎng)絡(luò)。

深度學(xué)習(xí)與人類神經(jīng)元的相似之處如圖1.3所示,其中輸入由向量x表示,神經(jīng)元的激活用函數(shù)z(·)表示,輸出為y。神經(jīng)元的參數(shù)為w和b。

圖1.3 神經(jīng)元的基本結(jié)構(gòu)

神經(jīng)元的可訓(xùn)練參數(shù)為w和b,它們是未知的。因此,可以使用一些學(xué)習(xí)策略通過訓(xùn)練數(shù)據(jù)D來確定這些參數(shù)。從圖1.3可以看出,,b乘1,將這些乘積全部加起來,可以簡化為:

激活函數(shù)用于確保輸出在期望的輸出范圍之內(nèi)。假設(shè)我們想要一個(gè)簡單的線性激活方式,那么可以讓函數(shù)不存在或者繞過函數(shù),如下所示:

當(dāng)我們想要解決一個(gè)回歸問題,并且輸出數(shù)據(jù)的范圍從-∞到+∞時(shí),通常會(huì)出現(xiàn)這種情況。然而,可能需要訓(xùn)練神經(jīng)元來確定向量x是否屬于兩個(gè)類(比如-1和+1)中的一個(gè),此時(shí)將更適合使用稱為符號(hào)函數(shù)的激活函數(shù):

其中函數(shù)的定義如下:

還有許多其他類型的激活函數(shù),我們將在后面陸續(xù)介紹它們。下面簡要展示一個(gè)最簡單的學(xué)習(xí)算法——感知機(jī)學(xué)習(xí)算法(PLA)

主站蜘蛛池模板: 大城县| 财经| 阜阳市| 固始县| 凌海市| 龙门县| 双鸭山市| 汉源县| 时尚| 亳州市| 大荔县| 靖州| 保德县| 咸宁市| 遂平县| 夏津县| 开化县| 滨州市| 常山县| 潞城市| 乡城县| 乡城县| 新建县| 沽源县| 温泉县| 仙游县| 内江市| 壤塘县| 吉木萨尔县| 子洲县| 云安县| 淅川县| 时尚| 正阳县| 侯马市| 浦县| 盱眙县| 山阴县| 湾仔区| 兰西县| 江门市|