3.4　線性回歸的梯度下降模型

利用最小二乘法求解多元線性回歸參數(shù)集合的方法雖然在數(shù)學(xué)表達(dá)上十分簡(jiǎn)潔，但是完美中往往存在瑕疵，而定理大多存在邊界，就像牛頓力學(xué)，在宏觀低速場(chǎng)景中威力無(wú)窮，遇山開(kāi)路，遇水搭橋，但是到了光速的世界，原子甚至更小的維度就完全失效了。最小二乘法求解多元方程存在兩個(gè)主要的應(yīng)用障礙：第一個(gè)障礙來(lái)源于數(shù)學(xué)表達(dá)式本身，由于表達(dá)式中存在求矩陣的逆運(yùn)算操作，結(jié)合線性代數(shù)中逆的定義，我們要求是滿秩矩陣或正定矩陣；第二個(gè)障礙來(lái)自于數(shù)據(jù)集大小的挑戰(zhàn)，進(jìn)入大數(shù)據(jù)時(shí)代，特征數(shù)據(jù)集的數(shù)量與日俱增，超巨型的數(shù)據(jù)集合產(chǎn)生的數(shù)據(jù)矩陣在進(jìn)行3.3節(jié)的計(jì)算機(jī)運(yùn)算時(shí)很容易達(dá)到瓶頸，運(yùn)算速度超出我們接受的范圍。

在說(shuō)明梯度最小的最初，首先要改變我們的最終目標(biāo)，不再追求完美解（E的全局最優(yōu)解，局部極小），而是希望得到一個(gè)不錯(cuò)的近似解（E的局部最優(yōu)解，全局最小）。比如，我們考試的目的是要得到100分，而考99分這個(gè)分?jǐn)?shù)已經(jīng)足夠上一所滿意的大學(xué)，也許不完美，可是接受不完美并不斷向前探索正是人類的美好屬性。從直觀的向量空間可以這樣解釋，這是一個(gè)沿著當(dāng)前降低的趨勢(shì)向著空間局部最低不斷逼近的過(guò)程，如圖3.2所示。

圖3.2　梯度下降示意圖

局部極小值E對(duì)應(yīng)的參數(shù)解集合是參數(shù)向量空間中的一個(gè)點(diǎn)，這個(gè)點(diǎn)相鄰的點(diǎn)的預(yù)測(cè)值和標(biāo)簽值的偏差平方和均不小于該點(diǎn)的偏差平方和；全局最小值E對(duì)應(yīng)的參數(shù)解集合則是我們放眼整個(gè)參數(shù)向量空間，空間中每一個(gè)點(diǎn)的預(yù)測(cè)值和標(biāo)簽值的偏差平方和均不小于該點(diǎn)的偏差平方和。參數(shù)向量空間中會(huì)有多個(gè)局部極小值，而只有一個(gè)全局最小值。求解最小值的方法就是在這個(gè)空間里面打個(gè)“滑梯”，向著梯度下降的方向滑動(dòng)，最終能夠到達(dá)某個(gè)空間的洼地，如圖3.3所示。

圖3.3　梯度下降結(jié)果逼近過(guò)程

用數(shù)學(xué)語(yǔ)言較為準(zhǔn)確地描述，從函數(shù)的某個(gè)初始解出發(fā)，通過(guò)迭代循環(huán)的方法進(jìn)行搜索求解。如果每次都向著函數(shù)值下降（梯度為負(fù)指示）的方向移動(dòng)，當(dāng)誤差函數(shù)在當(dāng)前梯度為零時(shí)，就停止循環(huán)，這時(shí)參數(shù)矩陣的值就是近似最優(yōu)解（如果函數(shù)只有一個(gè)局部最小值，這個(gè)近似解就等于最優(yōu)解）。

首先對(duì)損失函數(shù)J(θ)求偏導(dǎo)，得到：

然后θ_i進(jìn)行參數(shù)更新，更新過(guò)程可以理解成θ_i沿著梯度下降最快的方向進(jìn)行遞減的過(guò)程。等式左邊的θ_i表示更新之前的值，等式右邊表示沿著梯度方向減少的量，α表示步長(zhǎng)，也稱作學(xué)習(xí)速度，這個(gè)值需要人工手動(dòng)設(shè)置。