2.2.4　邏輯回歸算法

上述分類(lèi)方法基本都是一些簡(jiǎn)單的概率計(jì)算，可通過(guò)手工推導(dǎo)來(lái)得到結(jié)果，從接下來(lái)介紹的邏輯回歸算法開(kāi)始，均無(wú)法通過(guò)手工推導(dǎo)來(lái)得到結(jié)果。

邏輯回歸算法需要確定對(duì)于輸入x的最佳系數(shù)w，將w的轉(zhuǎn)置與x相乘，即：

邏輯回歸算法的輸入是Sigmoid函數(shù)，如圖2.4所示，如果，則屬于1類(lèi)；如果，則屬于0類(lèi)。

圖2.4　Sigmoid函數(shù)

對(duì)上述的電影數(shù)據(jù)進(jìn)行簡(jiǎn)化，電影名與不同鏡頭的個(gè)數(shù)如表2.4所示。

表2.4　電影名與不同鏡頭的個(gè)數(shù)

在邏輯回歸算法中，只用到4部老電影，即2部愛(ài)情片和2部動(dòng)作片。每部影片的打斗鏡頭、接吻鏡頭和爆破鏡頭的個(gè)數(shù)，構(gòu)成了邏輯回歸算法的輸入x，即4行3列的矩陣。在采用邏輯回歸算法進(jìn)行處理時(shí)，首先將x將賦初值為一個(gè)4行1列的向量x1，將w1轉(zhuǎn)置后與x1相乘，并輸入Sigmoid函數(shù)，可得到4個(gè)0～1之間的數(shù)，組成一個(gè)4×1的向量，這個(gè)向量與老電影的類(lèi)別標(biāo)簽向量相減，兩個(gè)向量相減后得到的數(shù)值就是權(quán)重為當(dāng)前w1時(shí)輸出的誤差e1。類(lèi)別標(biāo)簽向量是將類(lèi)別按照順序排列成一個(gè)4×1的向量，如本例中愛(ài)情片的類(lèi)別是1、動(dòng)作片的類(lèi)別是0，則類(lèi)別標(biāo)簽向量是1010。然后更新w，也就是計(jì)算w2=αxe1+w1，其中α是一個(gè)固定的更新系數(shù)，也稱(chēng)為步長(zhǎng)（通常α取類(lèi)似0.1、0.001的數(shù)），其作用是一點(diǎn)點(diǎn)地調(diào)整w的值，經(jīng)過(guò)反復(fù)調(diào)整若干次，如500次，可得到w500，將w500轉(zhuǎn)置后與x相乘，并輸入Sigmoid函數(shù)，得到的輸出大于0.5，因此判斷新電影屬于1類(lèi)，即愛(ài)情片。

用一句話總結(jié)，邏輯回歸算法就是通過(guò)Sigmoid函數(shù)計(jì)算最佳擬合參數(shù)w。邏輯回歸算法的缺點(diǎn)是當(dāng)特征空間很大或特征數(shù)量過(guò)多時(shí)，其性能不是很好。