2.2.5　支持向量機(jī)算法

在邏輯回歸算法中，用Sigmoid函數(shù)來劃分1和0兩類，而在支持向量機(jī)算法中，則用是否能使預(yù)定義的函數(shù)大于1來劃分+1和-1兩類。

支持向量機(jī)算法是最著名的機(jī)器學(xué)習(xí)方法之一。支持向量機(jī)算法需要通過計算找到一個分割超平面。在二維坐標(biāo)系中，超平面是一條線；在三維坐標(biāo)系中，超平面就是一個平面；在更高維度的坐標(biāo)系中，超平面就是在N維空間里的一個N-1維的存在。在支持向量機(jī)算法中，分割超平面是指能夠區(qū)分兩類數(shù)據(jù)的一個決策邊界。好的支持向量機(jī)算法能讓分割超平面盡量遠(yuǎn)離任何一類數(shù)據(jù)。

那么應(yīng)該如何判斷超平面是否遠(yuǎn)離任何一類數(shù)據(jù)呢？方法是用w轉(zhuǎn)置后乘以數(shù)據(jù)x，再加上一個常量b，可得到數(shù)據(jù)x到?jīng)Q策邊界的距離。如圖2.5所示的超平面就是三維坐標(biāo)系中的分割超平面，分割超平面上面的數(shù)據(jù)和分割超平面下面的數(shù)據(jù)是兩類數(shù)據(jù)。

圖2.5　超平面示意圖

邏輯回歸算法通過Sigmoid(wTx)是否大于或等于0.5來劃分1類和0類，支持向量機(jī)算法則通過label×(wTx+b)是否大于或等于1來劃分+1類和-1類，label是+1或-1。wTx+b定義了分割超平面，即能夠區(qū)分兩類數(shù)據(jù)的決策邊界。分割超平面到數(shù)據(jù)的距離是數(shù)據(jù)與label相乘，也就是和+1或-1相乘，距離大于0表示分類正確，距離小于0表示分類錯誤。

用數(shù)學(xué)語言來表述，|wTx+b|表示數(shù)據(jù)x到分割超平面的距離，通過觀察wTx+b的符號與label的符號是否一致可判斷分類是否正確，因此可以用label×(wTx+b)的正負(fù)性來判定分類的正確性。

支持向量機(jī)算法需要尋找的參數(shù)是w和b，首先需要找到與分割超平面距離最小的數(shù)據(jù)，也就是尋找一個到?jīng)Q策邊界距離最小的x，用數(shù)學(xué)語言來表述，就是找到(wTx+b)/||w||最小值對應(yīng)的x；然后尋找能讓這個距離最大化的w和b。在尋找使距離最大化的w和b時，主要采用序列最小化算法，將最大化問題分解為多個小的優(yōu)化問題。簡單地說，就是把w轉(zhuǎn)置后與x相乘的過程，變?yōu)橐恍?span id="4wpbfky" class="emphasis_italic">α與x相乘的過程。首先將全部α定義為0，從中挑出兩個α，其他α不變，嘗試找到能達(dá)到最好效果的α，以此類推找到全部α和b；然后將新數(shù)據(jù)輸入距離公式計算其到?jīng)Q策邊界的距離。如果這個距離為正數(shù)，就判斷新數(shù)據(jù)為+1類；如果這個距離為負(fù)數(shù)，就判斷新數(shù)據(jù)為-1類。

用一句話來概括支持向量機(jī)算法，就是讓分割超平面盡量遠(yuǎn)離任何一類數(shù)據(jù)。作為最著名的機(jī)器學(xué)習(xí)分類方法之一，支持向量機(jī)算法具有直觀、準(zhǔn)確等優(yōu)點，但也存在計算量大等缺點。