5.2 邏輯回歸

根據(jù)上一節(jié)對(duì)數(shù)據(jù)集的描述，可知本章的實(shí)驗(yàn)是一個(gè)二分類(lèi)的模型訓(xùn)練，即對(duì)乳腺癌數(shù)據(jù)集中惡性腫瘤M（1）和良性腫瘤B（0）的分類(lèi)。邏輯回歸（Logistic Regression）是當(dāng)前最常用的二分類(lèi)模型，屬于廣義線性模型（Generalized Linear Model）家族，因其模型簡(jiǎn)單且效果較好被廣泛使用。本章采用邏輯回歸作為實(shí)驗(yàn)?zāi)Ｐ汀?/p>

我們先簡(jiǎn)要回顧線性回歸的定義。線性回歸模型是通過(guò)對(duì)特征值x=（x₁，x₂，· · ·，x_n）進(jìn)行線性組合來(lái)預(yù)測(cè)標(biāo)簽值y，即滿(mǎn)足：

通常使用向量的形式簡(jiǎn)化表示為

其中W=（w₁；w₂；· · ·；w_n），X=（x₁，x₂，· · ·，x_n）。

利用式（5.2）得到的y值是一個(gè)連續(xù)值，而二元分類(lèi)的輸出是一個(gè)只包含0和1的離散值，為此，我們可以在式（5.2）連續(xù)值輸出的基礎(chǔ)上，再進(jìn)行非線性的映射，即尋找一個(gè)可微的非線性函數(shù)f將離散標(biāo)簽值y與線性回歸的預(yù)測(cè)連續(xù)值聯(lián)系起來(lái)：

在邏輯回歸中，我們使用邏輯斯蒂函數(shù)來(lái)充當(dāng)這個(gè)非線性映射的角色，邏輯斯蒂函數(shù)的表示形式為

其函數(shù)圖像如圖5-2所示。

可以看出，利用邏輯回歸進(jìn)行分類(lèi)預(yù)測(cè)時(shí)，當(dāng)線性回歸預(yù)測(cè)值W^T+b≥0時(shí)，則判斷為正例，輸出為1；否則，判斷為負(fù)例，輸出0。