第3章　監(jiān)督學(xué)習(xí)：線性回歸

統(tǒng)計學(xué)家使用線性回歸的方法已經(jīng)有很多年的歷史了。德國著名數(shù)學(xué)家高斯（Gauss）在1800年首先提出了最小二乘法理論，奠定了線性回歸的基礎(chǔ)。在機器學(xué)習(xí)過程中，我們不需要假設(shè)線性關(guān)系（在本書中，我們將介紹的很多方法都會利用非線性模型）。但是，線性回歸依然是機器學(xué)習(xí)中很重要的一種方法論，它常常是監(jiān)督學(xué)習(xí)分析最先采用的方法之一。

當(dāng)模型目標(biāo)值可以被一個或多個特征預(yù)測時，一般線性回歸的核心是對均方誤差（mean square error，MSE）的最小化，對于這一點很多讀者都非常熟悉。在本章中，我們將介紹如何將分類型特征（非數(shù)值型特征）加入線性回歸模型來進行預(yù)測分析。然后，我們將分別討論嶺回歸、套索回歸和彈性網(wǎng)絡(luò)回歸如何在特征數(shù)目較多時進行預(yù)測分析。最后，我們將介紹邏輯回歸，這是一種旨在對于數(shù)據(jù)進行分類的方法。