2.3.1　線性回歸算法

線性回歸算法是指其使用的模型是線性的，也就是說，對于每個樣本，其輸出值都是特征的線性組合；而非線性回歸算法使用的模型是非線性的，對于每個樣本，其輸出值是特征的非線性組合。線性回歸算法和非線性回歸算法的目標都是一致的，就是使預測結果盡可能地與目標函數或數據擬合。

線性回歸算法的示意圖如圖2.7所示，數據為多個樣本點，線性回歸算法就是找到一條曲線y=h(x)，使得每個數據點到這個曲線的距離的絕對值之和最小。

圖2.7　線性回歸算法的示意圖

線性回歸算法是通過迭代來實現的。設曲線為y=ax+b，即一條直線，a和b是要求的參數。擬合步驟如下：分別給a和b一個初始的參數（如1），將所有數據x代入y=ax+b，可得到N個y值，計算得到的y值與真實y值之差的絕對值就是誤差（也稱為損失）。繼續調整參數a和b，循環上面過程，可得到一個新的更小一些的誤差。如此循環，使誤差越來越小，直到誤差收斂為一個基本的固定值為止，并最終固定a和b。此時將任何新數據代入y=ax+b，都可得到一個接近真實y值的結果。

線性回歸算法的模型可以表述為：對于一個樣本xi，其輸出值是其特征的線性組合，即：

線性回歸算法的目標是用預測結果盡可能地擬合目標標簽，其損失函數為：