2.1.3 常見的損失函數

損失函數是指導模型進行有效學習的基礎，基于不同的任務可以選擇或者設計不同的損失函數，使得模型可以從數據中挖掘出有價值的信息。下面我們介紹幾種常見的損失函數。

1.平方損失函數

平方損失的定義如式（2.2）所示：

其中N是樣本數量，它衡量的是模型預測的結果與標簽之間的平方差，常用于回歸類問題。

2.交叉熵損失

交叉熵（cross entropy）損失常用于分類問題中，分類模型通常輸出類別的概率分布，交叉熵衡量的是數據標簽的真實分布與分類模型預測的概率分布之間的差異程度，損失值越小，它們之間的差異就越小，模型就越能準確地進行預測。其離散形式如下：

其中p，q分別表示數據標簽的真實分布和模型預測給出的分布，p（yi|xi）表示樣本xi標簽的真實分布。一般來說，樣本xi只屬于某個類別ck，因此p（yi=ck|xi）=1，在其他類別上概率為0。表示給定樣本xi模型預測在各個類別上的概率分布。如果樣本xi的標簽為ck，那么式（2.3）可以簡化為式（2.4）：

可以看出在這種情況下，最小化交叉熵損失的就是最大化樣本標簽的似然概率。

對于二分類來說yi∈{0，1}，使用邏輯回歸可以得到樣本xi屬于類別1的概率q（yi=1|xi），那么樣本屬于類別0的概率為1–q（yi=1|xi），使用式（2.4），可以得到邏輯回歸的損失函數，如式（2.5）所示，它也被稱為二元交叉熵損失。