2.1.8 嵌入方法

過濾方法與機器學習算法相互獨立，而且不需要交叉驗證，計算效率比較高。但是，過濾方法沒有考慮機器學習算法的特點。封裝方法使用預先定義的機器學習算法來評估特征子集的質量，需要訓練模型很多次，計算效率很低。嵌入方法則是將特征選擇嵌入模型的構建過程中，具有封裝方法與機器學習算法相結合的優點，而且具有過濾方法計算效率高的優點。嵌入方法是實際應用中最常見的方法，彌補了前面兩種方法的不足。

最常用的是使用L1正則化和L2正則化來選擇特征。正則化懲罰項越大，那么模型的系數就會越小。當正則化懲罰項大到一定程度的時候，部分特征系數會變成0，而當正則化懲罰項繼續增大到一定程度時，所有的特征系數都會趨于0。但是，我們會發現一部分特征系數更容易先變成0，這部分系數就是可以篩掉的。也就是說，我們選擇特征系數較大的特征。邏輯回歸就是常用L1正則化和L2正則化來選擇特征的基學習器。除了對最簡單的線性回歸系數添加Ll懲罰項之外，任何廣義線性模型（如邏輯回歸、FM、FFM以及神經網絡模型）都可以添加Ll懲罰項。

另一類嵌入方法是基于基學習器的特征選擇方法，一般來說，可以得到特征系數或者特征重要度的算法才可以作為嵌入方法的基學習器。常見的是樹算法的應用，在決策樹中，深度較淺的節點一般對應的特征分類能力更強（可以將更多的樣本區分開）。對于基于決策樹的算法（如隨機森林），重要的特征更有可能出現在深度較淺的節點，而且出現的次數可能更多。因此，可以基于樹模型中的特征出現次數等指標來對特征進行重要性排序。

嵌入方法也用機器學習來選擇特征，但它和RFE的區別是，它不是通過不停地篩掉特征來進行訓練，而是使用特征全集。