第2章　經典決策樹算法

決策樹是一種流行而強大的機器學習算法。它是一種非參數化的有監督學習方法，可用于分類和回歸任務。它通過學習樣本數據集創建一個模型，獲得一些決策規則來預測目標變量的值。對于分類模型來說，目標值在本質上是離散的，而對于回歸模型來說，目標值由連續值表示。與人工神經網絡等算法不同，決策樹相對來說更容易理解和解釋，因為它共享內部決策邏輯。盡管許多數據科學家認為這是一個老方法，而且由于過擬合問題，他們可能對其準確性有一些懷疑，但最近的基于樹的模型，特別是隨機森林、梯度提升和XGBoost等建立在決策樹算法之上的機器學習模型獲得了巨大的成功，使古老的決策樹模型煥發新春！因此，決策樹背后的概念和算法是非常值得了解的。本章首先介紹一些經典的決策樹算法，包括CART、ID3和C4.5算法。