2.4　本章小結(jié)

在本章中我們對監(jiān)督學(xué)習(xí)線性分類器的基本概念有了很好的理解。在實(shí)現(xiàn)感知器后，了解了如何通過梯度下降的向量化實(shí)現(xiàn)高效地訓(xùn)練自適應(yīng)線性神經(jīng)元，以及通過隨機(jī)梯度下降實(shí)現(xiàn)在線學(xué)習(xí)。

現(xiàn)在已經(jīng)看到了如何用Python實(shí)現(xiàn)簡單的分類器，這為第3章的學(xué)習(xí)做好了準(zhǔn)備，我們將用Python的scikit-learn機(jī)器學(xué)習(xí)庫實(shí)現(xiàn)更先進(jìn)和更強(qiáng)大的在學(xué)術(shù)界和工業(yè)界中常用的機(jī)器學(xué)習(xí)分類器。

這里實(shí)現(xiàn)感知器和Adaline算法所用的面向?qū)ο蟮姆椒梢詭椭覀兞私鈙cikit-learn API，它是基于與本章相同的核心理念，即通過調(diào)用fit和predict方法實(shí)現(xiàn)的。基于這些核心理念，我們將學(xué)習(xí)用于建模分類概率的邏輯回歸和用于處理非線性決策邊界的支持向量機(jī)。此外，我們還將介紹一種不同類型的基于樹的有監(jiān)督學(xué)習(xí)算法，這些算法通常被合并為更為強(qiáng)大的集成分類器。

[1]A Logical Calculus of the Ideas Immanent in Nervous Activity, W. S. McCulloch and W. Pitts, Bulletin of Mathematical Biophysics, 5(4):115-133, 1943.

[2]The Perceptron: A Perceiving and Recognizing Automaton, F. Rosenblatt, Cornell Aeronautical Laboratory, 1957.

[3]An Adaptive “Adaline” Neuron Using Chemical “Memistors”, Technical Report Number 1553-2, B. Widrow and others, Stanford Electron Labs, Stanford, CA, October 1960.