1.1.1 機器學習問題的基本框架

機器學習（Machine Learning）是現代智能技術中重要的一個方面，是一個系統自我改進的過程，可以從觀測樣本去研究、分析對象，去預測輸出。機器學習問題的基本模型框架如圖1.1.1所示。輸入信號x經過系統得到輸出信號y，學習機根據訓練樣本對系統的輸入/輸出做出估計，得到最準確的預測輸出。其數學表述為：輸入變量x與輸出變量y之間存在一定的未知依賴關系，即服從某一未知的聯合概率密度p_XY（x，y）。機器學習的目的就是根據N個獨立同分布的觀測樣本（x（1），y（1）），（x（2），y（2）），…，（x（N），y（N）），在一組函數{f（x，w）}中求出最優的函數f（x，w₀）對依賴關系進行估計，使期望風險R（w）最小。

圖1.1.1 機器學習問題的基本模型框架

式中，{f（x,w）}為預測函數集，w為函數的廣義參數，所以{f（x,w）}可表示為任何函數集。L（y,f（x,w））為損失函數，表示由于對y進行預測而造成的損失。

機器學習問題根據不同的學習目的可分為三類基本的學習問題，即模式識別、函數擬合及概率密度估計。

在模式識別問題中，輸出變量y即為類別，可用二值函數{0,1}或{-1,1}來表示。此時，預測函數f（x,w）稱為指示函數，損失函數定義為

在函數擬合問題中，變量y是x的函數，y是連續變量，所以損失函數可以用平方誤差表示，即

在概率密度估計問題中，學習的目的就是根據訓練樣本確定輸入變量x的概率密度，所以設估計的概率密度函數為p（x,w），則損失函數可定義為