1.1.4 機(jī)器學(xué)習(xí)的復(fù)雜度及其推廣能力

在機(jī)器學(xué)習(xí)問(wèn)題中，有時(shí)會(huì)刻意地追求小的訓(xùn)練誤差而把學(xué)習(xí)機(jī)器設(shè)計(jì)得很復(fù)雜，但這往往并不能達(dá)到好的預(yù)測(cè)效果，并且會(huì)導(dǎo)致學(xué)習(xí)機(jī)器推廣能力（學(xué)習(xí)機(jī)器的推廣能力是指正確預(yù)測(cè)未來(lái)輸出的能力）的下降。其中最典型的是“過(guò)學(xué)習(xí)”問(wèn)題。

產(chǎn)生“過(guò)學(xué)習(xí)”問(wèn)題的原因：一方面是學(xué)習(xí)機(jī)器設(shè)計(jì)得不合理，另一方面是學(xué)習(xí)樣本的數(shù)目太少。所以，在有限樣本情況下采用復(fù)雜的學(xué)習(xí)機(jī)器雖然容易使學(xué)習(xí)誤差變小，但喪失了學(xué)習(xí)機(jī)器的推廣能力。

在實(shí)際問(wèn)題中，如何在學(xué)習(xí)機(jī)器的復(fù)雜性與推廣能力之間取得折中，是學(xué)習(xí)機(jī)器能否達(dá)到期望的一個(gè)重要原因。在有限樣本的情況下，要盡量使VC維小，不要采用過(guò)于復(fù)雜的分類器或者神經(jīng)網(wǎng)絡(luò)；在模型選擇的過(guò)程中，雖然很多問(wèn)題不是線性的，但由于樣本數(shù)目有限，采用線性分類器往往可以取得很好的結(jié)果。