1.3.2 極大似然估計

最小二乘法由于沒有考慮被估計參數和觀測數據的統計特性，因此不是最優估計。由于最小二乘法在計算上比較簡單，因此是一種應用最廣泛的估計方法。1912年，英國統計與遺傳學家羅納德·費希爾（Ronald Fisher，1890—1962年）提出了極大似然估計方法，從概率密度出發來考慮估計問題，對估計理論做出了重大貢獻。該方法也由 Fisher 第一次正式命名為 Maxmum Likelihood Estimation。1950年，J.Wiley&Sons再次提到這個思想，并首次探討了極大似然估計的一些性質，如一致性、不變性等，使得極大似然估計方法能更好地估計參數。

為了說明極大似然估計的基本原理，我們不用復雜的公式表示，而采用圖1.2為大家介紹。在兩個外形完全相同的箱子中，A箱子中有99個黑球和1個白球，B箱子中有99個白球和1個黑球。在一次實驗中中取出1個球，結果取出的是黑球。那么問黑球從哪個箱子中取出？人們的第一印象就是此黑球來自A箱子的可能性非常大，這個推斷符合人們的經驗事實。這種最大可能的推斷，被稱為“最大似然原理”。

圖1.2 極大似然估計圖例

極大似然估計的目的就是，利用已知的樣本結果，反推最有可能（最大概率）導致這樣結果的參數值。極大似然估計是建立在極大似然原理的基礎上的一個統計方法，是概率論在統計學中的應用。極大似然估計提供了一種給定觀測數據來評估模型參數的方法，即“模型已定，參數未知”。通過若干次試驗，觀察其結果，利用試驗結果得到某個參數值能夠使樣本出現的概率為最大，便是極大似然估計的核心。最大似然估計也是機器學習中一個非常重要的、必須掌握的知識點。

在利用極大似然估計解決實際問題時，我們能獲得的數據可能只是有限數目的樣本數據，而先驗概率和類條件概率（各類的總體分布）都是未知的。極大似然估計方法目前仍然在各領域被廣泛應用，如氣象預報、質量檢測、可靠性分析、遺傳工程、機器制造、國防、化工、冶金、醫藥衛生和環境等領域。