2.1.3 參數估計

參數估計（Parameter Estimation）是統計推斷的一種基本形式，它用樣本統計量去估計總體的參數，即根據樣本數據選擇統計量去推斷總體的分布或數字特征。估計參數的目的是希望用較少的樣本去描述數據的總體分布，前提是要了解樣本總體分布（如正態分布），這樣就只需要估計其中參數的值。如果無法確認總體分布，就要采用非參數估計的方法。

參數估計最早是在18世紀末由德國數學家高斯提出的，其中有多種方法，除了最基本的最小二乘法和極大似然法、貝葉斯估計、最大后驗估計，還有矩估計、一致最小方差無偏估計、最小風險估計、最小二乘法、最小風險法和極小化極大熵法等。隨著統計分析應用越來越廣，參數估計得到了飛速的發展。

點估計（Point Estimate）是用一個樣本點的估計量直接作為某一參數的估計值。

區間估計（Interval Estimation）是在點估計的基礎上，給出總體參數的一個估計區間，該區間由樣本統計量加減估計誤差而得到，區間估計就是樣本統計量與總體參數的接近程度的一個概率度量，而這個區間就稱為置信區間。

參數估計的目標是獲取一個估計函數，向估計函數輸入測量數據，輸出相應參數的估計值/區間。通常希望得到的估計函數是最優的，即所有的信息都被提取出來了，最大化代表了整體數據的特征。一般來說，求解估計函數需要以下3步。

① 確定系統的模型，建模過程中不確定性和噪聲也會混進來。

② 確定估計器及其限制條件。

③ 驗證是否為最優估計器。

所謂的估計器可以理解為損失函數（Loss Function），上述過程不斷迭代，直到找到最優估計器，此時的模型就具有最優的置信度。

下面介紹最大（極大）似然估計（Maximum Likelihood Estimate,MLE）、貝葉斯估計（Bayes Estimate）和最大后驗（Maximum A Posteriori,MAP）估計。假設觀察的變量是x，觀察的變量取值（樣本）為X ={x,…,xn}，要估計的參數是θ,x的分布函數是p(x|θ)，這里使用條件概率來說明這個分布是依賴于θ取值的。這里將其用標量表示，在實際中 x 和θ都可以是由幾個變量組成的向量。

（1）最大似然估計中的“似然”就是“事件發生的可能性”，最大似然估計就是要找到參數θ的一個估計值，使“事件發生的可能性”最大，也就是使p(X|θ)最大。一般來說，可以認為多次取樣得到的x是獨立分布的：

由于p(xi)一般都比較小，且n一般都比較大，連乘容易造成浮點運算下溢，因此通常都取最大化對應的對數形式，將公式轉化為：

具體求解時，可對θ求導數，然后令導數為0，求出θ*ML。

最大似然估計屬于點估計，這種方法只能得到單個參數的估計值。很多時候，除了求解的值外，還需要求解θ在數據X 中的概率分布情況p(θ|X)。由于最大似然估計是根據樣本子集對總體分布情況進行估計，在樣本子集數據量較少時結果并不準確。

（2）貝葉斯估計解決的是概率估計問題。即已知一些樣本，并且它們滿足某種分布，需要估計這種分布的參數或者新數據出現的概率。最大似然估計是在對被估計量沒有任何先驗知識的前提下求得的。使用貝葉斯公式，可以把關于θ的先驗知識以及觀察數據結合起來，用以確定θ的后驗概率p(θ|X)：

其中，ZX=∫p(X|θ)p(θ)dθ是累積因子，以保證p(θ|X)的和等于1。前提條件是需要知道關于θ的先驗知識，即不同取值的概率p(θ)，例如θ=1表示考試及格，θ=0表示不及格，可以根據學習情況大體估計θ=1的可能性為80%，即p(θ=1)=0.8，而p(θ=0)=0.2。

在某個確定的θ取值下，事件x發生的概率就是p(x|θ)，這是關于θ的函數，其中X集合中的各樣本是相互獨立的，p(X|θ)就可以展開成連乘形式，從而得到p(θ|X)的表達式，不同的θ對應不同的后驗概率。這樣就可以選取一個θ，使p(θ|X)的值最大。貝葉斯估計對所有θ的取值都進行了計算，有時只希望獲得一個使p(θ|X)最大化的θ即可。

（3）最大后驗估計運用了貝葉斯估計的思想，從貝葉斯估計的公式可以看到ZX與θ是無關的，要得到使p(θ|X)最大的θ，等價于求解下面的式子：

與最大似然估計一樣，通常最大化對應的對數形式是將上述式子轉化為：

這樣就C:\Users\ADMINI~1\AppData\Local\Temp\pdf2stream\figure-0039-0036.jpg可以不用計算ZX，也不需要求所有的樣本概率p(θ|X)的值，就可以求得最大化的。

上述3種方法的應用場合不同，在先驗概率p(θ)很確定的情況下，可以使用最大后驗估計或貝葉斯估計，其中貝葉斯估計可以取得后驗概率的分布情況，而最大后驗估計只關心最大化結果的θ值。當然，如果對先驗知識沒有信心，可以使用最大似然估計。