§2.3　最小二乘估計

在回歸分析中有很多種構造樣本回歸函數的方法，而最廣泛使用的一種是普通最小二乘法（method of ordinary least squares, OLS）

一、普通最小二乘法（OLS）

普通最小二乘法是由德國數學家高斯（C.F.Gauss）最早提出和使用的。在一定的假設條件下，最小二乘估計量有著非常好的統計性質，從而使它成為回歸分析中最有功效和最為流行的方法之一。我們首先從最小二乘原理談起：

一元線性回歸模型（總體）

是一個不可觀測的模型。因為通常得不到總體的全部觀測值，我們只能通過總體的一個樣本去推測它。即只能通過樣本回歸模型去估計總體回歸模型。樣本回歸模型為

其中是E（Y｜Xi）的估計量。

那么，樣本回歸模型又是怎樣確定的呢？將式（2.10）寫成

其中殘差ei是實際值Yi與估計值之差。對于給定的Y和X的n對觀測值，我們希望樣本回歸模型的估計值盡可能地靠近觀測值Yi。為了達到此目的，我們就必須使用最小二乘準則，使

盡可能地小，其中e2i是殘差的平方。

由式（2.12）可以看出：

也就是說，殘差平方和是估計量的函數，對任意給定的一組數據（樣本），選擇不同的和值將得到不同的ei，從而有不同的∑e2i值。微積分的知識告訴我們，∑e2i對和的偏導數為0時，將使∑e2i最小。

令

得到下列方程：

其中n是樣本容量。求解該聯立方程，可得

分別為X和Y的樣本均值

上面得到的估計量，是從最小二乘原理演算而得的。因此，稱其為最小二乘估計量。

在此需要交代相關的兩個重要概念：估計量（estimator）和估計值（estimate）。給定X和Y的樣本數據，就可以據式（2.18），（2.19）計算出和的結果值，這是根據一個確定樣本計算出來的，稱其為參數β1，β2的估計值。在沒有確定具體樣本前，式（2.18）和（2.19）是和的表達式，它們都是Yi的函數。由于Yi是隨機變量，所以和也是隨機變量，因此稱其為估計量。

二、經典線性回歸模型

如果我們的目的僅僅是估計β1和β2，那么普通最小二乘法就足夠用了。但在回歸分析中，我們的目的不僅僅是獲得β1，β2的估計值，，而是要對真實β1和β2做出推斷。例如，我們想知道和離它們的總體真值β1和β2有多近，或者距離其期望值E（Y｜Xi）有多近。為達這一目的，我們不僅要確定模型的函數形式，還要對Yi的產生方式做出某些假定。在總體回歸模型中，Yi=β1+β2Xi+ui,Yi依賴于Xi和ui。因此，除非我們明確Xi和ui是怎樣產生的，否則，我們將無法對Yi做出任何統計推斷，同時，也無法對用和推斷其真實值β1和β2的效果進行判斷。就是說，為了回歸估計的有效解釋，對Xi變量和誤差項ui做出假設是極其重要的。

對于總體線性回歸模型，其經典假定如下：

假定1　誤差項ui的均值為零。對于給定的Xi值，隨機誤差項ui的均值或期望值為零，即ui的條件均值為零，記為

這一假定的實際意義為：凡是模型中不顯含的并因而歸屬于ui的因素，對Y的均值都沒有系統的影響，正的ui值抵消了負的ui值，它們對Y的平均影響為零。

假定2　同方差性或ui的方差相等。對所有給定的Xi,ui的方差都是相同的。就是說，ui的條件方差是恒定的，即

其中Var表示方差。

該假定表示對應于不同X值，ui的方差都是某個等于σ2的正的常數。

假定3　各個誤差項之間無自相關，ui和uj（i≠j）之間的相關為零，即

其中i和j為兩次不同的觀測，而Cov表示協方差。該假定還可以稱為無序列相關假定或無自相關假定。

假定4　ui和Xi的協方差為零或E（uiXi）=0。

該假定表示誤差項u和解釋變量X是不相關的。也就是說在總體回歸模型中，X和u對Y有各自的影響。但是，如果X和u是相關的，就不可能評估他們各自對Y的影響。

假定5　正確地設定了回歸模型，即在經驗分析中所用的模型沒有設定偏誤。

正確設定回歸模型是至關重要的。如果模型遺漏了重要變量或選擇了錯誤的函數形式，那么，要對所估計的回歸模型做出有效的解釋是靠不住的。回歸分析以及由此而得到的結果，是以所選模型正確為條件的。因此，在建立計量經濟模型時，必須謹慎小心。

假定6　對于多元線性回歸模型，沒有完全的多重共線性。就是說解釋變量之間沒有完全的線性關系。

至此，我們完成了關于經典線性回歸模型的經典假定的討論。上述所有假定都是針對總體回歸模型而言的，而不是關于樣本回歸模型的。如果線性回歸模型滿足經典假定，則稱其為經典線性回歸模型。

三、最小二乘估計量的性質：高斯-馬爾可夫定理

1.估計量的評價標準

對于回歸模型中的參數，如果采用不同的方法估計就會得到不同的估計值。我們希望選擇最好的估計量來推斷總體參數，因此就需要研究估計量優劣的評價標準。當然，我們希望估計值與真實值β之間的偏差越小越好。但是由于真實值β是未知的，并且由于樣本是隨機的，使得估計量也是隨機的，所以要判斷偏差的大小就是不可行的。基于上述原因，我們只能通過估計量的統計性質來判斷估計量的優劣。

對于估計量的優劣可以通過估計量的有限樣本特性和無限樣本特性進行評價。有限樣本特性（小樣本特性）是指樣本容量n有限時估計量的統計性質。主要包括線性性、無偏性和有效性。估計量如果具備這些性質，則與樣本大小無關。具備這些性質的估計量被稱為最佳線性無偏估計量（best linear unbiased estimator, BLUE）。無限樣本特性是指當樣本容量n趨于無窮大時估計量具備的統計特性。主要包括一致性、漸近無偏性和漸近有效性。當小樣本不能滿足估計的性質要求時，就需要考察參數估計量的大樣本性質。

2.高斯-馬爾可夫定理

在經典線性回歸模型的假定條件下，最小二乘估計量具有較好的統計性質，這些性質包含在高斯-馬爾可夫定理之中。

高斯-馬爾可夫定理　在給定經典線性回歸模型的假定下，最小二乘估計量是最佳線性無偏估計量。

該定理說明最小二乘估計量是βj的最佳線性無偏估計量，即：

第一，它具有線性性，即它是回歸模型中的被解釋變量Y的線性函數；

第二，它具有無偏性，即它的均值或期望值E（）等于其真值βj，即E（）=βj；

第三，它在所有這樣的線性無偏估計量中具有最小方差。具有最小方差的無偏估計量叫作有效估計量。

下面，就普通最小二乘估計量的性質給予說明：

線性性

令

則有

這說明是Yi的一個線性函數，它是以ki為權的一個加權平均數，從而它是一個線性估計量。同理，也是一個線性估計量。

無偏性

即對β1是無偏的，對β2是無偏的。也就是說，雖然由不同的樣本得到的，可能大于或小于它們的真實值β1，β2，但平均起來等于它們的真實值β1，β2.

由式（2.25）可知

據經典假定，ki非隨機，E（ui）=0，則

因此，是β2的一個無偏估計量。同理，可證明也是β1的一個無偏估計量。

在此要特別注意，無偏性是和的抽樣分布的性質，并沒有告訴我們從特定樣本中得到的估計值是什么，我們希望得到較好的樣本，那樣就會得到接近于總體參數βj的估計值。但由于是隨機獲得樣本，就有可能得到遠離總體參數βj的估計值的較差樣本。并且，我們無法判定所得到的樣本是哪一種。

當X是非隨機變量和E（u）=0這些經典假定不滿足時，那么無偏性也就不成立了。

最小方差

（1）最小二乘估計量的方差與標準誤

普通最小二乘估計量，的方差Var（），Var（）分別代表了估計參數，的估計精度。據方差定義，可知：

同理，的方差為

式（2.30）是依賴于同方差和無序列相關假定的。影響估計精度的因素為隨機誤差項的方差σ2和Xi的總變異隨機誤差項的方差σ2越大，Var（）越大。因為，影響Y不可觀測的因素變異越大，要準確地估計β2就越難；另一方面，自變量的變異越大，估計的精度就越高。因為Xi的變異性增加時，的方差就會減小，就是說，解釋變量的樣本分布越分散，就越容易找出E（Y｜Xi）和Xi間的關系，即越容易準確估計β2。如果Xi沒有什么變化，就難以準確地確定E（Y｜Xi）是如何隨著Xi的變化而變化的。當樣本容量擴大時，Xi的總變異也增加。因此，較大的樣本容量會產生較小的的方差。

最小二乘估計的標準誤為

其中se（）表示的標準誤，se（）表示的標準誤。除σ外，式（2.32）和（2.33）中變量的數據都是已知的。

從式（2.30）和式（2.31）可以看到，影響Var（）和Var（）的因素除σ2外，均為已知數。通常誤差項的方差σ2是未知的，只能通過觀測數據去估計σ2，從而估計出Var（）和Var（）。

（2）σ2的最小二乘估計量

在此，我們要區分誤差與殘差的概念。誤差ui出現在總體回歸模型Yi=β1+β2Xi+ui中，ui是第i次觀測的誤差，由于βj未知，ui無法觀測到。殘差ei出現在樣本回歸模型Yi=+Xi+ei中，，是估計參數，通過觀測值Yi,Xi可得到殘差ei。據殘差定義可知：

已知由于ui不可觀測，σ2無法計算。我們可通過最小二乘法的殘差ei估計σ2.用殘差ei代替ui就得到σ2的一個估計但這是一個有偏估量。這是使用殘差代替誤差的緣故，調整自由度后，我們就得到σ2的無偏估計量：

在經典假定條件下，可以證明E（）=σ2。σ的估計量為

我們稱其為回歸的標準誤。估計量是對影響Y的不可觀測因素的標準誤的估計。也就是說，估計了把X的影響排除之后Y的標準誤。至此，用代替σ，我們可利用式（2.32）和（2.33）估計和的標準誤：

當對Y的不同樣本使用普通最小二乘法時，我們要注意將se（）看作一個隨機變量，這是因為是隨著樣本的不同而變化的。對于一個給定的樣本，se（）是一個數字，就像我們用給定的數據計算時一樣，它也只是一個數字。

（3）可以證明，在滿足經典假定條件下，普通最小二乘估計量，是所有線性無偏估計量中方差最小的。

四、判定系數R2——擬合優度的度量

為了評價一個回歸方程的優劣，我們引入擬合優度的概念。即考查對一組數據所擬合的回歸線的擬合優度，表示出樣本回歸線對數據擬合得有多么好。如果全部觀測點都落在樣本回歸線上，我們就得到一個完美的擬合，但這種情況很少發生。一般情況下，總有一些正的ei和一些負的ei，我們只能希望這些圍繞著回歸線的殘差盡可能小。判定系數R2就是表示這種擬合優劣的一個度量。

計算R2的步驟如下：

據樣本回歸模型可得

為被解釋變量的樣本均值，式（2.39）可表示為

式（2.41）兩邊取平方得

對所有觀測值求和，得

其因此

式（2.44）中，表示實測的Y值圍繞其均值的總變異，稱為總平方和（TSS）；表示來自解釋變量的回歸平方和，稱為解釋平方和（ESS）；∑e2i表示圍繞回歸線的Y值的變異，稱為殘差平方和（RSS）。式（2.44）可表示為

這說明Y的觀測值圍繞其均值的總變異可分解為兩部分，一部分來自回歸線，而另一部分則來自擾動項ui，其幾何意義如圖2.4所示：

用TSS除式（2.45）的兩邊，得

定義R2為

或

上述定義的R2稱為判定系數（可決系數），它是對回歸線擬合優度的度量。也就是說，R2測度了在Y的總變異中由回歸模型解釋的那個部分所占的比例或百分比。

據判定系數的定義可知：0≤R2≤1。當R2=1時，意味著一個完美的擬合，即對每個i都有=Yi。另一方面，當R2=0時，意味著被解釋變量與解釋變量之間無任何關系（即=0），這時，Yi==Y，就是說，對任一Y值的最優預測值都是它的均值，從而回歸線平行于X軸。

與R2關系緊密但概念上與R2差異較大的一個參數是相關系數，它測度了兩個變量之間的關聯度，即

也可據R的定義計算

從定義可以看出-1≤R≤1。在回歸分析中，R2是一個比R更有意義的度量，因為R2告訴我們在被解釋變量的變異中，由解釋變量解釋的部分占怎樣一個比例，因而對一個變量的變異在多大程度上決定另一個變量的變異，提供了一個總的度量，而R則沒有這種作用。

五、案例

例2.1　根據凱恩斯理論，我們可以建立消費與可支配收入的線性回歸模型，模型形式如下：

其中Y為消費，X是可支配收入，u為隨機誤差項。

從引例的表2.1中可獲取一個樣本如表2.2，為了表達方便將其復制于表2.4中。

表2.4　每月家庭消費支出Y和每月家庭收入X

進行最小二乘估計可得

得到的樣本回歸線為

其幾何圖形如圖2.5所示。

樣本回歸線定義：回歸線上的點是給定Xi值相對應的Yi的期望值或均值的一個估計值。回歸線的斜率=0.7616表示，在X的樣本區間（1000，5500）內，X每增加1元，平均每月消費支出增加0.7616元。回歸線的截距為159.8788，直觀的解釋是當每月收入X值為零時，每月消費支出的平均水平，但是這種解釋是不恰當的。因為X值的變化范圍并不包括零這樣一個觀測值。截距項的解釋只能借助于經濟理論或其他知識來解釋。通常可理解為是所有未包括在回歸模型的變量對Y的綜合影響。

R2=0.9970，說明有99.70%的每月消費支出的變異，可以由收入來解釋。

例2.2　中國城鎮居民消費函數（1985—2014年）。

表2.5給出1985—2014年中國城鎮居民家庭人均可支配收入與人均消費支出。

注：表中數據來源于《中國統計年鑒》（1986—2015），根據1985年可比價格計算。

根據表2.5的數據，使用普通最小二乘法，得到中國城鎮居民消費函數。消費函數為

在該模型中，Yt為城鎮居民人均消費性支出，Xt是城鎮居民人均可支配收入。

1985 2014 1均消費支出增加0.66元，邊際消費傾向為0.66，截距項=215.12，從表面上看，是當居民可支配收入為0時的消費支出水平，但這是一種毫無意義的解釋。因為在樣本中，并不存在居民可支配收入為0的樣本。判定系數R2=0.999，說明城鎮居民可支配收入解釋了城鎮居民消費支出變異的99.9%，這是一個非常好的擬合。