§3.2　最小二乘估計

一、最小二乘估計量

對于兩個解釋變量的回歸模型，其樣本回歸函數為

其中，，分別為β1，β2，β3的估計值。根據最小二乘準則，應選擇使殘差平方和最小的，，。在給定Y,X1，X2的n個觀測值時，同時選擇，，使下式取最小值：

其中i表示第i次觀測。式（3.21）就是對從1到n的觀測值求和。

在含有多個解釋變量的一般情形中，我們得到樣本回歸函數：

我們的目的就是得到式（3.22）中的估計值，，……，，使殘差平方和最小。就是使

最小的估計值，，……，。據微積分知識，我們知道這個最小化問題就是使用多元微積分求解。其原理與一元線性回歸方程的最小二乘法相同。得到，，……，這k個未知變量的k個線性方程：

該方程組稱為正規方程組，求解該方程組，可得到，，……，的值。即使是較小的方程組，手工計算也是很繁重的工作。借助計量經濟分析軟件，對較大的n和k，也能很快求解這些方程。如果使用普通最小二乘法而得到了式（3.16）的樣本回歸函數，我們就稱其為：將Y對X1，X2，……，X k進行了回歸。

將式（3.24）簡化整理后可得

寫成矩陣形式為

又由于

則式（3.26）可以用矩陣表示為

式（3.27）為正規方程組的矩陣表達式。在經典假定6滿足的情況下，R（X）=k,k階方陣X′X為非奇異矩陣，逆矩陣（X′X）-1存在，因此可以求解矩陣方程（3.27），得到解為

上式中的就是β的最小二乘估計量。

利用矩陣求導運算可以非常簡單地得到最小二乘估計量。對于矩陣形式的回歸方程Y=Xβ+U，其樣本回歸方程為Y=X+e，因此殘差平方和可以表示為

其中

為n×1階殘差列向量。

對殘差平方和求導使其為0，可得

整理后可得到正規方程組（3.27）

因此，β的最小二乘估計量為

例3.1　工資回歸模型。

利用橫截面數據估計參數得到如下包含三個解釋變量的模型：

其中Y為工資，X2是受教育年限，X3為工齡，X4是現任職務的任期。

在式（3.30）中，系數0.092表示在保持X3和X4固定不變的情況下，勞動者多受一年教育，lnY增加0.092，即工資增加9.2%。也就是說，如果有兩個勞動者具有同樣的工齡和現職任期，在受教育水平相差一年時，X2的系數表示了預計工資的差別。

二、判定系數R2及調整的判定系數R2

1.判定系數R2

在一元回歸模型中，判定系數R2是回歸方程擬合優度的一個度量，它給出了在被解釋變量Y的總變差中由（一個）解釋變量X解釋了的比例或百分比。將其推廣到多元回歸模型中，判定系數依然為解釋平方和ESS與總平方和TSS的比值，即

與一元回歸模型一樣，R2也是一個在0與1之間的數。R2的值越接近于1，模型擬合就好。當R2=1時，RSS=0，表明被解釋變量Y的變化完全由解釋變量X2，X3，……，Xk決定。R2=0時，ESS=0，表明Y的變化與X2，X3，……，Xk無關。

2.調整的判定系數R2

判定系數R2的一個重要性質是：在回歸模型中增加一個解釋變量后，它不會減少，而通常會增大。即R2是回歸模型中解釋變量個數的非減函數。在式（3.31）中，TSS就與模型中的X變量的個數無關。但RSS即∑e2i卻與模型中出現的解釋變量個數相關。隨著X變量個數的增加，∑e2i會減小，至少不會增大。因此，判定系數R2將會增大。所以，使用R2來判斷具有相同被解釋變量Y和不同個數解釋變量X的回歸模型的優劣時就很不適當。此時，R2不能用于比較兩個回歸方程的擬合優度。

為了消除解釋變量個數對判定系數R2的影響，需使用調整的判定系數：

其中k為包括截距項在內的模型中的參數個數。在二元回歸模型中k=3，在一元回歸模型中k=2。所謂調整，就是的計算式中都分別用它們的自由度（n-k）和（n-1）去除。

調整的判定系數R2和R2的關系為：

由上式可以看出：（1）k＞1這意味著，隨著X變量的個數增加，增加得慢些；

（2）雖然R2非負，但可以是負的。在應用中，如果遇出現負的情形，就

只要被解釋變量的函數形式相同，不論解釋變量個數多少，函數形式是否相同，都可以使用調整的判定系數比較不同回歸模型的擬合優度。

3.回歸分析中R2的應用

在回歸分析中，我們的目的并不是為了得到一個高的R2，而是要得到真實總體回歸系數的可靠估計并做出有關的統計推斷。在實證分析中，經常碰到有著較高的R2，但某些回歸系數在統計上不顯著的回歸模型，這樣的模型是沒有應用價值的。所以，我們應更加關心解釋變量對被解釋變量的理論關系和統計顯著性。如果在其他條件相同的條件下，得到一個較高R2，當然很好；如果R2偏低，也不能說明模型不好。在經典線性回歸模型中，并不要求R2一定是較高的。只有模型用于預測時，才會要求較高的擬合優度。

例3.2　大學平均成績的決定因素。

根據某大學141名學生的樣本，以大學平均成績Y為被解釋變量，高中平均成績X1和大學能力測驗分數X2為解釋變量，用普通最小二乘法得到樣本回歸模型為

在式（3.34）中，R2=0.176，n=141。截距項1.29沒有實際意義，因為沒有人在高中時的成績為0、測驗成績也為0時進入大學。R2=0.176意味著，高中平均成績X1和大學能力測驗分數X2一起解釋這個學生樣本中大學平均成績Y的方差的17.6%。這個比例雖然不高，但不能判定模型不好。因為影響一個學生大學表現的因素還有很多，包括家庭背景、個性、高中教育的質量和對大學專業的喜惡等。

三、最小二乘估計量的期望值和方差

1.回歸系數的期望值

在多元回歸模型滿足經典假定的條件下，普通最小二乘估計量是總體參數的無偏估計。即：

對這一結果有直接影響的假定為E（ui）=0（隨機擾動項的期望值為0）和Cov（Xi, ui）=0（X非隨機并與擾動項u不相關）。

在多元回歸分析中，如果回歸模型的函數形式設定有誤或遺漏了與包含在模型中的變量相關的重要解釋變量，都會導致經典假定E（ui）=0不成立，即E（ui）≠0。如此，則使得最小二乘估計量不是總體參數的無偏估計，即E（）≠βj。雖然在多元回歸分析中，模型的函數形式更多，包含的變量數也較多。相對于一元回歸分析，出現函數形式設定偏誤和遺漏重要解釋變量的可能性較小。但是，在一項應用研究中，由于理論的含糊性或數據的局限性，總有一些重要解釋變量不能包含到回歸模型中。如此，則會破壞普通最小二乘估計的無偏性，我們會在§3.5中對此問題進行討論。

關于Cov（Xi,ui）=0假定不能滿足，從而破壞無偏性，我們將在后面的章節討論它。

無偏性不是針對某一特定樣本而言的，而是指將普通最小二乘法用于各種可能的隨機樣本時，這種方法得到的結果是無偏的。也就是說將普通最小二乘法用于不同的樣本，將會得到許多不同的估計值，其中i表示第i個樣本，j表示第j個參數。這些不同的估計值的均值等于總體參數βj。但對于一個具體的估計值就談不上無偏性。因為一個估計值是從一個特定的樣本得到的一個固定數，它也許等于總體參數，也許不等于總體參數，我們無法判定。雖然我們總是希望得到最接近總體真實性的估計值，但最小二乘法并不能保證這一點。

2.的方差和標準誤

的期望值度量了的集中趨勢。而的方差則度量了圍繞其期望值的集中程度，也就是度量了的估計精度。

在滿足經典假定的條件下，偏斜率系數最小二乘估計量的方差為

其

為Xj的總樣本變異；為將Xj對所有其他解釋變量（包括一個截距項）進行回歸所得到的判定系數R2.

Var（）具有非常重要的指導意義。方差越大，則意味著估計量越不精確。的方差取決于如下三個因素：σ2，SSTj和R2j，其中j表示第j個解釋變量。

（1）Var（）與σ2成正比。σ2越大，的方差Var（）越大。回歸模型的干擾項u是對回歸結果的干擾，干擾項σ2越大，使得估計任何一個解釋變量對Y的局部影響就越困難。由于σ2是總體的一個特征，所以它與樣本容量無關。

（2）Var（）與Xj的總樣本變異SSTj成反比。總樣本變異SSTj越大，的方差Var（）越小。因此，若其他條件不變，就估計βj而言，我們希望Xj的樣本方差越大越好。這一點在一元回歸模型中，我們已經看到了。只要擴大樣本容量，就能增大SSTj，同時也就縮小了的方差Var（），也就是提高了估計精度。

（3）Var（）與解釋變量之間的線性關聯程度R2j正相關。R2j越大，的方差Var（）越大。在一元回歸模型中，只有一個解釋變量，不存在這一問題。這里的R2j與Y無關，它只涉及原模型中的解釋變量X2，X3，……，Xk，其中Xj作為被解釋變量，其他解釋變量作為解釋變量。

在二元回歸模型Y=β1+β2 X2+β3 X3+u中，的方差為

其中R22是X2對X3（含截距）進行一元回歸所得到的R2。由于R2度量了擬合優度，所以當R22接近于1時，則表明在這個樣本中，X3解釋了X2的大部分變動，就是說X2與X3高度相關。隨著R22的逐漸增加，Var（）會越來越大。因此，X2與X3之間的線性關系越密切，斜率系數的普通最小二乘估計量的方差就越大。

對于一般情況，R2j是Xj總變異中由模型中包括的其他解釋變量解釋的部分。也就是Xj與其他解釋變量之間的線性關聯程度。關聯程度越高，方差就越大；關聯程度越小，方差就越小。最理想的情形是R2j=0，但這種情形是難以碰到的。在所有其他條件都不變的情況下，就估計βj來說，Xj與其他解釋變量之間關聯程度越低越好。

另外，在多元回歸模型中，某些解釋變量之間的高度相關不影響模型中其他參數的估計方差。例如，有一個三個解釋變量的模型：

其中X3與X4高度相關，則Var（）和Var（4）都很大。但X3與X4之間的相關程度對Var（β2）沒有直接影響。如果X2與X3，X4無關，則無論X3與X4如何相關，都會有R2j=0和Var（）=σ2/SST2。如果我們所關心的是參數β2，我們可以不管X3與X4之間的相關程度。

將Var（）開方，則得到的標準誤

3.σ2的估計量

由于干擾項ui不可觀測，因此必須據樣本結果估計σ2。σ2的無偏估計量為

式（3.40）中為σ2的估計量，n為樣本容量，k為多元回歸模型中的參數個數?？梢宰C明，式（3.40）給出的σ2的估計量是σ2的無偏估計量，即

正的平方根被稱為回歸標準誤。

σ2的無偏估計量的證明如下：

其M是n階對稱冪等矩陣，即M=M′，M2=M，則殘差平方和

式（3.44）中的符號tr表示矩陣的跡，定義為矩陣主對角線上的和。因此可得

所以，σ2的無偏估計量為

四、最小二乘估計量的性質

在多元回歸模型中，最小二乘估計量同樣具有一元回歸中的優良性質。高斯-馬爾可夫定理對此給予了精辟的闡述。

高斯-馬爾可夫定理　在多元線性回歸模型的經典假定下，普通最小二乘估計量，，……，分別是β1，β2，……，βk的最佳線性無偏估計量。也就是說，普通最小二乘估計量，，……，是所有線性無偏估計量中方差最小的。

在前面的討論中，我們已經知道是βj的無偏估計量，即E（）=βj。這表明了估計量的集中趨勢。

線性性

線性一詞的含義是指是被解釋變量Yi的線性函數：

其中每個Wij都是所有自變量樣本值的一個函數。

無偏性

對式（3.48）取期望，可得

所以，是β的無偏估計量。這里利用了隨機誤差項的經典假定。

有效性

最佳一詞的含義就是指最小方差。給定兩個估計量，無疑是方差小的估計量優于方差大的估計量。是經典假定下βj的最小二乘估計量，對于任一線性無偏估計都有就是說，在一群線性無偏估計量中，普通最小二乘估計量的方差最小

的方差-協方差矩陣為

矩陣（3.49）中主對角線上的元素為，，……，的方差，非主對角線上的元素為它的協方差。

根據式（3.48）可得

因此

可以證明，最小二乘估計量的方差是所有線性無偏估計量中方差最小的。

高斯-馬爾可夫定理的意義在于，當經典假定成立時，我們不需要再去尋找其他無偏估計量，沒有一個會優于普通最小二乘估計量。也就是說，如果存在一個好的線性無偏估計量，這個估計量的方差最多與普通最小二乘估計量的方差一樣小，不會小于普通最小二乘估計量的方差。

高斯-馬爾可夫定理證明了在多元線性回歸分析中，使用普通最小二乘法進行參數估計的合理性。但是，這一定理是依賴于經典假定條件的，如果經典假定中的條件不成立，這個定理也就不再成立。普通最小二乘估計量也就不再是最佳線性無偏估計量了。