3.2　多重回歸分析中的參數估計及其相關概念的介紹

本小節以兩個自變量的多重回歸分析為例，說明偏回歸系數的估計公式及意義。

我們稱公式（3.4）是因變量Y在自變量X1，X2上的二重回歸模型。它的預測方程式為

誤差為

類似線性回歸分析，多重回歸的偏回歸系數也可用最小二乘法求得。最小二乘法的基本思想是令誤差平方和取最小值時求出各個偏回歸系數的估計式。這里直接展示最小二乘法的結果。

β0，β1，β2的估計式分別為：

觀察上面三個估計式，我們發現兩個自變量的偏回歸系數結構遠比一個自變量的線性回歸系數復雜得多。例如，公式（3.5a）是β1的估計式b1，等號右邊的第一部分是因變量Y與自變量X1的標準差之比，第二部分包含了因變量Y與X1，X2的相關系數ryx1，ryx2及自變量間的相關系數rx1x2。

現在對b1稍做變形

式中，等號右邊的第一部分的分母是除去了X2影響后變量X1（記為（X1｜X2））的標準差，而乘號后面的部分是因變量Y與（X1｜X2）的半偏相關系數或部分相關系數（part correlation co-efficient），于是

它表示X2不變時，X1每增加一個單位，引起因變量Y平均變化的數量。

同理，對b2的分解也是如此：

它表示X1不變時，X2每增加一個單位，引起因變量Y平均變化的數量。

公式（3.5a）中，等號右邊的第一部分是因變量Y與自變量X1的標準差之比，如果因變量Y與自變量X1的標準差均為1，這部分的比值等于1。我們把這一條件下的偏回歸系數稱為標準偏回歸系數（standardized partial regression coefficient），它們與偏回歸系數的關系為

標準偏回歸系數=偏回歸系數×（自變量標準差÷因變量標準差）。

那么，公式（3.5a）所對應的標準偏回歸系數可表示為

同樣，b2的標準偏回歸系數為

顯然，標準偏回歸系數結構簡單，消除了因變量、自變量方差不一致的影響，成為無單位的多個相關系數的函數，方便比較數值的大小。

在上面的介紹中，我們第一次接觸了半偏相關系數。表達式為

另外，偏相關系數是從兩個變量中排除了同一第三變量的影響后的相關系數。表達式為

圖3.1顯示了半偏相關與偏相關系數的異同。

半偏相關與偏相關系數在多元變量分析中是很常見的概念，SPSS等統計軟件在估計多重回歸系數時，計算機會報告這兩類相關系數的計算結果，希望讀者熟悉它們的統計意義。

相關的半偏相關系數、偏相關系數、標準偏回歸系數三者的正負號一致，如果這三個指標中有一個等于0，則其余兩個也一定為0。半偏相關系數的絕對值不會大于偏相關系數和標準偏回歸系數的絕對值，但是，偏相關系數與標準偏回歸系數的絕對值之間不存在必然的大小關系。

我們使用p（p≥2）個自變量，對某個因變量Y進行多重回歸分析時，它們的每個偏歸系數的估計式也可用最小二乘法獲得，但是它們的表達式就無法像公式（3.5）那么具了，它們可以用更簡潔的矩陣形式來表示。例如，各個X的偏回歸系數b1，b2，……，bp用一向量表示的話[2]，

截距