1.4 概率論中的重要定理

本節介紹概率論中最為基礎也最為重要的兩個定理，即大數定理及中心極限定理。

1.4.1 大數定理

法國數學家蒲豐曾經做過一個非常著名的擲硬幣試驗，發現硬幣正面出現的次數與反面出現的次數總是十分相近，投擲的次數越多，正反面出現的次數便越接近。其實，歷史上很多數學家都做過類似的實驗，如表1-2所示。從中不難發現，試驗次數越多，其結果便越接近在一個常數附近擺動。

正如恩格斯所說的：“在表面上是偶然性在起作用的地方，這種偶然性始終是受內部的隱藏著的規律支配的，而問題只是在于發現這些規律。”擲硬幣這個實驗所反映出來的規律在概率論中稱為大數定理，又稱大數法則。它是描述相當多次數重復試驗結果的定律。根據這個定律知道，樣本數量越多，則其平均就越趨近期望值。

定理：（馬爾可夫不等式）設X為取非負值的隨機變量，則對于任何常數a≥0，有

證明：對于a≥0，令

由于X≥0，所以有

兩邊求期望，得

上式說明E[X]/a≥E[I]=P{X≥a}，即定理得證。

作為推論，可得下述定理。

定理：（切比雪夫不等式）設X是隨機變量，它的期望E（X）=μ，方差D（X）=σ2，則對任意k>0，有

證明：由于（X-μ）2為非負隨機變量，利用馬爾可夫不等式，得

由于（X-μ）2≥k2與|X-μ|≥|k|是等價的，因此

所以結論得證。

馬爾可夫（Markov）不等式和切比雪夫（Chebyshev）不等式的重要性在于：在只知道隨機變量的期望，或期望和方差都已知的情況下，可以導出概率的上界。當然，如果概率分布已知，就可以直接計算概率的值而無須計算概率的上界。所以，切比雪夫不等式的用途更多的是證明理論結果（例如下面這個定理），更重要的是它可以用來證明大數定理。

定理：var（X）=0，則P{ X=E[X]}=1。也就是說，一個隨機變量的方差為0的充要條件是這個隨機變量的概率為1。

證明：利用切比雪夫不等式，對任意n≥1

令n→∞，得

結論得證。

弱大數定理：（辛欽大數定理）設X₁，X₂，…，X_n，…是獨立同分布的隨機變量序列，它們具有公共的、有限的數學期望E（X_i）=μ，其中i=1，2，…，做前n個變量的算術平均

則對于任意ε>0，有

證明：此處只證明大數定理的一種特殊情形，即在上述定理所列條件基礎上，再假設var（X_i）為有限值，即原隨機變量序列具有公共的有限的方差上界。不妨設這個公共上界為常數C，則var（X_i）≤C。這種特殊形式的大數定理也稱為切比雪夫大數定理。此時，

利用切比雪夫不等式，得

由上式可以看出，定理顯然成立。

設Y₁，Y₂，…，Y_n，…是隨機變量序列，a是常數。若對任意ε>0，有

則稱序列Y₁，Y₂，…，Y_n，…依概率收斂于a，記為

依概率收斂的序列有以下性質：設，又設函數g（x，y）在點（a，b）處連續，則有

如此一來，上述弱大數定理又可表述如下。

設隨機變量X₁，X₂，…，X_n，…獨立同分布，且具有公共的數學期望E（X_i）=μ，其中i=1，2，…，則序列

依概率收斂于μ。

弱大數定理最早是由雅各布·伯努利證明的，而且他所證明的其實是大數定理的一種特殊情況，其中X_i只取0或1，即X為伯努利隨機變量。他對該定理的陳述和證明收錄在1713年出版的巨著《猜度術》一書中。而切比雪夫是在伯努利逝世一百多年后才出生的，換言之，在伯努利生活的時代，切比雪夫不等式還不為人所知。伯努利必須借助十分巧妙的方法證明其結果。上述弱大數定理是獨立同分布序列的大數定理的最一般形式，它是由蘇聯數學家辛欽（Khinchin）證明的。

與弱大數定理相對應的，還有強大數定理。強大數定理是概率論中最著名的結果。它表明，獨立同分布的隨機變量序列，前n個觀察值的平均值以概率1收斂到分布的平均值。

定理：（強大數定理）設X₁，X₂，…為獨立同分布的隨機變量序列，其公共期望值E（X_i）=μ有限，其中i=1，2，…，則有下式成立：

法國數學家波萊爾（Borel）最早在伯努利隨機變量的特殊情況下給出了強大數定理的證明。上述這個一般情況下的強大數定理則是由蘇聯數學家柯爾莫哥洛夫（Kolmogorov）證明的。限于篇幅，本書不再給出詳細證明，有興趣的讀者可以參閱相關資料。但我們有必要分析一下強、弱大數定理的區別所在。弱大數定理只能保證對于充分大的n*，隨機變量（X₁+X₂+…+X_n*）/n*趨近于μ。但不能保證對一切n>n*，(X₁+X₂+…+X_n)/n也一定在μ的附近。這樣，(X₁+X₂+…+X_n)/n-μ就可以無限多次偏離0（盡管出現較大偏離的頻率不會很高）。而強大數定理則恰恰能保證這種情況不會出現，強大數定理能夠以概率1保證：對于任意正數ε>0，有

只可能出現有限次。

大數定理保證了一些隨機事件的均值具有長期穩定性。在重復試驗中，隨著試驗次數增加，事件發生的頻率趨于一個穩定值；人們同時也發現，在對物理量的測量實踐中，測定值的算術平均也具有穩定性。例如，向上拋一枚硬幣，硬幣落下后哪一面朝上本來是偶然的，但當上拋硬幣的次數足夠多后（例如，達到上萬次甚至幾十萬、幾百萬次以后），我們就會發現，硬幣每一面向上的次數約占總次數的二分之一。因此，偶然中必定包含著必然。

1.4.2 中心極限定理

中心極限定理是概率論中最著名的結果之一。中心極限定理說明，大量相互獨立的隨機變量之和的分布以正態分布為極限。準確地說，中心極限定理是概率論中的一組定理，這組定理是數理統計學和誤差分析的理論基礎，它同時為現實世界中許多實際的總體分布情況提供了理論解釋。

下面就給出獨立同分布下的中心極限定理，又被稱為林德貝格-列維中心極限定理，它是由芬蘭數學家林德貝格（Lindeberg）和法國數學家列維（Lévy）分別獨立獲得的。

定理：設X₁，X₂，…為獨立同分布的隨機變量序列，其公共分布的期望為μ，方差為σ2，假如方差σ2有限且不為0，則前n個變量之和的標準化隨機變量

的分布，當n→∞時收斂于標準正態分布Φ（a）。即對任意a∈（-∞，+∞），

其中，

上述定理證明的關鍵在于下面這條引理，由于其中涉及太多數學上的細節，此處就不給出該引理的詳細證明，而僅將其作為一個結論幫助證明中心極限定理。

引理：設Z₁，Z₂，…為隨機變量序列，其分布函數為，相應的矩母函數為，n≥1；又設Z的分布為F_Z，矩母函數為M_Z，若（t）→M_Z（t）對一切t成立，則（t）→F_Z（t）對F_Z（t）所有的連續點成立。

若Z為標準正態分布，則M_Z（t）=/2，利用上述引理可知，若

則有（其中Φ是標準正態分布的分布函數）

下面基于上述結論給出中心極限定理的證明。

證明：首先，假定μ=0，σ2=1，我們只在X_i的矩母函數M（t）存在且有限的假定下證明定理。現在，的矩母函數為

由此可知，的矩母函數為

記L（t）=lnM（t）。對于L（t），有

要證明定理，由上述引理，必須證明

或等價地有

下面一系列等式說明這個極限式成立（其中使用了洛必達法則）。

如此便在μ=0，σ2=1的情況下，證明了定理。對于一般情況，只需考慮標準化隨機變量序列，由于，將已經證得的結果應用于序列，便可得到一般情況下的結論。

需要說明的是，雖然上述中心極限定理只說對每一個常數a，有

事實上，這個收斂是對a一致的。當n→∞時，f_n（a）→f（a）對a一致，是指對任何ε>0，存在N，使得當n≥N時，不等式|f_n（a）-f（a）|<ε對所有的a都成立。

下面給出相互獨立隨機變量序列的中心極限定理。注意與前面情況不一樣的地方在于，這里不再強調“同分布”，即不要求有共同的期望和一致的方差。

定理：設X₁，X₂，…為相互獨立的隨機變量序列，相應的期望和方差分別為μ_i=E[X_i]，=var（X_i）。若X_i為一致有界的，即存在M，使得P{X_i <M}=1對一切i成立；且=+∞，則對一切a，有

中心極限定理的證明涉及內容較多，也非常復雜。對于實際應用而言，記住結論可能比深挖其數學細節更為重要。

中心極限定理告訴我們：若有獨立同分布的隨機變量序列X₁，X₂，…X_n，它們的公共期望和方差分別為μ=E[X_i]，σ2=D（X_i）。不管其分布如何，只要n足夠大，則隨機變量之和服從正態分布。即

另外一個事實是，如果，并且Y_i相互獨立，其中i=1，2，…，m，則它們的線性組合C₁Y₁+C₂Y₂+…+C_mY_m，仍服從正態分布，其中C₁，C₂，…，C_m是不全為0的常數。于是，由數學期望和方差的性質可知，

如果令上式中的C₂，C₃，…，C_m均為0，令Y₁=，C₁=1/n，則進一步可知隨機變量的均值也服從正態分布：

于是得到下面這個結論：設X₁，X₂，…，X_n是來自正態總體N（μ，σ2）的一個樣本，是樣本的均值，則有

第一個版本的中心極限定理最早是由法國數學家棣莫弗于1733年左右給出的。他在論文中使用正態分布去估計大量拋擲硬幣出現正面次數的分布。這個超越時代的成果險些被歷史所遺忘，所幸的是，法國數學家拉普拉斯在1812年發表的著作中拯救了這個默默無名的理論。拉普拉斯擴展了棣莫弗的理論，指出二項分布可用正態分布逼近。但同棣莫弗一樣，拉普拉斯的發現在當時并未引起很大反響。而且拉普拉斯對于更一般化形式的中心極限定理所給出之證明并不嚴格。事實上，沿用他的方法也不可能嚴格化。后來直到19世紀末，中心極限定理的重要性才被世人所知。1901年，切比雪夫的學生俄國數學家李雅普諾夫（Lyapunov）用更普通的隨機變量定義中心極限定理并在數學上進行了精確的證明。

高斯分布在概率論中之所以如此重要，很大程度上得益于中心極限定理所給出的結論。由高斯分布和中心極限定理出發，還可以進一步推廣出許多有用的結論，這些結論在統計學中具有非常重要的意義。