Bernoulli Trials / 伯努利試驗

首先, 伯努利試驗不是佛羅倫薩的一道法律程序[2], 而是初等概率論的基礎, 在我們對不確定世界的理解中起著重要的作用。

伯努利試驗是一個有兩種結果的簡單試驗。它的結果是成功或失敗, 黑或白, 開或關。沒有中間的立場, 沒有妥協的余地, 沒有優柔寡斷的安慰。

這樣的例子太多了。我們觀察從一副紙牌中拿出的一張牌, 它或是黑色或是紅色。我們接生一個嬰兒, 這個嬰兒或是女孩子或是男孩子。我們經歷24小時的一天, 或者遇到流星或者遇不到流星。在每一種情況下, 很方便設計一種結果為“成功”, 另外一種結果為“失敗”。例如, 選出一張黑色牌、生一個女兒、沒有遇到流星都可以標識為成功。然而, 從概率的角度看, 選擇紅牌、兒子或者遇到流星為成功也是不會產生差異的。在這種場合下, 成功一詞沒有價值取向的色彩。

單個伯努利試驗沒有太大的意義。然而, 當我們反復進行伯努利試驗, 并觀察這些試驗有多少是成功的、多少是失敗的, 事情就變得很有意義了, 這些累計記錄包含很多潛在的非常有用的信息。

當我們做試驗時, 有一個關鍵的條件：這些重復的試驗必須是相互獨立的。獨立一詞不僅有專業定義, 而且還傳達了適合我們目標的含義：如果一個事件的結果絕不會對另一個事件的結果產生影響, 那么這兩個事件就是相互獨立的。例如, 史密斯生一個兒子與約翰遜生一個女兒是兩個相互獨立的事件。又例如, 投擲一枚一角硬幣與投擲一枚一分硬幣的結果（正面或反面）也是相互獨立的, 一枚硬幣的結果不會對另一枚硬幣的結果產生影響。

但是, 如果我們研究一副紙牌中的兩張牌, 一次只能抽一張, 并認為黑色紙牌是成功, 那么在抽完第一張紙牌后再抽第二張紙牌時, 獨立性就喪失了。這是因為, 如果第一張牌是梅花A（一次成功）, 那么它將影響第二次的抽取結果——它使得第二次抽出黑色紙牌的可能性減小, 第二次抽出A的可能性也減小, 而且絕對不可能還是抽到一張梅花A。

幸運的是, 這種獨立性的缺失可以通過一個簡單的對策加以彌補。在抽取第一張紙牌之后, 把它放回到原來的紙牌中, 重新洗好, 然后再抽。因為我們的第一張紙牌已經重新混入到原來的紙牌中, 所以它的身份對第二次抽取已經不再產生影響。在這種意義下, 獨立事件要求為每一次試驗創造一個不留痕跡的平臺, 從而使得每次試驗成功的概率保持相同。

伯努利試驗最鮮明的例子出現在博弈游戲中, 例如投擲硬幣或者骰子。對于硬幣來說, 每一次投擲顯然是獨立的, 因此在每次投擲時成功的概率（比如說得到正面的概率）是相同的。說一枚硬幣是“平衡的”, 意思是這個概率正好是1/2。對于一枚均勻的骰子, 如果我們指定投出3是成功, 那么我們成功的概率總是1/6。

但是, 如果我們投擲一枚硬幣五次會發生什么呢？在這五次投擲中得到三個正面和兩個反面的概率是多少呢？推而廣之, 如果我們投擲這枚硬幣500次, 得到247次正面和253次反面的概率是多少呢？這是一個看似噩夢般的問題, 但是它的解卻出現在早期的概率論杰作之一——雅各布 ? 伯努利（Jakob Bernoulli, 1654—1705）的《猜度術》之中。

伯努利是瑞士本土人, 他的祖父、父親和岳父都是富裕的藥劑師。他拋棄了臼和研棒, 去大學研究神學, 并于22歲那年獲得了學位。然而, 盡管他的家族都與醫藥有關, 并且他接受的是布道方面的教育, 但他真正感興趣的卻是數學。

從17世紀70年代末開始直到去世, 伯努利一直都是世界上最杰出的數學家之一。他是一個天才, 卻有著令人討厭的個性, 他目空一切, 對那些不具天賦的人的努力嗤之以鼻。例如, 在研究了我們今天所謂的“伯努利數”（為了紀念他而命名）之后, 伯努利找到了對正整數冪求和的一種非常巧妙的捷徑。他說“自己用了不到七分半鐘”就確定了前1000個正整數的十次冪的和。也就是說, 他用了不到十分鐘就確定了下面的結果：

這的確是個巨大的和。但是他在一份親自主筆的評論中自我標榜說他的捷徑“清楚地表明布里奧的工作是多么無用……他（布里奧）不過是費了好大勁計算了上面的前六個冪的和, 而我用一頁紙就完成了全部計算”。[1]這個人對可憐的伊斯梅爾 ? 布里奧（Ismael Bullialdus）沒有一點同情心, 他不僅擁有一名數學家的非凡洞察力, 而且也不同尋常地自負。

雅各布 ? 伯努利的巔峰時期正是戈特弗里德 ? 威廉 ? 萊布尼茨發現微積分的時期, 雅各布是普及這一豐碩成果的重要人物之一。同任何新發展起來的理論一樣, 微積分得益于那些緊跟其首創者腳步的人, 得益于那些才華不如萊布尼茨的學者, 他們的貢獻是對這一門學科加以整理, 這是必不可少的。雅各布就是這樣一位貢獻者。

[瑞士, 巴塞爾, Birkh?user Verlag AG出版社許可翻印,
這是1969年由弗萊肯施泰因(J.O. Fleckenstein)編輯的《雅各布 ? 伯
努利全集, 卷1：新星, 自然哲學》中的一幅畫像]

在這項事業中, 他有一位令人不安的同盟者約翰（Johann, 1667—1748）——他的弟弟, 與他的名字首字母相同, 這就是極富才華但愛爭吵的伯努利兄弟。事實上, 雅各布曾充當他弟弟的數學老師的角色。在之后的歲月里, 他也許后悔把約翰教得如此好, 因為事實證明這位弟弟是一位與他不相上下的數學家, 甚至也許超過了他。兄弟二人為爭奪數學霸權展開了激烈競爭。當約翰解決了曾經難倒哥哥的某個問題時, 他總是毫不掩飾自己的興奮, 盡管雅各布故意叫約翰為他的“小學生”, 暗示約翰只是在效仿他這位導師。這兩個伯努利都算不上是高尚的人。

一次著名的沖突起源于懸鏈線的問題。懸鏈線是固定在墻上兩點的懸鏈所形成的曲線（見圖B-1）。熟悉代數的人也許猜測這條鏈沿著一條拋物線弧垂懸, 這樣一個完美的合乎邏輯的猜測早在17世紀初就被伽利略這樣的人物想到了。但是這樣懸掛的鏈其實不是拋物線, 到了1690年, 雅各布 ? 伯努利正在為確定這條曲線的真實身份而非常努力地研究著, 也就是說, 他要給出它的方程。

圖B-1

事實證明, 雅各布不能勝任這項任務。當約翰給出答案時, 不難想象雅各布驚訝的樣子。后來約翰在炫耀他的勝利時說, 為了這個解決方案“我全身心地去研究, 整晚不休息”。[2]他氣人的本領與他的才華一樣出色, 約翰匆匆忙忙跑到雅各布面前, 告訴一直苦思冥想的哥哥問題的答案。雅各布一下子垂頭喪氣。

但是, 雅各布要實施他的“報復”。這一次的戰場是所謂的等周問題, 說的是從有相同周長的曲線中, 區分出哪條曲線圍出的面積最大。我們將在第I章中更詳細地討論這個問題, 但是現在可以先看一下雅各布 ? 伯努利在1697年是如何運用微積分來描述這個問題的。他要對付一個難纏的叫作三階微分方程的數學對象, 這項工作為一個現在稱為變分法的新數學分支指出了道路, 這一分支有著廣泛的研究前景。

弟弟約翰與他的意見不同, 并說已經用一個相對簡單的二階微分方程解決了這個等周問題。如同以往伯努利家的情況一樣, 他們的爭吵變成對抗, 最終只是因為缺少“彈藥”而停止。

然而, 這次是雅各布笑到了最后, 因為弟弟的二階微分方程是不正確的。遺憾的是, 實際上雅各布沒有機會大大嘲笑一番, 哪怕是微微冷笑, 因為在1705年他就去世了, 而當時約翰對這個問題的錯誤解仍然神秘地密封在巴黎學院的辦公室。有這樣一種推測, 約翰已經認識到了自己的錯誤, 并設法把這個錯誤偷偷地掩藏起來, 這樣就不用忍受公開的羞辱, 讓哥哥看笑話。[3]

這些趣事充分展現了他們兄弟之間的不和, 因此發生下面的事也就一點都不奇怪了。當時人們都認為約翰是編輯他剛去世的哥哥的論文的最合適的人選, 但是雅各布的遺孀卻阻止了這件事, 因為她擔心有報復心的約翰會破壞雅各布留下的數學遺產。[4]霍夫曼（J. E. Hofmann）在《科學家傳記大辭典》中對雅各布的個性也許做了最好的描述：“他任性、固執、好斗、有報復心, 而且受自卑心的困擾, 但是他對自己擁有的才能還是有自信的。因為有這樣的個性, 所以他必然會同有相同個性的弟弟發生沖突。”[5]的確, 雅各布和約翰是因傲慢自大而自毀名聲的那種人。

暫且不談他們兄弟之間的競爭, 我們回到前面提到的概率問題：如果投擲一枚均勻的硬幣五次, 產生三次正面和兩次反面的概率是多少呢？在《猜度術》中, 雅各布 ? 伯努利給出了一般規則：如果我們重復操作次獨立試驗（即次伯努利試驗）, 其中任意一次試驗成功的概率是, 而失敗的概率是, 那么正好得到次成功和次失敗的概率由下面的公式給出。

為了化簡上面這個公式, 數學家引入了階乘的記法：

例如, 。（注意, 階乘中的感嘆號不是要求我們大點聲說話。）由于有了這樣便利的記法, 伯努利結果則化簡成：

因此, 在投擲一枚均勻的硬幣五次之后, 得到三個正面的概率就是設（投出一個正面）=1/2。于是有

同樣, 為了求投擲一枚骰子15次, 正好得到五個4的概率, 我們聲明得到一個4是“成功”, 且指定值：

于是經過15次獨立的投擲, 得到5個4的概率是

這是幾乎不可能發生的事情。

回到早前的一個問題, 投擲一枚硬幣500次, 得到247次正面和253次反面的概率是

這個結果盡管正確, 但這個概率太復雜, 無法手算得到, 而且即使有一個高級的袖珍計算器也無法實現計算500!這樣大的數的愿望（對此懷疑的人不妨試一試）。我們將在第N章看到近似求解這種概率的一項技術。但是, 即使無法這樣直接計算, 這個公式在理論上也還是很完美的。它是求任意一系列獨立伯努利試驗概率的關鍵技術。

遺憾的是, 日常生活中的大多數事件實際上比投擲硬幣復雜得多, 這幾乎是太純粹的概率狀況。確定一個25歲的人能活到70歲以上的概率, 或者確定下一個星期二的降雨量超過一英寸（25.4毫米）的概率, 或者確定一輛正駛入交叉口的汽車要右轉彎的概率, 求解這些問題絕不是一件容易的事。這些事件因為現實世界的紛繁復雜而使人一籌莫展, 正如雅各布說的那樣：

這樣的概率超出數學的范疇了嗎？概率論只能被歸類于模擬博弈游戲嗎？

伯努利在那本也許是他最偉大的遺產《猜度術》中, 針對這個問題給出了非常有力的回答。事實上, 他把這個問題稱為他的“黃金定理”, 并寫道：“就其新穎度和其強大的實用性而言, 再加上其較大的難度, 這一定理因其分量和價值已經成為這一學說之最。”[7]今天所謂的伯努利定理就是通常所說的大數定律, 它被認為是概率論的中流砥柱之一。

為了對它的性質有所了解, 再次假設我們正在進行獨立的伯努利試驗, 其中每一次試驗的成功概率為。我們知道操作的總試驗次數, 稱其為, 而且還知道結果成功的試驗次數, 稱其為。于是分數就是我們觀察到的成功的次數比例。

例如, 如果投擲一枚均勻的硬幣100次, 產生47次正面, 則觀察到的正面比例是47/100=0.47。如果再將這枚硬幣投擲100次, 又產生55次正面, 則總的成功比例是

沒有什么理由阻止他人再把這枚硬幣投擲100次, 或者投擲1億次, 只要擲硬幣的人不厭其煩。關鍵的問題是經過長時間的操作, 成功的比例會發生什么變化呢？

當試驗的次數增加時, 應該沒有人對發現這個比例接近0.5而感到驚訝。一般來說, 當變大時, 我們會看到的值趨向一個固定的數, 這是任何一次單次試驗的成功的真概率。所以, 這里就顯示出這個定理的威力, 當成功的概率 未知時, 在較大次數的試驗當中, 成功的比例應該是的一個較好的估計值。用符號表示, 我們應該寫成

,　當較大時(的意思是“近似等于”)

加上少數幾個重要條件, 這就成了大數定律。伯努利定理之所以如此著名, 并不是因為它道出了一個真理, 而是因為很難用嚴格的論據加以證明。雅各布自己也以他那極具代表性的尖刻語言承認“即使是最笨的人也應該可以本能地理解（大數定律）”。[8]然而, 為了給出這個定律的正確的證明, 他付出了二十年的努力, 給出的證明占據了《猜度術》好幾頁。[9]事實證明, 他的評論“這一原理的科學證明并不是那樣簡單”是有意輕描淡寫的陳述。

我們應該說說前文提到的關于伯努利定理的“重要條件”。因為它本質上是一個概率陳述, 所以它應該是隨時可能發生的不確定性。我們不能絕對確定投擲一枚硬幣1000次產生正面的比例將比僅投擲100次產生正面的比例更接近0.5。完全有可能投擲100次時產生51次正面, 而且有可能投擲1000次時只產生486次正面。因此這個“小樣本”估測實際上應該比“大樣本”估測更接近投擲正面的真實概率。完全有可能發生這樣的事情。

這樣說來, 如果我們再投擲1000次, 那么每一次投擲都產生正面也不是完全沒有可能的。有可能產生一個驚人的結果, 2000次投擲產生1486次正面, 于是估測概率是1486/2000=0.743。在這樣的情況下, 大數定律似乎已經不好使了。

但事實并非如此。因為雅各布 ? 伯努利證明的是, 對于任意給定的小容差, 比如說0.000001, 估測概率與真實概率的差是這個小容差或者比它更小的可能性可以接近于1, 條件僅僅是增加試驗次數。只要做足夠多的試驗, 我們幾乎可以肯定, 或者使用伯努利曾經使用的詞語道義上肯定, 我們的估測值與真實概率之差一定在0.000001以內。[10]當然, 我們不能百分之百確定與之差小于0.000001, 但是大量的試驗可以讓我們充分肯定這種推斷不至于太離譜。

上述情況, 即投擲均勻硬幣2000次而擲出正面的概率被估測為0.743, 其可能性有可能小于一個人在看本章時遇到流星的概率。另外, 即使出現了這樣一個不可能的估測值, 伯努利仍然非常自信地聲稱, 通過做大量的試驗, 比如2000次、200萬次或更多, 這個比例肯定趨向于0.5。

要強調的是, 即使對于這樣少的限制條件, 大數定律仍然是可證明的, 這一點很重要。這不同于我們在生活中遇到的其他著名定律, 如墨菲定律和萬有引力定律。它們要么是被普遍認可的陳詞濫調（如墨菲定律）, 要么是被高度贊譽的物理模型（如萬有引力定律）, 都要隨時根據證據而被修正。但是大數定律是一個數學定理, 而且已經證明在必須遵守的邏輯限制之下, 它永遠成立。

另外, 它有自己的用途。保險公司用于調整精算表格的生存概率就是依據大量類似試驗（例如人的存活和死亡）的結果。天氣預報員預報的下雨概率也是如此。

或者考慮這樣的例子, 回到18世紀, 求一位婦女生一個男孩而不是女孩的概率。如何能夠用某種先驗的方式計算出這一概率呢？遺傳的復雜因素嚴重破壞了事先用某種純理論方法確定生一個男孩的概率狀況。于是, 我們被迫起用“既成事實”或者事后驗證, 以伯努利定律為武器進行處理。

在18世紀早期, 這個特殊的問題就一直縈繞在英國人約翰 ? 阿巴思諾特（John Arbuthnot）的頭腦之中。如同其他前人一樣, 他從人口調查記錄中注意到每年出生的男孩比女孩稍微多一些, 并認為這種不平衡已經存在“好多年, 不僅在倫敦, 而且在全世界”。[11]阿巴思諾特試圖借助“上帝之佑”來說明這一現象。幾年后, 雅各布和約翰的侄子尼古拉斯 ? 伯努利繼承了家族擁有的數學天分, 運用大數定律得出結論：生男孩的概率是18/35。換句話說, 大量的出生記錄顯示出一種顯著而穩定的趨勢, 男女比例18比17。伯努利定理“不僅在倫敦, 而且在全世界”得到應用。

直到今天, 它仍在起作用。一項被稱為蒙特卡羅方法的技術在伯努利定理和計算機強大威力的幫助下已經變得非常重要, 因為它能夠幫助科學家以概率的模式模擬大范圍的隨機現象。下面就是蒙特卡羅方法的一個相當簡單的示例。假設我們希望求得一個不規則形狀的湖面的表面積。我們可以沿著湖邊走, 或者俯拍一張照片, 但是湖的彎曲和其表面上的不規則邊界使得很難用任何數學公式確定其面積。

假設我們的湖呈圖B-2中陰影的形狀, 我們已經在圖上給出了和的坐標。因為我們計劃在第L章中重溫這個例子, 所以選擇了一個形狀比較規整的湖, 是一個以軸和方程為的拋物線為邊界的湖。

圖B-2

我們將用概率方法估測它的面積。首先, 如圖所示在的矩形內圈出一個區域。其次, 任由計算機在這個矩形內尋找任意多個點。例如, 計算機也許能夠找出如圖所示的兩個點。

現在, 我們要問計算機：這些隨機的點是落在這個湖內還是落在了湖外？在我們的例子中, 這個問題很容易解決。檢驗點, 我們在拋物線方程中令于是求得對應的值。這表明點(3.5, 15.75)在拋物線上。于是比對點來說, 點的第一個坐標相同, 而第二個坐標只有7.3, 它落在了拋物線的里面, 即在湖內。

類似地, 當考慮點時, 我們在拋物線方程中代入它的第一個坐標, 得到對應值。因此點(6, 12)在拋物線上, 所以點落在拋物線外面, 砸到了干干的地上。計算機只需要幾毫秒的時間, 就能選擇很多隨機的點, 并確定它們是在湖內還是在湖外。

現在看一下根據蒙特卡羅方法的關鍵觀測：隨機選出的點落入湖內的精確概率記為, 它是湖面占據矩形的面積的比例, 即

當然, 我們只有先知道這個湖的面積（這正是我們要求的未知量）才能計算出這個概率。但是, 我們能夠根據來估測點落入湖中的概率, 即落入拋物線內部分的比例。利用長期的成功比例來近似真實概率, 這本身就是大數定律的直接運用。

對于這個例子, 我們的計算機在矩形內選出500個點, 而且發現其中有342個點落入湖內。因此, 我們估測

經過交叉相乘之后, 這個估測值是

因此, 在沒有借助其他任何東西, 只是利用了伯努利大數定律的情況下, 我們就得到了湖的面積的粗略的近似值。

我們如何能夠得到一個更精確的估測值呢？我們只簡單地讓計算機在這個矩形內選出5000個點而不是500個點。在這個例子中, 它發現其中有3293個點在這個湖內, 因此得到

所以也有

當然, 我們還可以讓計算機選擇50000個隨機點, 或者500000個點, 或者不惜耗電讓它選出任意多個點。那么, 我們會更加有信心得到這個拋物線形湖的面積的估測值。

這是一個初等的模擬實例, 現實世界中很多更加奇妙的現象都可以利用蒙特卡羅方法加以研究。另外, 正如我們將在后面看到的那樣, 例子中的拋物線的面積實際上可以用積分方法精確地得到。但是這個例子仍然讓我們感受到了概率的威力。

自從雅各布 ? 伯努利證明他的偉大定理以來已經過了三個多世紀。他原來的論證已經被更加有效地反映這一事物本質的簡化版本所取代, 這樣的情況在數學中很常見。今天的標準證明是根據俄羅斯數學家切比雪夫的一個結果, 此人我們在第A章中遇到過。這一方法, 以及如期望值、隨機變量的標準差等一系列概念使得我們能夠把大數定律的證明簡化到一頁紙上, 同時表明伯努利的證明的確很麻煩。然而, 以伯努利所不具有的寬容精神, 我們將堅決抵制下面這樣的念頭：僅因為伯努利的證明需要一章篇幅才能講清, 而“我們只需要一頁紙就可以完成這項工作”, 就把他的工作貼上“無用”的標簽。

這就是進步的常態。但是, 在全人類的奮斗歷程中, 我們最好要記住這些前輩。正如今天的音響技術播放出的音樂要遠遠優越于19世紀留聲機播出的刺耳聲音, 現代概率論也縮短并簡化了伯努利的大數定律的證明。盡管一系列的進步已經說明托馬斯 ? 愛迪生的原創是多么陳舊, 但是我們仍對他滿懷敬仰之情。同樣, 我們也應該為伯努利自感驕傲的黃金定理而給予他同樣的尊敬。

---

[2]trial在英語中也有審訊的意思。—— 譯者注