1.3.1 最小二乘法

第一個真正意義上從噪聲數據中構造出最優估計的方法是最小二乘法。該方法是由德國著名數學家、物理學家、天文學家、大地測量學家——約翰·卡爾·弗里德里希·高斯（Johann Carl Friedrich Gauss，1777—1855年）于1795年在《天體運動理論》一書中提出的。雖然自伽利略（Galileo，1564—1642年）時代開始，人們已經認識到測量誤差是不可避免的，但最小二乘法是處理測量誤差的第一個正規方法。雖然最小二乘法更廣泛的用途是線性估計，但卻是高斯首先將其用于解決數學天文學中的非線性估計問題。下面一起回顧一下高斯提出最小二乘法的過程。

1772年，德國一名中學教師Johann Daniel Titius發現了0，3，6，12，24，48，96，192，…這樣一組數列，將每個數字加上4再除以10后，就可以得到以天文單位表示的各個行星與太陽的平均距離。根據Titius的推理：

（1）水星到太陽的距離為（0+4）÷10=0.4；

（2）金星到太陽的距離為（3+4）÷10=0.7；

（3）地球到太陽的距離為（6+4）÷10=1.0；

（4）火星到太陽的距離為（12+4）÷10=1.6；

（5）木星到太陽的距離為（48+4）÷10=5.2；

（6）土星到太陽的距離為（96+4）÷10=10。

這里僅有以250年前人類的科技水平，在太陽系里已經發現的包括地球在內的6顆行星。神奇的是，這組數列竟然與實際基本吻合。這是宇宙的奧妙。但是觀測上面這組數列，在24這個數字上應該會有一顆行星存在，暫且稱它為行星α，α到太陽的平均距離應該是（24+4）÷10=2.8，由于當時的觀測技術條件有限，從來沒有人在2.8個天文單位處發現這顆行星。好幾年過去了，這顆謎一樣的行星一直沒有被人搜到。但是在搜尋行星α的過程中，人們發現了另一顆新的行星，它滿足（192+4）÷10=19.6的公式。這便是天王星到太陽的距離。

在Johann Daniel Titius提出行星數列推論后的30年里，神秘的行星α一直不曾露面，人們都快忘記它了。奇跡發生在1801年1月1日，意大利亞平寧半島上有一位天文學家Giuseppe Piazzi，觀測到在白羊座（Aries）附近有光度8等的星體在移動。這顆小行星在天空中出現了41天，掃過8°角之后，就在太陽的光芒下消失了蹤影。當時天文學家無法確定這顆新星是彗星還是行星，因為當時可用的數據太少了，根本沒法確定其軌道。利用有限的數據難以列出可求解的非線性方程，以至于牛頓都聲稱該問題屬于數學天文學領域中最困難的問題。得而復失的行星α的行蹤，毫無疑問地引起了當時科學界的廣泛關注，也引起了另一位德國青年才俊的注意。這人便是24歲的數學家高斯。

高斯根據 Piazzi 有限的幾次觀測結果，只用了一個小時便推斷出這顆神秘行星的運行軌跡，并預測何時在哪一片天空會出現。在1801年12月31日夜晚，德國觀星者奧博斯果然在高斯預言的時間里，用天文望遠鏡對準天空找到了神秘行星。這便是太陽系中最小，但是在小行星帶里最大的矮行星，命名為谷神星。高斯用有限的幾次觀測數據擬合出谷神星的運行估計計算方法，但直到1809年才發表。在1809年發表的論文中，還描述了1795年他18歲時發現的最小二乘法，并且利用這個方法對谷神星的軌道估計進行了改進。

最小二乘數據擬合如圖1.1所示。

自從最小二乘法被發表以后，它就一直不斷地成為人們感興趣的主題，并且使各個時代的科技人員都受益匪淺。最小二乘法是第一個最優化估計方法，在實驗科學和理論科學之間建立了重要的橋梁，即為實驗人員提供了估計理論模型未知參數的一種切實可行的方法。