1.3.3 維納濾波

極大似然估計從概率論的角度解決參數估計問題。在現實生活中，有很多現象要用隨機過程解釋，對隨機過程的估計在此之前仍然處于空白。對于隨機過程的估計，到20世紀30年代才積極發展起來。1940年，控制論的創始人之一——美國學者諾伯特·維納（Norbert Wiener，1894—1964年）根據火力控制的需要，提出一種在頻域中設計統計最優濾波器的方法，被稱為Wiener濾波。Wiener是20世紀早期著名的天才，從小由父親教育，9歲便直接進入中學，11歲中學畢業，然后用3年時間在塔夫茨大學獲得數學本科學位，14歲進入哈佛大學，18歲時獲得數學哲學博士學位，1919年以后一直是麻省理工的教師。

在眾多科學出版物里都能找到Wiener的身影，他在控制論方面的貢獻是聞名遐邇的。他的一些重要的數學成就有廣義諧波分析、廣義傅里葉變換，證明了白噪聲經過變換后依然是白噪聲。在第二次世界大戰的前幾年，Wiener 參加了一個軍方項目，需要用雷達信息設計一個自動控制器來引導防空火力。因為飛機的速度與子彈的速度相比是不能忽略的，因此要求這個系統“射向未來”。也就是說，控制器必須能夠利用有噪聲的雷達跟蹤數據，并對其目標的未來航線進行預測。

Wiener在推導最優估計器時，利用在函數空間上的概率測度來表示不確定的動態行為。他根據信號和噪聲的自相關函數，推導出最小均方預測誤差解。這個形式是一個積分算子，如果對自相關函數或者等效傅里葉變換的規律性施加某些約束，則可以用模擬電路來合成它。他的方法利用功率譜密度代表隨機現象的概率特性。同一時期，蘇聯杰出數學家——安德列·柯爾莫哥洛夫（Andrey Nikolaevich Kolmogorov，1903—1987年）提出并初次解決廣義離散平穩隨機序列的預測和外推問題。此時，Wiener正好完成了對連續時間預測器的推導工作。

Wiener的這個研究成果，直到20世紀40年代晚期，才在一個題目為“平穩時間序列的外插、內插和平滑”的研究報告中被解密。這個題目后來被縮寫為“時間序列”。該報告在當時引起不少關注，其中的很多數學細節，雖然本科生難以消化，但是卻吸引了專注于電子工程科學的一代研究生們。