1.3信息論的形成和發展

信息論自誕生到現在不到60年，在人類科學史上是相當短暫的，但它的發展對學術界及人類社會的影響是相當廣泛和深刻的。信息作為一種資源，如何開發、利用和共享，是人們普遍關心的問題。在人類歷史的長河中，信息傳輸和傳播手段經歷了5次重大變革，正是在不斷的變化中，人們逐漸認識到信息的存在及重要作用。第一次變革是語言的產生。人們用語言準確地傳遞感情和意圖，使語言成為傳遞信息的重要工具。第二次變革是文字的產生。人類發明了紙張，就開始用書信的方式交換信息，使信息傳遞的準確性大為提高。第三次變革是印刷術的發明。它使信息能大量存儲和大量流通，并顯著擴大了信息的傳遞范圍。第四次變革是電報、電話的發明，開始了人類電信時代，通信理論和技術迅速發展。1924年，奈奎斯特解釋了信號帶寬和信息速率之間的關系。

20世紀30年代，新的調制方式，如調頻、調相、單邊帶調制、脈沖編碼調制和增量調制的出現，使人們對信息能量、帶寬和干擾的關系有了進一步的認識。1936年，阿姆斯特朗指出增大帶寬可以使抗干擾能力加強，并根據這一思想提出了寬頻移的頻率調制方法。1939年，達德利發明了帶通聲碼器，指出通信所需帶寬至少同待傳送消息的帶寬應該一樣。聲碼器是最早的語言數據壓縮系統。這一時期還誕生了無線電廣播和電視廣播。通信技術的進步使人們更深入地考慮問題：究竟如何定量地研究通信系統中的信息？怎樣才能更有效和更可靠地傳遞信息？現有的各種通信體制如何改進等等。

1928年，哈特萊首先提出了用對數度量信息的概念。哈特萊的工作給香農很大的啟示，他在1941～1944年對通信和密碼進行深入研究，用概率論和數理統計的方法系統地討論了通信的基本問題，得出了幾個重要而帶有普遍意義的結論。他闡明了通信系統傳遞的對象就是信息，并對信息給予科學的定量描述，提出了信息熵的概念，指出通信系統的中心問題是在噪聲下如何有效而可靠地傳遞信息，以及實現這一目標的方法是編碼等等。這些成果于1948年以“通信的數學理論”（A mathematical theory of communication）為題公開發表，標志著信息論的正式誕生。與此同時，維納在研究火控系統和人體神經系統時，提出了在干擾作用下的信息最佳濾波理論，成為信息論的一個重要分支。

20世紀50年代，信息論在學術界引起了巨大反響。1951年，美國無線電工程師協會成立了信息論組，并于1955年正式出版了信息論匯刊。這一時期，包括香農本人在內的一些科學家做了大量工作，發表了許多重要文章，將香農的科學論斷進一步推廣，同時信道編碼理論有了較大的發展。信源編碼的研究落后于信道編碼。1959年，香農在發表的“保真度準則下的離散信源編碼定理”（Coding theorems for a discrete source at the fidelity criterion）一文中系統地提出了信息率失真理論，為信源壓縮編碼的研究奠定了理論基礎。在香農編碼定理的指導下，信道編碼理論和技術逐步發展成熟。漢明提出了一種重要的線性分組碼——漢明碼，此后人們把代數方法引入到糾錯碼的研究，形成了代數編碼理論。1957年普蘭奇伊提出了循環碼，在隨后的十多年里，糾錯碼理論的研究主要是圍繞著循環碼進行的，取得了許多重要成果。1959年霍昆格姆、1960年博斯和查德胡里各自分別提出了BCH碼，這是一種可糾正多個隨機錯誤的碼，是迄今為止所發現的最好的線性分組碼之一。1955年埃利斯提出了不同于分組碼的卷積碼，接著伍成克拉夫提出了卷積碼的序列譯碼。

20世紀60年代，信道編碼技術有了較大發展。1967年維特比提出了卷積碼的最大似然譯碼法，該譯碼方法效率高、速度快、譯碼較簡單，得到了極為廣泛的應用。1966年福尼提出級聯碼概念，用兩次或更多次編碼的方法組合成很長的分組碼，以獲得性能優良的碼，盡可能接近香農極限。隨著科學的進步和工程實踐的需要，糾錯碼理論還將進一步發展，它的應用范圍也必將進一步擴大。

信源編碼的研究由維納于1942年就進行了開創性的工作，以均方量化誤差最小為準則，建立最優預測原理，為后來的線性預測壓縮編碼鋪平了道路。1952年霍夫曼提出了一種重要的無失真信源編碼方法——Huffman 碼。這是一種非等長碼，它可以很好地達到香農無失真信源編碼定理所指出的壓縮極限，已被證明是平均碼長最短的最佳碼。為進一步提高有記憶信源的壓縮效率，20世紀60～70年代，人們開始將各種正交變換用于信源壓縮編碼，先后提出DFT、DCT、WHT、KLT等多種變換，其中KLT為最佳變換，但其實用性不強，綜合性能最好的是離散余弦變換（DCT），目前DCT已被多種圖像壓縮國際標準用作主要壓縮手段，得到了極為廣泛的應用。除了上述幾類經典的信源壓縮編碼方法的研究外，從20世紀90年代初開始，主要針對圖像類信源的特點，人們提出了多種新的壓縮原理和方法，包括小波變換編碼、分形編碼、模型編碼、子帶編碼等。這些方法可有效地消除圖像信源的各種冗余，在目前還有很大的發展空間，有關其實際應用問題，還在繼續探討之中。

1961年，香農的重要論文“雙路通信信道”開拓了多用戶信息理論的研究。

第五次變革是計算機技術與通信技術相結合，促進了網絡通信的發展。寬帶綜合業務數字網的出現，給人們提供了除電話服務以外的多種服務，使人類社會逐漸進入了信息化時代。信息理論的研究得到進一步的發展，多用戶理論的研究取得了突破性的進展。至此，香農的單用戶信息論已推廣到多用戶信息論。20世紀70年代以后，多用戶信息論即現在所說的網絡信息論成為中心研究課題之一。

信息論的研究對象是廣義通信系統，不僅電子的、光學的信號傳遞系統，任何系統，只要能夠抽象成通信系統模型，都可以用信息論研究，如質量控制系統、市場營銷系統和神經傳導系統等。