第2章 信息論基礎

信息是消息的內涵，其與通信問題密切相關。1948年香農在題為《通信的數學理論》的論文中系統地提出了關于信息的論述，創立了信息論。維納提出的關于度量信息量的數學公式預示了信息論的廣闊應用前景。1951年，美國無線電工程學會承認了信息論這門學科，此后信息論得到迅速發展。20世紀50年代是信息論向各門學科沖擊的時期，而60年代信息論屬于一個消化、理解的時期，在已有基礎上進行重大建設的時期，其研究重點是信息和信源編碼問題。70年代，由于數字計算機的廣泛應用，通信系統的能力有了極大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源加以利用和共享。可以說，信息論是20世紀40年代后期人們從長期通信實踐中總結出來的一門學科，是專門研究信息的有效處理和可靠傳輸的一般規律的科學，是運用概率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的應用數學學科。

本章重點學習信息論的基本概念，主要包括信源的數學模型、信息量、信息熵、信道的相關概念以及香農三大定理。通過本章相關概念的學習，有助于理解通信的基本過程，以及信息在傳遞過程中所涉及的基本理論。本章內容也是后續章節課程學習所必備的知識基礎。