1.2信息論研究的對象和內容

由前面關于信息概念的討論中已經看到：各種通信系統如電報、電話、電視、廣播、遙測、遙控、雷達和導航等，雖然它們的形式和用途各不相同，但本質是相同的，都是信息傳輸系統。為了便于研究信息傳輸和處理的共同規律，將各種通信系統中具有共同特性的部分抽取出來，概括成一個統一的理論模型，如圖1-2所示，通常稱它為通信系統模型。

該通信系統模型也適用于其他信息流通系統，如生物有機體的遺傳系統、神經系統、視覺系統等，甚至人類社會的管理系統都可概括成這個模型。所以這種統一的理論模型又可統稱為信息傳輸系統模型。

信息論研究的對象正是這種統一的通信系統模型。人們通過系統中消息的傳輸和處理來研究信息傳輸和處理的共同規律。通信系統模型主要分成下列5個部分。

（1）信源

信源是產生消息和消息序列的源。它可以是人、生物、機器或其他事物。它是事物各種運動狀態或存在狀態的集合。例如，“籃球比賽的實況”，“各種氣象狀態”等客觀存在是信源。人的大腦思維活動也是一種信源。信源可能出現的狀態（即信源輸出的消息）是隨機的、不確定的，但又有一定的規律性。

（2）編碼器

編碼是把消息變換成信號的方法。而譯碼就是編碼的反變換。編碼器輸出的是適合信道傳輸的信號，信號攜帶著消息，它是消息的載體。編碼器可分為兩種，即信源編碼器和信道編碼器。信源編碼是對信源輸出的消息進行適當的變換和處理，目的是為了提高信息傳輸的效率。而信道編碼是為了提高信息傳輸的可靠性而對消息進行的變換和處理。對于各種實際的通信系統，編碼器還應包括換能、調制、發射等各種變換處理。

（3）信道

信道是指通信系統把載荷消息的信號從A地傳輸到B地的媒介。在狹義的通信系統中實際信道有明線、電纜、波導、光纖、無線電波傳播空間等，這些都是屬于傳輸電磁波能量的信道。對廣義的通信系統來說，信道還可以是其他的傳輸媒介。信道除了傳送信號以外，還有存儲信號的作用。如書寫通信方式就是一例。在信道中引入噪聲和干擾，這是一種簡化的表達方式。為了分析方便，把在系統其他部分產生的干擾和噪聲都等效地折合成信道干擾，看成是由一個噪聲源產生的，它將作用于所傳輸的信號上。這樣，信道輸出的已是疊加了干擾的信號。由于干擾或噪聲往往具有隨機性，所以信道的特性也可以用概率空間來描述。而噪聲源的統計特性又是劃分信道的依據。

（4）譯碼器

譯碼就是把信道輸出的編碼信號（已疊加了干擾）進行反變換。要從受干擾的編碼信號中最大限度地提取出有關信源輸出的信息。譯碼器也可分成信源譯碼器和信道譯碼器。

（5）信宿

信宿是消息傳送的對象，即接收消息的人或機器。信源和信宿可處于不同地點和不同時刻。

圖1-2的通信系統模型是最基本的。近年來，隨著通信技術和計算機技術尤其是互聯網的建立和發展，對信息傳輸的質量要求更高了。不但要求既快速有效又能可靠地傳遞信息，而且還要求信息傳遞過程中保證信息的安全保密，不被偽造和竄改。因此，在編碼器這一環節中還需加入加密編碼。相應地，在譯碼器中加入解密譯碼。為此，我們把圖1-2的通信系統模型中編（譯）碼器分成信源編碼（譯碼）、信道編碼（譯碼）和加密編碼（解密譯碼）3個部分。這樣，信息傳輸系統的基本模型如圖1-3所示。

研究這樣一個概括性很強的信息傳輸系統，其目的就是要找到信息傳輸過程的共同規律，以提高信息傳輸的可靠性、有效性和保密性，使其達到最優化。

所謂可靠性高，就是要使信源發出的消息經過信道傳輸以后，盡可能準確地、不失真地再現在接收端。而所謂有效性高，就是經濟效果好，即用盡可能短的時間和盡可能少的設備來傳送一定數量的信息。

后面我們會看到，提高可靠性和提高有效性常常會發生矛盾，這就需要統籌兼顧。例如，為了兼顧有效性（考慮經濟效果），有時就不一定要求絕對準確地在接收端再現原來的消息，而是可以允許一定的誤差或一定的失真，或者說允許近似地再現原來的消息。所謂保密性就是隱蔽和保護通信系統中傳送的消息，使它只能被授權接收者獲取，而不能被未授權者接收和理解。有效性、可靠性和保密性三者才體現了現代通信系統對信息傳輸的全面要求。

信息傳輸系統模型不是不變的，它根據信息傳輸的要求而定。如果研究信息傳輸有效性時，可只考慮信源與信宿之間的信源編（譯）碼，將其他部分都看成一個無干擾信道。如果研究信息傳輸可靠性時，將信源、信源編碼和加密編碼都等效成一個信源，而將信宿、信源譯碼和解密譯碼都等效成一信宿。

目前，對信息論研究的內容一般有以下3種理解。

（1）信息論基礎

亦稱香農信息論或狹義信息論，主要研究信息的測度、信道容量和信息率失真函數、與這3個概念相對應的香農三定理以及信源和信道編碼。其研究的各部分內容可用圖1-4來描述。

（2）一般信息論

主要研究信息傳輸和處理問題。除了香農基本理論之外，還包括噪聲理論、信號濾波和預測、統計檢測與估計理論、調制理論。后一部分內容以美國科學家維納為代表。雖然維納和香農等人都是運用概率和統計數學的方法研究準確或近似再現消息的問題，都是通信系統的最優化問題，但它們之間有一個重要的區別。維納研究的重點是在接收端，研究消息在傳輸過程中受到干擾時，在接收端如何把消息從干擾中提取出來。在此基礎上，建立了最佳過濾理論（維納濾波器）、統計檢測與估計理論、噪聲理論等。香農研究的對象是從信源到信宿的全過程，是收、發端聯合最優化問題，重點是編碼。香農定理指出：只要在傳輸前后對消息進行適當的編碼和譯碼，就能保證在有干擾的情況下，最佳地傳送消息，并準確或近似地再現消息。為此，發展了信息測度理論、信道容量理論和編碼理論等。

（3）廣義信息論

廣義信息論是一門綜合性的新興學科，至今并沒有嚴格的定義。概括說來，凡是能夠用廣義通信系統模型描述的過程或系統，都能用信息基本理論來研究。不僅包括一般信息論的所有研究內容，還包括如醫學、生物學、心理學、遺傳學、神經生理學、語言學、語義學，甚至社會學和經濟管理中有關信息的問題。反過來，所有研究信息的識別、控制、提取、變換、傳輸、處理、存儲、顯示、價值、作用和信息量大小的一般規律以及實現這些原理的技術手段的工程學科，也都屬于廣義信息論的范疇。