書名: 信息論與編碼原理作者名: 宋鵬 范錦宏 肖珂 齊建中編著本章字數: 586字更新時間: 2018-12-29 16:17:41
第2章信源及其信息量
信源是信息論與編碼中最關鍵的部分,后續系統根據其特性來決定應采取的方案。信源是信息的來源,輸出以符號形式出現的具體消息,且消息是隨機的,因此可用概率來描述其統計特性,這是香農信息論的基本點。在信源端需要解決兩個問題:一個是如何定量地描述信源,即如何計算信源的信息量;另一個是如何有效地表示信源的輸出或者說信源信息的載體形式,即信源編碼問題。第二個問題將在信源編碼中詳細討論,本章主要討論第一個問題,并且按不同的信源特征來分別討論。
下面先討論信源按其發出的信息符號特征的分類。信源按照發出的消息在時間上和幅度上的分布情況可將信源分成離散信源、連續信源和波形信源。離散信源是指發出在時間和幅度上都是離散分布的消息的信源,即信源輸出的消息是以一個一個符號的形式出現,例如文字、字母等,這些符號的取值是有限的或可數的;連續信源是指發出在時間上離散幅度上連續分布的消息的信源,如抽樣后的語音信號;波形信源是指發出時間和幅度上都連續分布的消息的信源,如語言、圖像和圖形等。此外,還可以根據各維隨機變量的概率分布是否隨時間的推移而變化將信源分為平穩信源和非平穩信源。根據隨機變量間是否統計獨立將信源分為有記憶信源和無記憶信源。
離散平穩信源還可分類為:

一個實際信源的統計特性往往是相當復雜的,要想找到精確的數學模型很困難。實際應用時常常用一些可以處理的數學模型來近似。