第1章 概論

1.1信息的概念及其分類

當今社會，“信息”一詞廣泛應用于各種場合，人們在各種生產實踐、科學研究和社會活動中，無處不涉及信息的交換和利用。可以說在我們周圍充滿了信息，我們正處于信息社會中。物質、能源和信息構成了現代社會生存、發展的三大基本支柱，可見信息的重要性。

信息的重要性不言而喻，那么究竟信息是什么呢？

信息的概念非常廣泛，不同的定義有百種以上。數學家認為“信息是使概率分布發生改變的東西”，哲學家認為“信息是物質成分的意識成分按完全特殊的方式融合起來的產物”，美國數學家香農認為“信息就是一種消息”，美國數學家、控制論的主要奠基人維納認為“信息既不是物質又不是能量，信息就是信息”……

在信息論和通信理論中經常會遇到信息、消息和信號這3個既有聯系又有區別的名詞。在學習信息論與編碼技術之前，先介紹這幾個基本概念。

信息：是系統傳輸、交換、存儲和處理的對象，信息載荷在語言、文字、數據和圖像等消息之中。人們在對周圍世界的觀察中獲得信息，信息是抽象的意識或知識，它是看不見、摸不著的。而且信息僅僅與隨機事件的發生相關，非隨機事件的發生不包含任何信息。從這一點上我們可以得知，信息量的大小與隨機事件發生的概率有直接的關系，概率越小的隨機事件一旦發生，它所包含的信息量就越大，而出現概率大的隨機事件一旦發生，它所包含的信息量就比較小。

消息：是信息的載體。例如：包含有信息的語言、文字和圖像等。在世界各地的人要想知道其他地方發生事情的內容，只能從各種各樣的消息中得到，這些消息可以是廣播中的語言、報紙上的文字、電視中的圖像或互聯網上的文字與圖像等。可見，消息是具體的，它載荷信息，但它不是物理性的。信息只與隨機事件的發生有關。每時每刻在世界上的每個地方，都會有各種事件發生，這些事件的發生絕大多數是隨機的，即這些隨機事件的消息中含有信息；如果事件的發生不是隨機而是確定的，那么該消息中就不含信息，該消息的傳輸也就失去了意義。

信號：把消息變換成適合信道傳輸的物理量，這種物理量稱為信號（如電信號、光信號、聲音信號等）。為了在信道上傳輸消息，就必須把消息加載（調制）到具有某種物理特征的信號上去。以人類的語言為例，當人們說話時，發出聲信號，這種聲信號經過麥克風的轉換變成了電信號。這里的聲信號和電信號都是我們所指的信號，在本書中涉及的信號主要是指電信號。

按照信息論的觀點，信息不等于消息。在日常生活中，人們往往對消息和信息不加區別，認為得到了消息，就是獲得了信息。例如，當人們收到一封電報，接到一個電話，收聽了廣播或看了電視等以后，就認為獲得了“信息”。的確，人們從接收到的電報、電話、廣播和電視的消息中能獲得各種信息，信息與消息有著密切的聯系。但是，信息與消息并不等同。人們收到消息后，如果消息告訴了我們很多原來不知道的新內容，我們會感到獲得了很多的信息，而如果消息是我們基本已經知道的內容，我們得到的信息就不多。所以信息應該是可以測度的。在電報、電話、廣播、電視（也包括雷達、導航、遙測）等通信系統中傳輸的是各種各樣的消息，這些被傳送的消息有著各種不同的形式，如文字、數據、語言、圖像等。所有這些不同形式的消息都是能被人們的感覺器官所感知的，人們通過通信，接收到消息后，得到的是關于描述某事物狀態的具體內容。例如，電視中轉播亞運會，人們從電視圖像中看到了亞運會進展情況，而電視的活動圖像則是對亞運會運動狀態的描述。當然，消息也可用來表達人們頭腦里的思維活動。例如，朋友給您打電話說：“我想上大學”，您從這條消息得知了您的朋友的想法，該語言消息反映了人的主觀世界——大腦物質的思維運動所表現出來的思維狀態。因此，用文字、符號、數據、語言、音符、圖像等能夠被人們的感覺器官所感知的形式，把客觀物質運動和主觀思維活動的狀態表達出來就成為消息。所以，消息中包含信息，是信息的載體，得到消息，進而獲得信息。同一則信息可用不同的消息形式來載荷，如前所述的亞運會進展情況可用電視圖像、廣播語言、報紙文字等不同消息來表述。而一則消息也可載荷不同的信息，它可能包含非常豐富的信息，也可能只包含很少的信息。因此，信息與消息是既有區別又有聯系的。

在各種實際通信系統中，為了克服時間或空間的限制而進行通信，必須對消息進行加工處理。把消息變換成適合于信道傳輸的信號。信號攜帶著消息，它是消息的運載工具。如前例中，攜帶亞運會進展情況的電視圖像轉換成電信號，電信號經過調制變成高頻調制電信號，才能在信道中傳輸；在通信系統的接收端，通過解調還原出原始電信號，在電視屏幕中呈現給觀眾，從而使觀眾獲得信息。同樣，同一消息可用不同的信號來表示，同一信號也可表示不同的消息。例如，紅、綠燈信號：若在十字路口，紅、綠燈信號表示能否通行的信息；而在電子儀器面板上，紅綠燈信號卻表示儀器是否正常工作或者表示高低電壓等信息。所以，信息、消息和信號是既有區別又有聯系的3個不同的概念。從以上的討論中可以看到，信息、消息和信號之間有著密切的關系。信息是一切通信系統所要傳遞的內容，而消息作為信息的載體可能是一種“高級”載體；信號作為消息的物理體現，是信息的一種“低級”載體。作為系統設計人員，我們所接觸的只是信號，而信號最終要變成消息的形式才能被大眾接受。信息的基本概念在于它的不確定性，任何已確定的事物都不含有信息。因此，我們說，信息、消息和信號是緊密相聯的3個不同的概念，它們之間的關系如圖1-1所示。

對信息的定義雖然各不相同，實質內容并無太大的差異，主要差異在于側面不同、詳略不同、抽象的程度不同和概括的層次高低不同。根據不同的條件，區分不同的層次，可以給信息下不同的定義。最高的層次是最普遍的層次，也是無約束條件的層次，定義事物的信息是該事物運動的狀態和狀態改變的方式。我們把它叫做“本體論”層次。在這個層次上定義的信息是最廣義的信息，使用范圍也最廣。每引入一個約束條件，定義的層次就降低一點，使用的范圍就變窄一點。例如，引入一個最有實際意義的約束條件，即認識主體，站在認識主體的立場上定義信息，這時本體論層次的信息定義就轉化為認識論層次的信息定義，即信息是認識主體（生物或機器）所感知的或所表述的相應事物的運動狀態及其變化方式，包括狀態及其變化方式的形式、含義和效用。其中認識主體所感知的東西是外部世界向認識主體輸入的信息，而認識主體所表述的東西則是其向外部世界輸出的信息。

雖然認識論比本體論的層次要低一些，所定義信息的使用范圍也要窄一些，但是信息概念的內涵比本體論層次要豐富得多。因為認識主體具有感覺能力、理解能力和目的性，能夠感覺到事物運動狀態及其變化方式的外在形式和內在含義，并能夠判斷其效用價值。對認識主體來說，這三者之間是相互依存、不可分割的關系：因此，在認認論層次上研究信息的時候，“事物的運動狀態及其變化方式”就不再像本體論層次上那樣簡單了，它必須同時考慮到形式、含義和效用3個方面的因素。事實上，認識主體只有在感知了事物運動狀態及其變化的形式、理解了它的含義、判明了它的效用之后，才算真正掌握了這個事物的認識論層次信息，才能做出正確的決策。把同時考慮事物運動狀態及其變化方式的外在形式、內在含義和效用價值的認識論層次信息稱為“全信息”，而把僅僅考慮其中形式因素的部分稱為“語法信息”，把考慮其中含義因素的部分稱為“語義信息”，把考慮其中效用因素的部分稱為“語用信息”。換句話說，認識論層次的信息是同時考慮語法信息、語義信息和語用信息的全信息。

香農信息論僅考慮了事物運動狀態及其變化方式的外在形式，實際上研究的是語法信息。從這個角度出發，可以對信息下這樣的定義：信息是對事物運動狀態和變化方式的表征，它存在于任何事物之中，可以被認識主體（生物或機器）獲取和利用。從數學觀點出發研究香農信息論，可以認為信息是對消息統計特性的一種定量描述。

信息存在于自然界，也存在于人類社會，其本質是運動和變化。可以說哪里有事物的運動和變化，哪里就會產生信息。信息必須依附于一定的物質形式存在，這種運載信息的物質，稱為信息載體。人類交換信息的形式豐富多彩，使用的信息載體非常廣泛。概括起來，有語言、文字和電磁波。語言是信息的最早載體；文字和圖像使信息保存得更持久，傳播范圍更大；電磁波則使載荷信息的容量和速度大為提高。信息本身既看不見，又摸不著，沒有氣味，沒有顏色，沒有形狀，沒有大小，沒有重量……總之，它是非常抽象的東西。但信息又處處存在，它既區別于物質和能量，又與物質和能量有相互依賴的關系。

綜合起來，信息具有以下特征：

（1）信息是可以識別的：我們知道信息離不開物理載體，人們可以通過對這些物理載體的識別來獲得信息。有些可以用人的感官直接識別信息，例如承載于語言、文字中的信息可以直接用耳、目接收進而識別；而有些則需借助于各種傳感器間接識別信息，例如在遙感測量中要利用對電磁波敏感的傳感器來間接進行。

（2）信息是可以存儲、傳輸與攜帶的：信息可以用多種方式存儲起來，在需要的時候把存儲的信息調取出來。相同的信息可以用文字的形式記錄在書刊筆記中，也可以用錄音、錄像的方式存儲在磁性介質中，或者利用計算機存儲設備存儲起來。信息可以通過多種途徑進行傳遞，人與人之間的信息傳遞，既可以通過語言、文字，也可以通過體態、動作或表情；社會規模的信息傳遞，常通過報紙、雜志、電話、廣播、電視和網絡等。從原則上來說，各種物質的運動形式都可以用于信息的傳遞。信息依附于信息載體而存在，而任何物質都可以成為信息的載體，既然物質可以存儲、傳輸和攜帶，所以信息可通過信息載體以多種形式存儲、傳輸和攜帶。

（3）信息是可以量度的：信息量有大小的差別，出現概率越大的隨機事件一旦發生，它所包含的信息量就越小；出現概率越小的隨機事件一旦發生，它所包含的信息量就越大。

（4）信息是可以加工的：人們在收到各種原始信息之后，經過各種方式的加工可以產生新的信息，如研究人員通過收集資料或實驗獲得的原始信息，經過加工處理可能提出新的見解；計算機通過對輸入的信息加工處理，可為人們提供更有意義的結果。

（5）信息的可替代性：信息能替代勞動力、資本、物質材料甚至時間，正確、及時、有效地利用信息，可創造更多的物質財富，開發或節約更多的能量，節省更多的時間，收到巨大的經濟效益。

（6）信息是可以共享的：信息可以像實物一樣作為商品出售，但信息的知識特性使其交易又不同于一般的實物交易，信息交易后，信息出售者與信息購買者共同享有信息。

（7）信息的載體是可以轉換的：同樣內容的信息，可以有不同的形態，可以被包含在不同的物體變化之中，可以從一種形態轉換到另一種形態。如我們用感官識別出來的聲音、味道、顏色等信息可以轉換成語言、文字等形式。在這種轉換中，信息的物理載體發生了變化，但信息的內容可以保持完好無損。信息的這個特性，為人們借助于儀器間接地識別信息提供了基礎，也為信息的傳遞、存儲和處理帶來了方便。

由前述可知，信息是一種十分復雜的研究對象。要找到一種通用的方法來描述各種各樣的信息以及用統一的方法來恰如其分地描述信息的方方面面，顯然是非常困難的。要清楚、具體地認識信息，必須對信息進行分類。

信息分類有許多不同的準則和方法。按照性質，信息可以分成語法信息、語義信息和語用信息；按照攜帶信息的信號性質，信息還可以分成連續信息、離散信息和半連續信息；還可以按照地位、作用、應用部門等方式分類。我們研究信息的目的，是要準確地把握信息的本質和特點，以便更有效地利用信息。因此，在眾多的分類原則和方法中，最重要的就是按照信息性質的分類。

按照性質的不同可以把信息劃分成語法信息、語義信息和語用信息3個基本類型。其中最基本也最抽象的類型是語法信息，它是迄今為止在理論上研究得最多的類型。

語法信息考慮的是事物運動狀態和變化方式的外在形式。香農信息論主要討論的是語法信息中的概率信息，本書也以概率信息為主要研究對象。