2.1.1 離散變量的自信息量

定義2-1 單符號離散信源的數(shù)學模型用離散型概率空間表示為

其中p(xi)滿足

式中，X表示信源輸出消息的整體，xi表示某個消息，p(xi)表示消息xi出現(xiàn)的概率。n是信源可能輸出的消息數(shù)，信源可能輸出的消息數(shù)可以是有限個，也可以是可數(shù)無限個，通常是有限個，信源每次輸出其中的一個消息。

信源發(fā)出的消息是隨機的，在沒有收到消息之前，收信者不能確定信源發(fā)出的是什么消息。只有當收信者收到通過信道傳輸過來的消息后，才能消除不確定性并獲得信息。

1. 自信息量

定義 2-2 一個隨機事件發(fā)生某一結(jié)果后所帶來的信息量為自信息量，簡稱自信息。定義為其發(fā)生概率對數(shù)的負值。若隨機事件發(fā)生xi的概率為p(xi)，那么它的自信息量為

I(xi)代表兩種含義：在事件xi發(fā)生以前，表示事件xi發(fā)生的不確定性的大小；在事件xi發(fā)生以后，表示事件xi所含有或所能提供的信息量。

自信息量的單位由對數(shù)的底來決定：

① 若以2為底，則單位為比特（bit，binary unit）；

② 若以e為底，則單位為奈特（nat，nature unit）；

③ 若以10為底，則單位為哈特（hat，hartley unit），這是由Hartley首先采用的；

④ 若以r為底，則為r進制單位。

應(yīng)用換底公式log2x=logrx/logr2，r可為e或10，可得到它們之間的關(guān)系為：

1 nat=log2e=1.443 bit，1 hat=log210=3.322 bit

比較常用的為log2x=1.443 lnx，可用自然對數(shù)來計算bit單位的信息量。

比特是信息論中常用的信息量單位，為了書寫簡潔，可把底數(shù)2省略不寫；理論推導中或用于連續(xù)信源時用以e為底的對數(shù)比較方便；工程上用以10為底的對數(shù)較方便。

容易證明，自信息量具有下列性質(zhì)：

（1）I(xi)是非負值

由于0≤p(xi)≤1，根據(jù)對數(shù)的性質(zhì)，log2p(xi)為負值，所以-log2p(xi)為非負值。

（2）當p(xi)=1時，I(xi)=0

概率為1的確定事件，其自信息量為0，即不含有任何信息量，發(fā)生以后也不會給人以任何信息量。

（3）當p(xi)=0時，I(xi)=∞

概率為0的不可能事件一旦發(fā)生，產(chǎn)生的信息量非常大。

（4）I(xi)是p(xi)的單調(diào)遞減函數(shù)

p(xi)取值于[0, 1]，所以1/p(xi)≥1，它隨著p(xi)的增大而減小。根據(jù)對數(shù)性質(zhì)可以看出I(xi)=log2[1/p(xi)]隨著p(xi)的增大而減小。小概率事件所包含的不確定性大，其自信息量大，一旦出現(xiàn)必然使人感到意外；出現(xiàn)概率大的隨機事件所包含的不確定性小，是預料之中的事件，其自信息量小。即使發(fā)生，也沒什么信息量。

（5）自信息量也是一個隨機變量

xi是一個隨機變量，I(xi)是xi的函數(shù)，所以自信息量也是一個隨機變量。

2. 聯(lián)合自信息量

兩個隨機事件的離散信源，其信源模型為

其中

定義2-3 二維聯(lián)合集XY中，對事件xi和yj，若xi，yj同時出現(xiàn)，可用聯(lián)合概率p(xiyj)來表示，其聯(lián)合自信息量定義為聯(lián)合概率p(xiyj)對數(shù)的負數(shù)值，即

當xi和yj相互獨立時，p(xiyj)=p(xi)p(yj，代入式（2-2）就有

說明兩個隨機事件相互獨立時，同時發(fā)生得到的自信息量等于這兩個隨機事件各自獨立發(fā)生得到的自信息量之和。

3. 條件自信息量

定義2-4 二維聯(lián)合集XY中，對事件xi和yj，事件xi在事件yj給定的條件下的條件自信息量定義為條件概率p(xi/yj)對數(shù)的負值，即

上式表示在特定條件（yj已定）下隨機事件xi發(fā)生所帶來的信息量。同樣，xi已知時發(fā)生yj的條件自信息量為

容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：

【例2-1】 某地二月份的天氣的概率分布統(tǒng)計如下：

分別求這4種氣候的自信息量？

解 I(x1)=-log2 p(x1)=-log2(1/2)=1（比特）

I(x2)=-log2p(x2)=-log2(1/4)=2（比特）

I(x3)=-log2p(x3)=-log2(1/8)=3（比特）

I(x4)=-log2p(x4)=-log2(1/8)=3（比特）

【例2-2】 英文字母中“a”出現(xiàn)的概率為0.064，“c”出現(xiàn)的概率為0.022。

（1）分別計算它們的自信息量。

（2）假定前后字母出現(xiàn)是互相獨立的，計算“ac”的自信息量。

（3）假定前后字母出現(xiàn)不是互相獨立的，當“a”出現(xiàn)以后，“c”出現(xiàn)的概率為0.04，計算“a”出現(xiàn)以后，“c”出現(xiàn)的條件自信息量。

解 （1）I(a)=-log20.064=3.96（比特）

I(c)=-log20.022=5.51（比特）

（2）由于前后字母出現(xiàn)是互相獨立，所以

I(ac)=I(a)+I(c)=9.47（比特）

（3）I(c/a)=-log20.04=4.64（比特）