2.1.2信息熵

1.信息熵

自信息量是信源發出某一具體消息所含有的信息量，對一個信源而言，發出的消息不同它的自信息量就不同，所以自信息量本身為隨機變量，不能作為整個信源的總體信息測度。在大多數情況下，我們更關心離散信源符號集的平均信息量問題，即信源中平均每個符號所能提供的信息量，這就需要對信源中所有符號的自信息進行統計平均。

定義 2-5信源中各個離散消息自信息量的數學期望為信源的平均信息量，也叫信息熵。簡稱熵，記為H(X），即

注意：熵函數的自變量是大寫的X，表示信源整體。信息熵的單位由自信息的單位決定，即取決于對數選取的底，這里取以2為底的對數，單位是比特/符號。

由于這個表達式和統計物理學中熱熵的表達式相似，且在概念上也相似，因此借用熵這個名詞，把H(X)稱為信息熵。

熵具有以下物理意義：

①表示信源輸出消息后，每個離散消息所提供的平均信息量；

②表示信源輸出消息前，信源的平均不確定度。

【例2-3】 有三個信源X，Y，Z，其概率空間為

解 根據定義計算

H(X)=-0.5log20.5-0.5log20.5=1(比特/符號)

H(Y)=-0.99 log20.99-0.01log20.01=0.08(比特/符號)

H(Z)=-0 log20-1log21=0(比特/符號)

可見，H(X)>H(Y)>H(Z)，信源符號的概率分布越均勻，則平均信息量越大，信源X比信源Y平均信息量大，Z是確定事件，不含有信息量。

【例2-4】 有一篇千字文章，假定每個字可從一萬個漢字中任選，則共有不同的千字文篇數為N=100001000=104000篇，按等概率計算，平均每篇千字文可提供的信息量為

2. 條件熵

上面討論的是單個離散隨機變量的信息的度量問題，實際應用中，常常需要考慮兩個或兩個以上的隨機變量之間的相互關系，此時要引入條件熵的概念。

定義2-6 條件熵是在聯合符號集合XY上的條件自信息量的數學期望，在已知隨機變量Y的條件下，隨機變量X的條件熵H(X/Y)定義為

要注意條件熵是用聯合概率p(xiyj)，而不是用條件概率p(yj/xi) 進行加權平均。

下面說明為什么要用聯合概率進行加權平均。

在已知yj條件下，xi的條件自信息量為I(xi/yj)，按熵的定義，X集合的條件熵H(X/yj)為

上式僅知某一個yj時X的條件熵，它隨著yj的變化而變化，仍然是一個隨機變量。所以應求出H(X/yj)的統計平均值，這樣就得到條件熵的定義式為

相應地，在給定X條件下，Y的條件熵H(Y/X)為

【例2-5】 已知X，Y∈{0，1}，XY構成的聯合概率為：p(00)=p(11)=1/8，p(01)=p(10)=3/8，計算條件熵H(X/Y）。

解 由全概率公式，可得

p(0)=p(y1=0)=p(x1y1=00)+p(x2y1=10)=1/8+3/8=1/2

同理可求得

p(1)=p(y 2=1)=1/2

再由

得

同理可得

p (1/0)=p(0/1)=3/4

由式（2-8）可得

H(X/Y)=-p(00)log2p(0/0)-p(01)log2p(0/1)-p(10)log2p(1/0)-p(11)log2p(1/1)

=(-(1/8)log2(1/4)-(3/8)log2(3/4))×2=0.812 (比特/符號)

3. 聯合熵

定義2-7 聯合離散符號集合XY上的每對元素xiyj的聯合自信息量的數學期望為聯合熵，用H(XY)表示，即

【例 2-6】 二進制通信系統用符號“0”和“1”，由于存在失真，傳輸時會產生誤碼，用符號表示下列事件：

u0：一個“0”發出；u1：一個“1”發出；v0：一個“0”收到；v1：一個“1”收到，給定概率：p(u0)=1/2，p(v0/u0)=3/4，p(v0/u1)=1/2，求：

（1）已知發出一個“0”，收到符號后得到的信息量；

（2）已知發出的符號，收到符號后得到的信息量；

（3）知道發出的和收到的符號能得到的信息量；

（4）已知收到的符號，被告知發出的符號能得到的信息量。

解 （1）可求出

p(v1/u0)=1-p(v0/u0)=1/4

H(V/u0)=-p(v0/u0)log2p(v0/u0)-p(v1/u0)log2p(v1/u0)

=-(3/4)log2(3/4)-(1/4)log2(1/4)=0.82(比特/符號)

（2）聯合概率p(u0v0)=p(u0)p(v0/u0)=3/8，同理可得

p(u0v1)=1/8，p(u1v0)=1/4，p(u1v1)=1/4

=-(3/8)log2(3/4)-(1/8)log2(1/4)-2×(1/4)log2(1/2)

=0.91 (比特/符號)

（4）利用貝葉斯公式可求出

同理可得

p(u 1/v0)=2/5 , p (u0/v1)=1/3 , p (u1/v1)=2/3

所以