2.1.4 互信息量

1. 互信息

定義2-8 一個事件yj所給出關(guān)于另一個事件xi的信息定義為互信息，用I(xi; yj)表示，為xi的后驗概率與先驗概率比值的對數(shù)，即

同理，可以定義xi對yj的互信息量為

考慮關(guān)系式

得

互信息量的單位與自信息量的單位一樣取決于對數(shù)的底。當(dāng)對數(shù)底為2時，互信息量的單位為比特。式（2-22）中由于無法確定p(xi/yj)和p(xi)的大小關(guān)系，所以I(xi; yj)不一定大于或等于零。

定義2-9 聯(lián)合集XYZ中，在給定zk條件下，xi與yj之間的互信息量定義為條件互信息量，用I(xi; yj/zk)表示，其定義式為

2. 平均互信息量

互信息表示某一事件給出的關(guān)于另一事件的信息，它隨xi和yj的變化而變化，為了從整體上表示一個隨機變量Y所給出關(guān)于另一個隨機變量X的信息量，引入平均互信息。

定義2-10 互信息量I(xi; yj)在XY的聯(lián)合概率空間中的統(tǒng)計平均值為平均互信息量，用I(X; Y)表示，即

稱I(X; Y)是Y對X的平均互信息量。

同理，X對Y的平均互信息量定義為

根據(jù)

可推出

前面給出了平均互信息的3種不同形式的表達式，下面將從3種不同的角度出發(fā)，闡述平均互信息的物理意義。

（1）由式（2-26）推出

Y關(guān)于X的平均互信息表示接收到輸出Y前、后關(guān)于X的平均不確定度減少的量，也就是從Y獲得的關(guān)于X的平均信息量。

（2）由式（2-27）推出

表示發(fā)出信源X前、后關(guān)于Y的平均不確定度減少的量。

（3）由式（2-28）推出

表示通信前后整個系統(tǒng)不確定度減少的量。

【例2-7】 把已知信源

接到圖2-2所示的信道上，求在該信道上傳輸?shù)钠骄バ畔⒘?I(X；Y)、信道疑義度 H(X/Y)、噪聲熵 H(Y/X)和聯(lián)合熵H(XY)。

解 （1）由p(xiyj)=p(xi)p(yj/xi)，求出聯(lián)合概率

p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49

p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01

p(x2y1)=p(x2)p(y1/x2)=0.5×0.20=0.10

p(x2y2)=p(x2)p(y2/x2)=0.5×0.80=0.40

（2）由

得

p(y2)=1-p(y1)=1-0.59=0.41

（3）由

得

p(x2/y1)=1-p(x1/y1)=0.169

同樣可推出

p(x1/y2)=0.024

p(x2/y2)=0.976

（4）

=-0.49log20.49-0.01log20.01-0.10log20.10-0.40log2 0.40

=1.43(比特/符號)

（5）平均互信息

I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55 (比特/符號)

（6）信道疑義度 H(X/Y)=H(X)-I(X;Y)=1-0.55=0.45 (比特/符號)

（7）噪聲熵 H(Y/X)=H(Y)-I(X;Y)=0.98-0.55=0.43 (比特/符號)

3. 性質(zhì)

（1）非負性

當(dāng)且僅當(dāng)X和Y相互獨立時，即p(xiyj)=p(xi)p(yj)對所有i，j都成立時，式中等號成立。

證明 由式（2-29）可知

I(X; Y)=H(X) -H(X/Y）

由香農(nóng)輔助定理推出H(X/Y)≤H(X)，當(dāng)X和Y相互獨立時，等號成立。所以I(X; Y)≥0。

非負性說明給定隨機變量Y后，一般來說總能消除一部分關(guān)于X的不確定性。也可以說從一個事件提取關(guān)于另一個事件的信息，最壞的情況是 0，不會由于知道了一個事件反而使另一個事件的不確定度增加。

（2）對稱性

證明 按定義

對稱性表示從Y獲得關(guān)于X的信息量等于從X中獲得關(guān)于Y的信息量。

（3）極值性

證明 由于

根據(jù)H(X/Y)定義式，得H(X/Y)≥0，同理H(Y/X)≥0，而I(X; Y)，H(X)，H(Y)，是非負的，又

I(X; Y)=H(X) -H(X/Y)=H(Y) -H(Y/X）

所以

I(X; Y)≤H(X)，I(X; Y)≤H(Y）

當(dāng)隨機變量X和Y是確定的意義對應(yīng)關(guān)系時，從數(shù)學(xué)上來說

此時條件熵

則

I (X;Y)=H(X)

極值性說明從一個事件獲得的關(guān)于另一個事件的信息量至多只能是另一個事件的平均自信息量，不會超過另一事件本身所含的信息量。

（4）凸函數(shù)性

由平均互信息量的定義

顯然平均互信息量是p(xi) 和p(yj/xi) 的函數(shù)，即

若信道固定，則

若信源固定，則

定理2-3 當(dāng)條件概率分布p(yj/xi)給定時，I(X; Y)是輸入信源概率分布p(xi)的嚴格上凸函數(shù)。

證明 所謂上凸函數(shù)，是指同一信源集合{x1, x2, …, xn}，對應(yīng)兩個不同的概率分布{p1(xi), i=1, 2, …, n}和{p2(xi), i=1, 2, …, n}，若有小于1的正數(shù)0<α<1, α+β=1，使不等式

成立，則稱函數(shù)f為{p(xi), i=1, 2, …, n}的上凸函數(shù)。如果式（2-40）中僅有大于號成立，則稱f為嚴格上凸函數(shù)。

給定信道及其轉(zhuǎn)移概率分布p(yj/xi)，考慮兩個輸入隨機變量X1，X2，其概率分布為p1(xi)，p2(xi)，輸入隨機變量X，其概率分布p(xi)=α p1(xi)+β p2(xi)，α, β≥ 0，且α+β=1。

若定理成立, 根據(jù)上凸函數(shù)的定義，需要證明

其中Y1，Y2，Y是與X1，X2，X對應(yīng)的輸出。

αI(X1;Y1)+βI(X2;Y2)-I(X;Y)

=αlog21+βlog2 1

=0

這就證明了平均互信息量是輸入信源概率分布p(xi)的嚴格上凸函數(shù)。

由上凸函數(shù)的定義可知，當(dāng)條件概率分布p(yj/xi)給定時，平均互信息I(X; Y)是輸入分布p(xi)的上凸函數(shù)。如果把條件概率分布p(yj/xi)看成信道的轉(zhuǎn)移概率分布，那么存在一個最佳信道輸入分布p(xi)使I(X; Y)的值最大。

定理2-4對于固定的輸入分布p(xi)，I(X; Y)是條件概率分布p(yj/xi)的嚴格下凸函數(shù)。

證明 給定信道輸入的概率分布 p(xi)，考慮兩組信道轉(zhuǎn)移概率分布 p1(y/x)，p2(y/x)和信道轉(zhuǎn)移概率分布p(y/x)=αp1(y/x)+βp2(y/x)，α, β≥0，α+β=1時定理成立，即

其中 Y，Y1，Y2是對應(yīng)轉(zhuǎn)移概率分布 p(y/x)，p1(y/x)，p2(y/x)的輸出。下凸函數(shù)的證明與上凸函數(shù)類似，此處不再贅述。

由下凸函數(shù)的定義可知，在給定輸入分布的情況下，平均互信息I(X; Y)是輸入分布p(yj/xi)的下凸函數(shù)。如果把條件概率分布p(yj/xi)看成信道的轉(zhuǎn)移概率分布，那么對于給定的輸入分布，必存在一種最差的信道，此信道的干擾最大，收信者獲得的信息量最小。定理2-3是研究信道容量的理論基礎(chǔ)，定理2-4是研究信源的信息率失真函數(shù)的理論基礎(chǔ)。

（5）數(shù)據(jù)處理定理

為了表述數(shù)據(jù)處理定理，需要引入三元隨機變量X，Y，Z的平均條件互信息量和平均聯(lián)合互信息量。

定義2-11 平均條件互信息量為

它表示隨機變量Z給定后，從隨機變量Y所得到的關(guān)于隨機變量X的信息量。

定義2-12 平均聯(lián)合互信息為

它表示從二維隨機變量YZ所得到的關(guān)于隨機變量X的信息量。

可以證明

同理

定理2-5 如果隨機變量X，Y，Z構(gòu)成一個馬爾可夫鏈，則有以下關(guān)系成立

等號成立的條件是對于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)。

證明 當(dāng)X，Y，Z構(gòu)成一個馬爾可夫鏈，Y值給定后，X，Z可以認為是互相獨立的。所以

I(X;Z/Y)=0

又因為

I(X;YZ)=I(X;Y)+I(X;Z/Y)=I(X;Z)+I(X;Y/Z）

并且I(X; Y/Z)≥0，所以I(X; Z)≤I(X; Y)。

當(dāng)p(x/yz)=p(x/z)時，Z值給定后，X和Y相互獨立，所以I(X; Y/Z)=0。因此I(X; Z)=I(X; Y)。這時p(x/yz)=p(x/z)=p(x/y)，Y，Z為確定關(guān)系時顯然滿足該條件。

同理可以證明I(X; Z)≤I(Y; Z)，并且當(dāng)p(z/xy)=p(z/x)時，等號成立。

I(X; Z)≤I(X; Y)表明Z所得到的關(guān)于X的信息量小于等于從Y所得到的關(guān)于X的信息量。如果把 Y→Z 看作數(shù)據(jù)處理系統(tǒng)，那么通過數(shù)據(jù)處理后，雖然可以滿足我們的某種具體要求，但是從信息量來看，處理后會損失一部分信息，最多保持原有的信息，也就是說，對接收到的數(shù)據(jù)Y進行處理后，決不會減少關(guān)于X的不確定性。這個定理稱為數(shù)據(jù)處理定理。數(shù)據(jù)處理定理與日常生活中的經(jīng)驗是一致的。比如，通過別人轉(zhuǎn)述一段話或多或少會有一些失真，通過書本得到的間接經(jīng)驗總不如直接經(jīng)驗來得詳實。圖2-3的兩級串聯(lián)信道可直觀表明該定理的含義。

數(shù)據(jù)處理定理再一次說明，在任何信息傳輸系統(tǒng)中，最后獲得的信息至多是信源所提供的信息，一旦在某一過程中丟失一些信息，以后的系統(tǒng)不管如何處理，如不觸及丟失信息的輸入端，就不能再恢復(fù)已丟失的信息，這就是信息不增性定理。