2.1.3信息熵的性質(zhì)

1. 非負(fù)性

其中等號(hào)成立的充要條件是當(dāng)且僅當(dāng)對(duì)某i，p(xi)=1，其余的p(xk)=0（k≠i）。

證明 由H(X)的定義式（2-7）可知，隨機(jī)變量X的概率分布滿足0≤p(x)≤1，log2p(x) ≤0，所以H(X)≥0。

因?yàn)槊恳豁?xiàng)非負(fù)，所以必須是每一項(xiàng)為零等號(hào)才成立。即-p(xi)log2 p(xi)=0，此時(shí)只有p(xi)=0或p(xi)=1時(shí)上式才成立，而

所以只能有一個(gè)p(xi)=1，而其他p(xk)=0（k≠i）。這個(gè)信源是一個(gè)確知信源，其熵等于零。

2.對(duì)稱性

熵的對(duì)稱性是指H(X)中的p(x1), p(x2), …, p(xi), …, p(xn)的順序任意互換時(shí)，熵的值不變。即

由式（2-7）的右邊可以看出，當(dāng)概率的順序互換時(shí)，只是求和順序不同，并不影響求和結(jié)果。這一性質(zhì)說(shuō)明熵的總體特性，它只與信源的總體結(jié)構(gòu)有關(guān)，而與個(gè)別消息的概率無(wú)關(guān)。

例如，兩個(gè)信源

的信息熵相等，其中x1，x2，x3分別表示紅、黃、藍(lán)3個(gè)具體消息，而y1，y2，y3分別表示晴、霧、雨3個(gè)消息。因?yàn)閮蓚€(gè)信源的總體統(tǒng)計(jì)特性相同，信息熵只抽取了信源輸出的統(tǒng)計(jì)特征，而沒(méi)有考慮信息的具體含義和效用。

3. 最大離散熵定理

定理2-1信源X中包含n個(gè)不同離散消息時(shí)，信源熵有

當(dāng)且僅當(dāng)X中各個(gè)消息出現(xiàn)的概率相等時(shí)，等號(hào)成立。

證明 自然對(duì)數(shù)具有性質(zhì) lnx≤x-1，x>0，當(dāng)且僅當(dāng) x=1時(shí)，該式取等號(hào)。這個(gè)性質(zhì)可用圖2-1表示。

令

并且

得

所以

H(x)≤log2n

等式成立的條件為

即。上式表明，等概率分布信源的熵為最大，只要信源中某一信源符號(hào)出現(xiàn)的概率較大，就會(huì)引起整個(gè)信源的熵下降。由于對(duì)數(shù)函數(shù)的單調(diào)上升性，集合中元素的數(shù)目n越多，其熵值就越大。

4. 可加性

可加性是信源熵的一個(gè)重要特性，可以推廣到多個(gè)隨機(jī)變量構(gòu)成的概率空間之間的關(guān)系。

設(shè)有N個(gè)概率空間X1, X2, …, XN，其聯(lián)合熵可表示為

如果N個(gè)隨機(jī)變量相互獨(dú)立，則有

5. 香農(nóng)輔助定理和極值性

定理2-2對(duì)于任意兩個(gè)消息數(shù)相同的信源X和Y，i=1, 2, …, n，有

其中，

其含義是任一概率分布對(duì)其他概率分布的自信息量取數(shù)學(xué)期望，必大于等于本身的熵。

由上式可證明條件熵小于等于無(wú)條件熵，即

證明

其中

當(dāng)X與Y互相獨(dú)立時(shí)，即p(xi/yj)=p(xi)，上面兩式等號(hào)成立。

同理

6. 確定性

只要信源符號(hào)中，有一個(gè)符號(hào)的出現(xiàn)概率為1，信源熵就等于零。從總體來(lái)看，信源雖然有不同的輸出符號(hào)，但它只有一個(gè)符號(hào)是必然出現(xiàn)的，而其他符號(hào)則是不可能出現(xiàn)的，這個(gè)信源是確知信源。