10
香農(nóng)
“信息論”的奠基之作

克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon，1916—2001）

美國應(yīng)用數(shù)學(xué)家香農(nóng)于1948年發(fā)表了論文《通信的數(shù)學(xué)理論》，不僅介紹了通信理論的概念，還分析了信息的概念，標(biāo)志著信息論思想的誕生。而信息論最重要的貢獻(xiàn)在于，把通信過程看成一種信息移動(dòng)（或傳輸）的過程。

信息論量度信息，并研究信息媒介的有效利用。從本質(zhì)上說，信息是統(tǒng)計(jì)的——其量化形式與熵[1]密切關(guān)聯(lián)（見題圖中香農(nóng)頭頂?shù)男畔㈧胤匠蹋！巴ㄐ诺幕締栴}就是在一點(diǎn)重新準(zhǔn)確地或近似地再現(xiàn)另一點(diǎn)所選擇的消息。”這句話來自香農(nóng)上述具有里程碑意義的論文之開篇，它不僅解釋了通信中涉及的問題，也成為他后來研究生涯的指引。

香農(nóng)首先把信息傳輸過程理想化地分為五個(gè)部分，即信源→編碼器→信道（噪聲源加入噪聲）→譯碼器→信宿；其次，他提出信息量的量化概念，即把信息與熵聯(lián)系起來；最后，他提出了關(guān)于受隨機(jī)噪聲影響的信道的最大數(shù)據(jù)傳輸率的結(jié)論，即香農(nóng)定理[2]。此后，信息論主要在通信工程領(lǐng)域發(fā)揮作用，對(duì)一般系統(tǒng)科學(xué)的貢獻(xiàn)則體現(xiàn)在提出了與熱力學(xué)相關(guān)的信息概念。

現(xiàn)在，計(jì)算機(jī)雖然給人類提供了處理和加工信息的強(qiáng)大工具，但是，如果沒有人提供信息內(nèi)容，計(jì)算機(jī)就只是硬冷的設(shè)備。香農(nóng)的信息論將可預(yù)見的東西與不可預(yù)見的東西進(jìn)行分離——該理論認(rèn)為只有不可預(yù)見的數(shù)據(jù)才是信息。他的另一個(gè)真知灼見是用最基本而又最簡短的數(shù)據(jù)（二進(jìn)制數(shù)字“1”和“0”；二進(jìn)制數(shù)字是計(jì)算機(jī)語言的基礎(chǔ)）給信息編碼。這使得信息可以通過一系列機(jī)械轉(zhuǎn)換得到處理，也使得信息能夠以一系列脈沖信號(hào)的形式被傳送。這多少讓我們想起早期莫爾斯電報(bào)傳送信息的思路。于是，這些看似簡單的信息傳遞，發(fā)展出了豐富的通信形式。

在香農(nóng)那個(gè)時(shí)代的電傳通信中，信源就是操作電傳打字機(jī)的人，而電傳打字機(jī)就是編碼器。打字機(jī)由電話線（信道）與需要通信的、遠(yuǎn)處城市中的電傳打印機(jī)（譯碼器）相連接。打字的人通過按動(dòng)電傳機(jī)的鍵鈕來傳送消息。每一個(gè)鍵鈕的按動(dòng)都能引起一個(gè)二進(jìn)制數(shù)字序列的傳輸，這個(gè)二進(jìn)制數(shù)字序列就代表了這個(gè)鍵鈕上的字母。由電傳打字機(jī)輸出的脈沖信號(hào)都編碼成二進(jìn)制數(shù)字，在電話線上傳送；在另一終端，二進(jìn)數(shù)字序列被翻譯為適當(dāng)?shù)奈淖帧@在當(dāng)時(shí)就是通信原理關(guān)注的傳送信息的最佳方法。

如上所述，真正使香農(nóng)感到興奮的是，任何類型的消息都可以用一系列的“1”和“0”來傳送，不管是單詞、數(shù)字、圖畫或是聲音。他同時(shí)也表明，所有的電傳信息來源（人們說的話和電視的攝像等），都可以用每秒接收的比特?cái)?shù)來衡量。他說，信道也可以用每秒接收的比特?cái)?shù)來衡量其容量。很明顯，只有信息來源不超過容量時(shí)，信息才能流動(dòng)——這就是香農(nóng)信息論中的科學(xué)思想。

[1]熵：描述系統(tǒng)無序狀況的廣延性狀態(tài)函數(shù)，以S表示。熵的改變=熱量變化/溫度（ΔS=ΔQ/T）。在信息論中，熵是信息的量度（信源中的信息量）。任何信源的熵是消息中能代表信源的最少的比特?cái)?shù)。

[2]香農(nóng)定理：描述了有限帶寬、隨機(jī)熱噪聲信道的最大傳輸速率與信道帶寬、信號(hào)噪聲功率比之間的關(guān)系。