1.2 信息論研究的基本問題和主要內(nèi)容

1.2.1 信息論研究的基本問題

香農(nóng)信息論所研究的通信系統(tǒng)基本模型如圖1-2所示。

這個模型主要包括以下5個部分：

（1）信源

信源是信息的發(fā)源地，是信息運(yùn)動的出發(fā)點。信源消息有多種形式，可以是離散的或連續(xù)的，也可以是時間序列，它們分別可用離散型隨機(jī)變量、連續(xù)型隨機(jī)變量及隨機(jī)過程等數(shù)學(xué)模型表示。

（2）編碼

編碼是對消息符號進(jìn)行編碼處理的過程。編碼包括信源編碼、保密編碼、信道編碼三大類，其中，信源編碼是對信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，以盡可能提高信息傳輸?shù)男剩诺谰幋a是為了提高信息傳輸?shù)目煽啃远鴮π畔⑦M(jìn)行的變換和處理。香農(nóng)信息論分別用幾個重要的定理給出了編碼的理論性能極限，幾十年來鼓舞著一批又一批通信理論工作者為達(dá)到這些極限而殫精竭慮、苦苦求索，從而推動了編碼技術(shù)研究的空前繁榮。

（3）信道

信道是信息的傳遞媒介。實際的信道有明線、電纜、波導(dǎo)、光纖、無線電波傳播空間等。信息的傳輸不可避免地會引入噪聲和干擾，為了分析方便，通常把系統(tǒng)所有其他部分的干擾和噪聲都等效地折合成信道干擾，這些干擾被看成是一個噪聲源產(chǎn)生的，并疊加于所傳輸?shù)男盘柹稀＿@樣，信道的輸出是已經(jīng)疊加了干擾的信號。由于干擾和噪聲均具有隨機(jī)性，所以信道的特性同樣可以用概率模型來描述，而噪聲源的統(tǒng)計特性又是劃分信道類型的主要依據(jù)。

（4）譯碼

譯碼是把信道輸出的編碼信號進(jìn)行反變換，以盡可能準(zhǔn)確地恢復(fù)原始的信源符號。與編碼器相對應(yīng)的譯碼器也有信源譯碼器和信道譯碼器之分。

（5）信宿

信宿即信息傳輸?shù)哪康牡亍?/p>

香農(nóng)信息論在解決了信息的度量問題之后，主要致力于研究如何提高圖1-2所示的通信系統(tǒng)中信息傳輸?shù)目煽啃院陀行浴Ｏ戕r(nóng)編碼定理是信源編碼和信道編碼理論研究的重要指導(dǎo)方針。

信息論解決了通信中的兩個基本問題。首先對于信源編碼，信息論回答了“達(dá)到不失真信源壓縮編碼的極限（最低）編碼速率是多少？”這一問題。香農(nóng)的答復(fù)是這個極限速率等于該信源的熵。事實上香農(nóng)認(rèn)為每個隨機(jī)過程，不管是音樂、語言、圖像，都有一個固有的復(fù)雜性，該隨機(jī)過程不能被無失真地壓縮到該固有復(fù)雜性之下，這個固有復(fù)雜性就等于該隨機(jī)過程的熵。信息論對通信解決的第二個問題是關(guān)于信道編碼方面的。它回答了“無差錯傳輸信息的臨界傳輸速率是多少？”這一問題。在香農(nóng)以前，人們都認(rèn)為增加信道的信息傳輸速率總要引起錯誤概率的增加，認(rèn)為要使錯誤概率為零，則傳輸速率只能為零。但香農(nóng)卻出人意料地證明，只要信息傳輸速率小于信道容量，傳輸?shù)腻e誤概率可以任意地小，反過來如果超過信道容量，則傳輸錯誤是不可避免的。

1.2.2 信息論研究的主要內(nèi)容

信息論研究的內(nèi)容大致包括以下幾個方面：

●通信統(tǒng)計理論的研究

主要研究利用統(tǒng)計數(shù)學(xué)工具來分析信息和信息傳輸?shù)慕y(tǒng)計規(guī)律，其具體內(nèi)容有信息的度量，如信息速率、熵以及信道的傳輸能力——信道容量。

●信源統(tǒng)計特性的研究

主要包括：文字、字母的統(tǒng)計特性；語音的參數(shù)分析和統(tǒng)計特性；圖片及活動圖像的統(tǒng)計特性；其他信源的統(tǒng)計特性。

●收信者接收器官的研究

主要包括：人的聽覺和視覺器官的特性，人的大腦感受和記憶能力的模擬。這些問題的研究與生物學(xué)、生理學(xué)、心理學(xué)的研究密切相關(guān)。

●編碼理論與技術(shù)的研究

主要包括：信源編碼——用來提高信息傳輸效率，主要是針對信源的統(tǒng)計特性進(jìn)行編碼，所以有時也稱為有效性編碼；信道編碼——用來提高信息傳輸?shù)目煽啃裕饕轻槍π诺澜y(tǒng)計特性進(jìn)行編碼。

●提高信息傳輸效率的研究

主要包括：功率的減少、頻帶的壓縮以及傳輸時間的縮短，即快速傳輸問題。

●抗干擾理論與技術(shù)的研究

主要包括：各種調(diào)制體制的抗干擾特性與理想接收機(jī)的實踐。

●噪聲中信號檢測理論與技術(shù)的研究

主要包括信號檢測的最佳準(zhǔn)則和信號最佳檢測的實踐。

由上述的討論可以看出，信息論的研究內(nèi)容極為廣泛，是一門新興的邊緣學(xué)科。目前，關(guān)于信息論研究的內(nèi)容，一般有以下三種理解：

（1）狹義信息論

以客觀概率信息為研究對象，從通信的信息傳輸問題中總結(jié)和開拓出來的理論。主要研究信息的度量、信道容量以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱香農(nóng)基本理論。

（2）一般信息論

主要是研究信息傳輸和處理問題。除了香農(nóng)理論以外，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測與估計理論、調(diào)制理論以及信息處理理論等。后一部分內(nèi)容的主要貢獻(xiàn)者是維納（N．Wiener）和柯爾莫哥洛夫（A．N．Kolmogorv）等人。

維納和香農(nóng)等人都是為了使消息傳送和接收最優(yōu)化，運(yùn)用概率論和統(tǒng)計數(shù)學(xué)的方法來研究如何準(zhǔn)確地或近似地再現(xiàn)消息的問題，但他們之間有一個重要的區(qū)別。

維納研究的重點是在接收端，研究消息在傳輸過程中受到某些因素（如噪聲、非線性失真等）干擾后，在接收端怎樣把它恢復(fù)、再現(xiàn)。在此基礎(chǔ)上，創(chuàng)立了最佳線性濾波理論（維納濾波器）、統(tǒng)計檢測與估計理論、噪聲理論等。

而香農(nóng)研究的對象則是從信源到信宿之間的全過程，是收、發(fā)兩端聯(lián)合最優(yōu)化問題，其重點是編碼。香農(nóng)指出，只要在傳輸前后對消息進(jìn)行適當(dāng)?shù)木幋a和譯碼，就能保證在干擾存在時，最佳地傳送消息和準(zhǔn)確或近似地再現(xiàn)消息。為此發(fā)展了信息度量理論、信道容量理論和編碼理論等。

（3）廣義信息論

廣義信息論是一門綜合性的新興學(xué)科，它不僅包含上述兩方面的內(nèi)容，而且還包括所有與信息有關(guān)的自然和科學(xué)領(lǐng)域，如心理學(xué)、遺傳學(xué)、模式識別、計算機(jī)翻譯、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)等有關(guān)信息的問題。概括起來，凡是能夠用廣義通信系統(tǒng)模型描述的過程或系統(tǒng)，都能用信息基本理論來研究。

綜上所述，信息論是一門應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計和高等代數(shù)的方法來研究信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的科學(xué)；其主要目的是提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以便達(dá)到系統(tǒng)最優(yōu)化；它的主要內(nèi)容（或分支）包括香農(nóng)理論、編碼理論、維納理論、檢測和估計理論、信號設(shè)計和處理理論、調(diào)制理論、隨機(jī)噪聲理論和密碼理論等。