2.1 神經網絡

大多數情況下神經網絡能在外界信息的基礎上改變內部結構，是一種自適應系統^［1］?，F代神經網絡是一種非線性統計性數據建模工具，常用來對輸入和輸出間復雜的關系進行建模，或用來探索數據的模式。

神經網絡以其自組織性、自學習性、并行性、容錯性、高度非線性、高度魯棒性、對任意函數的任意精度逼近能力，一直是監督學習領域研究、開發和應用最為活躍的分支之一。此外，神經網絡模型可以根據樣本信息自適應調整自身結構，也可用于提升半監督學習方法的自適應調節能力，以降低其對先驗知識的依賴程度^［2］。本節將對神經網絡的基本理論進行闡述，介紹其發展歷程，最后對其優缺點進行總結。

2.1.1 神經網絡概念和基本結構

神經網絡（Neural Network，NN）是一種模仿生物神經網絡的結構和功能的數學模型或計算模型，由大量的節點（或稱“神經元”或“單元”）及其之間的相互連接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（Activation Function）。每兩個節點間的連接都代表一個對于通過該連接信號的加權值，稱為權重（Weight），這相當于神經網絡的記憶^［3］。網絡的輸出則依網絡的連接方式、權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

神經網絡的構筑理念是受到生物神經網絡功能的運作啟發而產生的。神經網絡通常是通過一個基于數學統計學類型的學習方法（Learning Method）得以優化，所以神經網絡也是數學統計學方法的一種實際應用，通過統計學的標準數學方法能夠得到大量的可以用函數來表達的局部結構空間，另一方面在人工智能學的人工感知領域，通過數學統計學的應用可以來做人工感知方面的決定問題（也就是說，通過統計學的方法，神經網絡能夠類似人一樣具有簡單的決定能力和簡單的判斷能力），這種方法比起正式的邏輯學推理演算更具有優勢。

2.1.2 神經網絡的發展

神經網絡早期的研究工作應追溯至20世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，對神經網絡的發展進行概述。

1943年，心理學家Mcculloch和數理邏輯學家Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人可以被稱為神經網絡研究的先驅。

20世紀40年代后期，心理學家Hebb在神經可塑性機制的基礎上提出了一種學習假說，即現在的Hebbian學習^［3］。Hebbian學習被認為是一個典型的無監督學習規則，其后期的改進算法都是原始學習算法的增強。1954年，Farley和Clark在MIT首次使用計算機建立了Hebbian網絡模型。其他的神經網絡在1956年由Rochester、Holland、Habit和Duda等建立。

20世紀50年代末，Rosenblatt設計出了“感知機”，它是一種多層的神經網絡。這項工作首次把神經網絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲吶信號識別以及學習記憶問題的研究。然而，這次神經網絡的研究高潮未能持續很久，很多研究學者陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處于全盛時期，研究人員誤以為數字計算機可以解決人工智能、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件是電子管或晶體管，利用它們制作的神經網絡體積龐大，價格昂貴，要制作成規模上與真實的神經網絡相似是完全不可能的。此外，在1968年一本名為《感知機》的著作指出，線性感知機功能是有限的^［4］，它不能解決如“異或”這樣的基本問題，而且多層網絡還不能找到有效的訓練方法，這些論點促使大批研究人員對于神經網絡的前景失去信心。20世紀60年代末期，神經網絡的研究進入了低潮。

另外，在20世紀60年代初期，Widrow^［1］提出了自適應線性元件網絡，這是一種連續取值的線性加權求和閾值網絡。后來，在此基礎上發展了非線性多層自適應網絡。當時，這些工作雖未標出神經網絡的名稱，而實際上仍是一種神經網絡模型。

隨著人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。1975年Werbos發明了關鍵性的反向傳播（Backpropagation）算法^［5，6］，有效地解決了異或問題。同時，20世紀80年代初期，模擬與數字混合的超大規模集成電路制作技術提高到新的水平，完全付諸實用化，計算機的運算效率得到了極大提高，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向神經網絡尋求出路的時機已經成熟。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發表了兩篇關于神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現實性。當時在連接主義（Connectionism）名下的并行分布計算開始流行。1986年，Rumelhart和McClelland出版了一本完整論述在計算機上使用連接主義模擬神經計算的專著^［7］。隨即，一大批學者和研究人員展開了進一步的工作，形成了20世紀80年代中期以來神經網絡的研究熱潮。

1987年成立了國際神經網絡學會，同年又在美國的圣地亞哥召開了第一屆國際人工神經網絡會議。從這次會議以后，神經網絡技術研究呈現出蓬勃發展的勢頭，理論研究進一步深化，應用范圍也不斷擴大，神經網絡研究又重新興起。20世紀90年代，機器學習領域發展出的支持向量機、線性分類器等也可看作是一種廣義的神經網絡。2000年以后問世的深度學習（Deep Learning）引發了神經網絡研究的新熱潮^［8］。

2.1.3 神經網絡的基本模型和特點

根據結構，人工神經網絡可以分為前饋網絡和反饋（遞歸）網絡，如圖2.1和圖2.2所示。

圖2.1 多層前饋網絡示意圖

圖2.2 單層反饋網絡示意圖

前饋網絡如圖2.1所示，同層的神經元不發生聯系，不同層次的神經元，能從一層連接至下一層，因此信號是單向傳播的。圖中，實線表明信號的正向流通，虛線通常表示誤差的反向傳播。BP網絡就是典型的前饋神經網絡。反饋網絡如圖2.2所示，從圖中可以看出網絡中多個神經元構成了互聯神經網絡，信號的傳遞方向既可以是正向傳播，也可以是反向傳播。

神經網絡的學習過程是根據不同網絡對應的學習規則，調整神經元之間的連接權。其中Delta規則是較為常用的神經網絡學習規則。

在遙感圖像分類問題中，人工神經網絡由于其特別的網絡模型結構，使得它具有某些優越的性能^［9］，主要包括以下內容：

1）高度并行性。由于人工神經網絡具有與人腦極為相似的結構，即單層或者多層神經元相互連接，這使得網絡具有良好的并行性。

2）高度非線性。人工神經網絡中的神經元具有兩種狀態，即激活和抑制。因此在數學上表現出非線性。具有閾值的神經元能夠組成性能更好的網絡。網絡的容錯性和存儲容量均有所提高。

3）有較好的自組織、自學習和自適應能力。人工神經網絡對外表現在能夠適應多種不同類型的問題空間，也可以很好地對噪聲和信息缺失加以抑制，減輕它們最優解的影響，對內表現在具有較好容錯性，可以通過自組織與自適應來消除壞神經元的影響。

然而，人工神經網絡也因其結構和學習規則而在遙感圖像分類問題上有一些缺陷，主要包括以下幾點：

1）訓練速度慢。人工神經網絡通常是使用迭代的方法對網絡進行學習，如要得到較高的遙感圖像分類精度會使得網絡結構變得復雜，學習過程變長，訓練速度變慢。

2）學習訓練需要經驗指導。人工神經網絡的網絡設計沒有嚴格確定的方法，對于不同的遙感圖像，為獲得較好的效果，往往需要憑借經驗進行多次試驗才能找到較為理想的網絡結構。

3）網絡參數調整困難。目前沒有通用的有效理論對網絡的參數進行優化，為了獲得較好的分類效果不得不人為地調整參數。

正因為傳統的神經網絡學習算法具有一定的缺陷，人們在不斷對其進行優化改進，以滿足實際的應用要求。