第1章 概述

機(jī)器學(xué)習(xí)（Machine Learning）是研究如何使計(jì)算機(jī)程序隨著經(jīng)驗(yàn)積累自動(dòng)提高性能的一門學(xué)科，其目標(biāo)是使計(jì)算機(jī)程序利用樣本數(shù)據(jù)或以往的經(jīng)驗(yàn)來解決給定的問題^［1］。它是人工智能（Artificial Intelligence）的一個(gè)核心領(lǐng)域，并已經(jīng)成為整個(gè)計(jì)算機(jī)領(lǐng)域中最活躍、應(yīng)用潛力最明顯的領(lǐng)域之一。機(jī)器學(xué)習(xí)在解決傳統(tǒng)的語音辨識(shí)、手寫漢字以及人臉識(shí)別等問題之余，還被廣泛應(yīng)用于包括遙感圖像智能分類、數(shù)據(jù)庫(kù)知識(shí)挖掘問題、自然語言處理問題、機(jī)器人控制問題等在內(nèi)的許多新問題^［2，3］。而神經(jīng)網(wǎng)絡(luò)以其自組織性、自學(xué)習(xí)性、并行性、容錯(cuò)性、高度非線性、高度魯棒性、對(duì)任意函數(shù)的任意精度逼近能力和不透明映射性能，成為機(jī)器學(xué)習(xí)領(lǐng)域最熱的焦點(diǎn)，可以說神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)研究、開發(fā)和應(yīng)用最為活躍的分支之一。

根據(jù)輸入的訓(xùn)練樣本中包含的經(jīng)驗(yàn)情況，機(jī)器學(xué)習(xí)可分為監(jiān)督學(xué)習(xí)（Supervised Learning）、無監(jiān)督學(xué)習(xí)（Unsupervised Learning）和半監(jiān)督學(xué)習(xí)（Semi-Supervised Learning）。其中監(jiān)督學(xué)習(xí)是最常見的機(jī)器學(xué)習(xí)方法，也是訓(xùn)練神經(jīng)網(wǎng)絡(luò)常使用的一項(xiàng)技術(shù)，監(jiān)督學(xué)習(xí)過程中所使用的樣本均是有標(biāo)記的（Labeled），這里的“標(biāo)記”（Label）是指樣本具有與輸入明確對(duì)應(yīng)的輸出。神經(jīng)網(wǎng)絡(luò)依賴于這些確定的標(biāo)記信息判斷網(wǎng)絡(luò)的誤差，然后據(jù)此調(diào)整網(wǎng)絡(luò)權(quán)值以達(dá)到適應(yīng)系統(tǒng)的目的。隨著數(shù)據(jù)收集和存儲(chǔ)技術(shù)的飛速發(fā)展，未標(biāo)記（Unlabeled）樣本的收集已變得相當(dāng)容易，而有標(biāo)記樣本的獲取仍相對(duì)較為困難。例如，遙感圖像類標(biāo)的獲取通常需要實(shí)地考察和通過經(jīng)驗(yàn)進(jìn)行目視解譯來對(duì)樣本進(jìn)行標(biāo)記，因此往往需要大量的人力和物力^［4］。無監(jiān)督學(xué)習(xí)雖然不需要標(biāo)記樣本，但是缺乏先驗(yàn)知識(shí)的有效引導(dǎo)，模型的準(zhǔn)確性難以保證。此外，只使用少量的有標(biāo)記樣本所訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)往往泛化能力不強(qiáng)，而且僅對(duì)少量有標(biāo)記樣本加以利用，而忽略大量未標(biāo)記樣本，是對(duì)數(shù)據(jù)資源的極大浪費(fèi)。因此，在有標(biāo)記樣本較少時(shí)，利用大量的未標(biāo)記樣本來改善學(xué)習(xí)性能的半監(jiān)督學(xué)習(xí)已成為當(dāng)前機(jī)器學(xué)習(xí)研究中備受矚目的內(nèi)容之一。在半監(jiān)督學(xué)習(xí)中，采用神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)器有助于提升半監(jiān)督學(xué)習(xí)方法的自適應(yīng)調(diào)節(jié)能力，并降低其對(duì)先驗(yàn)知識(shí)的依賴程度^［5］。

本書從監(jiān)督學(xué)習(xí)方法、半監(jiān)督學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)的基本概念出發(fā)，分析當(dāng)前實(shí)際問題的需要，以神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)，以監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)方法為工具，介紹基于神經(jīng)網(wǎng)絡(luò)的監(jiān)督和半監(jiān)督學(xué)習(xí)的最新理論研究成果，并著重介紹其在遙感解譯領(lǐng)域的應(yīng)用實(shí)例，試圖為機(jī)器學(xué)習(xí)和遙感圖像解譯研究領(lǐng)域引入新思路和新方法。