前言

人類文明由早期農(nóng)耕時(shí)代經(jīng)歷漫長(zhǎng)演化進(jìn)入工業(yè)時(shí)代，再由工業(yè)時(shí)代進(jìn)一步發(fā)展邁入當(dāng)今的信息時(shí)代。數(shù)字化、網(wǎng)絡(luò)化和智能化是信息時(shí)代的基本特征，將給人類文明帶來(lái)科學(xué)技術(shù)水平上的巨大提升，令社會(huì)的方方面面產(chǎn)生深刻的變革，使得當(dāng)代人們的生活和工作更加舒適、便捷。目前，作為引領(lǐng)信息社會(huì)發(fā)展動(dòng)力的信息技術(shù)已經(jīng)歷了數(shù)字化和網(wǎng)絡(luò)化階段，正朝著智能化方向快速發(fā)展，人工智能技術(shù)在全社會(huì)得到前所未有的重視和廣泛應(yīng)用，并以前所未有的速度向前飛躍發(fā)展。為順應(yīng)時(shí)代發(fā)展潮流和把握發(fā)展機(jī)遇，我國(guó)及時(shí)制定并推出了新一代人工智能發(fā)展規(guī)劃，把人工智能發(fā)展放在國(guó)家戰(zhàn)略層面進(jìn)行系統(tǒng)布局，使得人工智能成為新一輪產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力。目前，人工智能的理論研究和應(yīng)用開(kāi)發(fā)是一個(gè)非常重要的優(yōu)先發(fā)展方向。

人工智能作為人腦器官的延伸，主要目標(biāo)是通過(guò)計(jì)算機(jī)模擬人類大腦的某些思維方式或智能行為，如推理、證明、識(shí)別、感知、認(rèn)知、理解、學(xué)習(xí)等思維方式或活動(dòng)，使得計(jì)算機(jī)能夠像人類一樣進(jìn)行思考。從外部環(huán)境中獲得知識(shí)和經(jīng)驗(yàn)的學(xué)習(xí)能力是人類的一項(xiàng)基本思維能力，機(jī)器學(xué)習(xí)要解決的問(wèn)題就是如何使得機(jī)器具有與人類類似的學(xué)習(xí)能力，使得機(jī)器系統(tǒng)能夠較好地了解外部環(huán)境并能夠適應(yīng)外部環(huán)境的變化。機(jī)器學(xué)習(xí)為人工智能系統(tǒng)提供了基礎(chǔ)性的核心算法支撐，人工智能系統(tǒng)主要使用機(jī)器學(xué)習(xí)技術(shù)解析外部環(huán)境數(shù)據(jù)，從數(shù)據(jù)中獲取知識(shí)和模型參數(shù)，獲得可用于決策或預(yù)測(cè)的數(shù)學(xué)模型。要想學(xué)好人工智能，首先必須牢固掌握機(jī)器學(xué)習(xí)的基礎(chǔ)理論與應(yīng)用技術(shù)。

機(jī)器學(xué)習(xí)的主要目標(biāo)是通過(guò)計(jì)算手段從經(jīng)驗(yàn)數(shù)據(jù)等先驗(yàn)信息中獲得一個(gè)具有較好泛化性能的數(shù)學(xué)模型，并使用該模型完成預(yù)測(cè)、分類和聚類等機(jī)器學(xué)習(xí)任務(wù)。因此，機(jī)器學(xué)習(xí)的研究對(duì)象主要是從經(jīng)驗(yàn)數(shù)據(jù)等先驗(yàn)信息中產(chǎn)生或構(gòu)造模型的訓(xùn)練學(xué)習(xí)算法，或者說(shuō)機(jī)器學(xué)習(xí)是一門關(guān)于訓(xùn)練學(xué)習(xí)算法設(shè)計(jì)理論與應(yīng)用技術(shù)的學(xué)問(wèn)。我們知道，算法設(shè)計(jì)是一種思維的藝術(shù)，需要一定的抽象思維能力和數(shù)學(xué)知識(shí)。機(jī)器學(xué)習(xí)算法更是如此，不僅涉及微積分、數(shù)理邏輯、數(shù)理統(tǒng)計(jì)、矩陣計(jì)算、圖論等數(shù)學(xué)知識(shí)，而且涉及眾多最優(yōu)化理論與方法，這些為廣大初學(xué)者掌握機(jī)器學(xué)習(xí)知識(shí)帶來(lái)一定困難。為較好地滿足廣大讀者系統(tǒng)地掌握機(jī)器學(xué)習(xí)入門性基礎(chǔ)理論與應(yīng)用技術(shù)的需要，本書(shū)的編寫(xiě)著重考慮如下兩個(gè)要點(diǎn)：

第一，注重知識(shí)體系的完備性。作為人工智能的核心技術(shù)，機(jī)器學(xué)習(xí)隨著人工智能的產(chǎn)生而產(chǎn)生并隨著人工智能理論的發(fā)展而發(fā)展，目前已形成一個(gè)非常龐大且正在快速延伸發(fā)展的知識(shí)體系，眾多學(xué)習(xí)算法精彩紛呈、目不暇接、不勝枚舉。本書(shū)通過(guò)深度凝練機(jī)器學(xué)習(xí)的現(xiàn)有知識(shí)體系，構(gòu)造一套相對(duì)完備的入門級(jí)機(jī)器學(xué)習(xí)基礎(chǔ)理論與應(yīng)用技術(shù)，在基本涵蓋連接學(xué)習(xí)、符號(hào)學(xué)習(xí)和統(tǒng)計(jì)學(xué)習(xí)這三種基本學(xué)習(xí)類型的基礎(chǔ)上，注重突出對(duì)基本理論與關(guān)鍵技術(shù)的介紹和討論。

第二，強(qiáng)調(diào)可讀性和可理解性。本書(shū)站在高年級(jí)本科生和低年級(jí)碩士研究生的思維角度編寫(xiě)，在保證表達(dá)準(zhǔn)確的前提下，盡可能用樸實(shí)的語(yǔ)言深入淺出地介紹機(jī)器學(xué)習(xí)理論及相關(guān)算法設(shè)計(jì)技術(shù)，盡可能細(xì)致地闡述理論與算法的思想內(nèi)涵和本質(zhì)。通過(guò)學(xué)習(xí)書(shū)中實(shí)際算例的具體演算過(guò)程，讀者能夠?qū)C(jī)器學(xué)習(xí)理論與算法有更加清晰、全面的理解。需要說(shuō)明的是，本書(shū)并沒(méi)有為了增加可讀性而降低應(yīng)有的內(nèi)容深度，只是通過(guò)比較恰當(dāng)?shù)姆绞桨严嚓P(guān)知識(shí)表達(dá)得更加清楚明白，使得廣大讀者能夠通過(guò)自己的努力就可以比較輕松地掌握機(jī)器學(xué)習(xí)的基本理論與應(yīng)用技術(shù)。

本書(shū)比較系統(tǒng)地介紹機(jī)器學(xué)習(xí)的入門性基礎(chǔ)理論與應(yīng)用技術(shù)，內(nèi)容主要包括機(jī)器學(xué)習(xí)的基本知識(shí)、模型估計(jì)與優(yōu)化的基本方法、監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)方法、集成學(xué)習(xí)、強(qiáng)化學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)方法，將機(jī)器學(xué)習(xí)的經(jīng)典內(nèi)容與深度學(xué)習(xí)等前沿內(nèi)容有機(jī)地結(jié)合在一起，形成一套相對(duì)完整、統(tǒng)一的知識(shí)體系，并在每個(gè)章節(jié)穿插相應(yīng)的應(yīng)用實(shí)例，使得廣大讀者不但能夠較好地掌握機(jī)器學(xué)習(xí)的基本理論，而且能夠比較系統(tǒng)地掌握其應(yīng)用技術(shù)，為今后的工作和進(jìn)一步學(xué)習(xí)打下扎實(shí)的理論與應(yīng)用基礎(chǔ)。全書(shū)共包含如下9章內(nèi)容：

第1章和第2章是全書(shū)最基礎(chǔ)的知識(shí)內(nèi)容，主要為后續(xù)機(jī)器學(xué)習(xí)具體方法的介紹提供必備的理論和技術(shù)基礎(chǔ)。第1章主要介紹機(jī)器學(xué)習(xí)的基本知識(shí)，包括機(jī)器學(xué)習(xí)基本概念、誤差分析、發(fā)展歷程及需要解決的基本問(wèn)題；第2章主要介紹模型估計(jì)與優(yōu)化的基本方法，包括模型的參數(shù)估計(jì)、模型優(yōu)化的基本概念與方法，以及若干模型正則化策略。

第3章至第6章比較系統(tǒng)地介紹傳統(tǒng)機(jī)器學(xué)習(xí)理論與方法。第3章主要介紹監(jiān)督學(xué)習(xí)模型與算法，包括線性模型、決策樹(shù)模型、貝葉斯模型和支持向量機(jī)模型；第4章主要介紹聚類分析、主分量分析、稀疏編碼等無(wú)監(jiān)督學(xué)習(xí)的基本理論和方法；第5章主要介紹集成學(xué)習(xí)方法，包括Bagging集成學(xué)習(xí)和Boosting集成學(xué)習(xí)方法；第6章主要介紹強(qiáng)化學(xué)習(xí)方法，包括基本強(qiáng)化學(xué)習(xí)和示范強(qiáng)化學(xué)習(xí)方法。

第7章至第9章比較系統(tǒng)地介紹神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)方法。第7章主要介紹神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的基本知識(shí)，包括神經(jīng)網(wǎng)絡(luò)的基本概念、基本模型和常用模型，以及深度學(xué)習(xí)的基本理論和模型訓(xùn)練方法；第8章主要介紹幾種常用的深度網(wǎng)絡(luò)模型與訓(xùn)練范式，包括深度卷積網(wǎng)絡(luò)、深度循環(huán)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)；第9章主要介紹深度強(qiáng)化學(xué)習(xí)理論與方法，包括基于價(jià)值的學(xué)習(xí)和基于策略的學(xué)習(xí)。

限于篇幅，本書(shū)未將半監(jiān)督學(xué)習(xí)、多示例學(xué)習(xí)、流形學(xué)習(xí)、遷移學(xué)習(xí)、度量學(xué)習(xí)、元學(xué)習(xí)、分布式學(xué)習(xí)等相對(duì)比較專門的機(jī)器學(xué)習(xí)前沿研究?jī)?nèi)容納入介紹范圍，讀者可以查閱相關(guān)專著、學(xué)術(shù)論文或技術(shù)報(bào)告。事實(shí)上，如果牢固掌握了本書(shū)所介紹的機(jī)器學(xué)習(xí)基本知識(shí)內(nèi)容，那么進(jìn)一步學(xué)習(xí)和研究這些前沿知識(shí)就不是一件很難的事情。

本書(shū)由汪榮貴、楊娟、薛麗霞編著。感謝研究生葉萌、朱正發(fā)、湯明空、李文靜、俞鵬飛、姚旭晨、陳龍、江迪、鄭巖、韓夢(mèng)雅、鄧韜、王靜、龔毓秀、李明熹、董博文、麻可可、李懂、劉兵，以及本科生孫旭等同學(xué)提供的幫助，感謝合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院、合肥工業(yè)大學(xué)人工智能學(xué)院、機(jī)械工業(yè)出版社的大力支持。

由于時(shí)間倉(cāng)促，書(shū)中難免存在不妥之處，敬請(qǐng)讀者不吝指正。

編者

2019年6月