序言

在人工智能界有一種說(shuō)法，認(rèn)為機(jī)器學(xué)習(xí)是人工智能領(lǐng)域中最能夠體現(xiàn)智能的一個(gè)分支。從歷史來(lái)看，機(jī)器學(xué)習(xí)似乎也是人工智能中發(fā)展最快的分支之一。在二十世紀(jì)八十年代的時(shí)候，符號(hào)學(xué)習(xí)可能還是機(jī)器學(xué)習(xí)的主流，而自從二十世紀(jì)九十年代以來(lái)，就一直是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的天下了。不知道是否可以這樣認(rèn)為：從主流為符號(hào)機(jī)器學(xué)習(xí)發(fā)展到主流為統(tǒng)計(jì)機(jī)器學(xué)習(xí)，反映了機(jī)器學(xué)習(xí)從純粹的理論研究和模型研究發(fā)展到以解決現(xiàn)實(shí)生活中實(shí)際問題為目的的應(yīng)用研究，這是科學(xué)研究的一種進(jìn)步。有關(guān)機(jī)器學(xué)習(xí)的專著國(guó)內(nèi)出版的不是很多。前兩年有李航教授的《統(tǒng)計(jì)學(xué)習(xí)方法》出版，以簡(jiǎn)要的方式介紹了一批重要和常用的機(jī)器學(xué)習(xí)方法。此次周志華教授的鴻篇巨著《機(jī)器學(xué)習(xí)》則全面而詳細(xì)地介紹了機(jī)器學(xué)習(xí)的各個(gè)分支，既可作為教材，又可作為自學(xué)用書和科研參考書。

翻閱書稿的過程引起了一些自己的思考，平時(shí)由于和機(jī)器學(xué)習(xí)界的朋友接觸多了，經(jīng)常獲得一些道聽途說(shuō)的信息以及專家們對(duì)機(jī)器學(xué)習(xí)現(xiàn)狀及其發(fā)展前途的評(píng)論。在此過程中，難免會(huì)產(chǎn)生一些自己的疑問。我借此機(jī)會(huì)把它寫下來(lái)放在這里，算是一種“外行求教機(jī)器學(xué)習(xí)”。

問題一：在人工智能發(fā)展早期，機(jī)器學(xué)習(xí)的技術(shù)內(nèi)涵幾乎全部是符號(hào)學(xué)習(xí)。可是從二十世紀(jì)九十年代開始，統(tǒng)計(jì)機(jī)器學(xué)習(xí)猶如一匹黑馬橫空出世，迅速壓倒并取代了符號(hào)學(xué)習(xí)的地位。人們可能會(huì)問：

在滿目的統(tǒng)計(jì)學(xué)習(xí)期刊和會(huì)議文章面前，符號(hào)學(xué)習(xí)是否被徹底忽略了？它還能成為機(jī)器學(xué)習(xí)的研究對(duì)象嗎？它是否將繼續(xù)在統(tǒng)計(jì)學(xué)習(xí)的陰影里生活并茍延殘喘？對(duì)這個(gè)問題有三種可能的答案：一是告訴符號(hào)學(xué)習(xí)：“你就是該退出歷史舞臺(tái)，認(rèn)命吧！”二是告訴統(tǒng)計(jì)學(xué)習(xí)：“你的一言堂應(yīng)該關(guān)門了！”單純的統(tǒng)計(jì)學(xué)習(xí)已經(jīng)走到了盡頭，再想往前走就要把統(tǒng)計(jì)學(xué)習(xí)和符號(hào)學(xué)習(xí)結(jié)合起來(lái)。三是事物發(fā)展總會(huì)有“三十年河?xùn)|，三十年河西”的現(xiàn)象，符號(hào)學(xué)習(xí)還有“翻身”的日子。第一種觀點(diǎn)我沒有聽人明說(shuō)過，但是我想恐怕有可能已經(jīng)被許多人默認(rèn)了。第二種觀點(diǎn)我曾聽王玨教授多次說(shuō)過。他并不認(rèn)為統(tǒng)計(jì)學(xué)習(xí)會(huì)衰退，而只是認(rèn)為機(jī)器學(xué)習(xí)已經(jīng)到了一個(gè)轉(zhuǎn)折點(diǎn)，從今往后，統(tǒng)計(jì)學(xué)習(xí)應(yīng)該和知識(shí)的利用相結(jié)合，這是一種“螺旋式上升，進(jìn)入更高級(jí)的形式”，否則，統(tǒng)計(jì)學(xué)習(xí)可能會(huì)停留于現(xiàn)狀而止步不前。王玨教授還認(rèn)為：進(jìn)入轉(zhuǎn)折點(diǎn)的標(biāo)志就是Koller等的《概率圖模型》一書的出版。至于第三種觀點(diǎn)，恰好我收到老朋友，美國(guó)人工智能資深學(xué)者、俄亥俄大學(xué)Chandrasekaran教授的來(lái)信，他正好談起符號(hào)智能被統(tǒng)計(jì)智能“打壓”的現(xiàn)象，并且正好表達(dá)了河?xùn)|河西的觀點(diǎn)。我請(qǐng)求他允許我把這段話引進(jìn)正在撰寫的序言中，他爽快地同意了，僅僅修改了幾處私人通信的口吻。全文如下：“最近幾年，人工智能在很大程度上集中于統(tǒng)計(jì)學(xué)和大數(shù)據(jù)。我同意由于計(jì)算能力的大幅提高，這些技術(shù)曾經(jīng)取得過某些令人印象深刻的成果。但是我們完全有理由相信，雖然這些技術(shù)還會(huì)繼續(xù)改進(jìn)、提高，總有一天這個(gè)領(lǐng)域（指AI）會(huì)對(duì)它們說(shuō)再見，并轉(zhuǎn)向更加基本的認(rèn)知科學(xué)研究。盡管鐘擺的擺回去還需要一段時(shí)間，我相信定有必要把統(tǒng)計(jì)技術(shù)和對(duì)認(rèn)知結(jié)構(gòu)的深刻理解結(jié)合起來(lái)。”看來(lái)，Chandrasekaran教授也并不認(rèn)為若干年以后AI真會(huì)回到河西，他的意見和王玨教授的意見基本一致，但不僅限于機(jī)器學(xué)習(xí)，而是涉及整個(gè)人工智能領(lǐng)域。只是王玨教授強(qiáng)調(diào)知識(shí)，而Chandrasekaran教授強(qiáng)調(diào)更加基本的“認(rèn)知”。

問題二：王玨教授認(rèn)為統(tǒng)計(jì)機(jī)器學(xué)習(xí)不會(huì)“一路順風(fēng)”的判據(jù)是：統(tǒng)計(jì)機(jī)器學(xué)習(xí)算法都是基于樣本數(shù)據(jù)獨(dú)立同分布的假設(shè)。但是自然界現(xiàn)象千變?nèi)f化，王玨教授認(rèn)為“哪有那么多獨(dú)立同分布？”這就引來(lái)了下一個(gè)問題：“獨(dú)立同分布”條件對(duì)于機(jī)器學(xué)習(xí)來(lái)講真是必需的嗎？獨(dú)立同分布的不存在一定是一個(gè)不可逾越的障礙嗎？無(wú)獨(dú)立同分布條件下的機(jī)器學(xué)習(xí)也許只是一個(gè)難題，而不是不可解問題。我有一個(gè)“胡思亂想”，認(rèn)為前些時(shí)候出現(xiàn)的“遷移學(xué)習(xí)”也許會(huì)對(duì)這個(gè)問題的解決帶來(lái)一線曙光。盡管現(xiàn)在的遷移學(xué)習(xí)還要求遷移雙方具備“獨(dú)立同分布”條件，但是不同分布之間的遷移學(xué)習(xí)，同分布和異分布之間的遷移學(xué)習(xí)也許遲早會(huì)出現(xiàn)？

問題三：近年來(lái)出現(xiàn)了一些新的動(dòng)向，例如“深度學(xué)習(xí)”、“無(wú)終止學(xué)習(xí)”等等，社會(huì)上給予了特別關(guān)注，尤其是深度學(xué)習(xí)。但它們真的代表了機(jī)器學(xué)習(xí)的新的方向嗎？包括本書作者周志華教授在內(nèi)的一些學(xué)者認(rèn)為：深度學(xué)習(xí)掀起的熱潮也許大過它本身真正的貢獻(xiàn)，在理論和技術(shù)上并沒有太多的創(chuàng)新，只不過是由于硬件技術(shù)的革命，計(jì)算機(jī)的速度大大提高了，使得人們有可能采用原來(lái)復(fù)雜度很高的算法，從而得到比過去更精細(xì)的結(jié)果。當(dāng)然這對(duì)于推動(dòng)機(jī)器學(xué)習(xí)應(yīng)用于實(shí)踐有很大意義。但我們不禁要斗膽問一句：深度學(xué)習(xí)是否又要取代統(tǒng)計(jì)學(xué)習(xí)了？事實(shí)上，確有專家已經(jīng)感受到來(lái)自深度學(xué)習(xí)的壓力，指出統(tǒng)計(jì)學(xué)習(xí)正在被深度學(xué)習(xí)所打壓，正如我們?cè)缇涂吹降姆?hào)學(xué)習(xí)被統(tǒng)計(jì)學(xué)習(xí)所打壓。不過我覺得這種打壓還遠(yuǎn)沒有強(qiáng)大到像統(tǒng)計(jì)學(xué)習(xí)打壓符號(hào)學(xué)習(xí)的程度。這一是因?yàn)樯疃葘W(xué)習(xí)的“理論創(chuàng)新”還不明顯；二是因?yàn)槟壳暗纳疃葘W(xué)習(xí)主要適合于神經(jīng)網(wǎng)絡(luò)，在各種機(jī)器學(xué)習(xí)方法百花盛開的今天，它的應(yīng)用范圍還有限，還不能直接說(shuō)是連接主義方法的回歸；三是因?yàn)榻y(tǒng)計(jì)學(xué)習(xí)仍然在機(jī)器學(xué)習(xí)中被有效地普遍采用，“得道多助”，想拋棄它不容易。

問題四：機(jī)器學(xué)習(xí)研究出現(xiàn)以來(lái)，我們看到的主要是從符號(hào)方法到統(tǒng)計(jì)方法的演變，用到的數(shù)學(xué)主要是概率統(tǒng)計(jì)。但是，數(shù)學(xué)之大，就像大海。難道只有統(tǒng)計(jì)方法適合于在機(jī)器學(xué)習(xí)方面應(yīng)用嗎？當(dāng)然，我們也看到了一些其他數(shù)學(xué)分支在機(jī)器學(xué)習(xí)上的應(yīng)用的好例子，例如微分幾何在流形學(xué)習(xí)上的應(yīng)用，微分方程在歸納學(xué)習(xí)上的應(yīng)用。但如果和統(tǒng)計(jì)方法相比，它們都只能算是配角。還有的數(shù)學(xué)分支如代數(shù)可能應(yīng)用得更廣，但在機(jī)器學(xué)習(xí)中代數(shù)一般是作為基礎(chǔ)工具來(lái)使用，例如矩陣?yán)碚摵吞卣髦道碚摗Ｓ秩缥⒎址匠糖蠼庾罱K往往歸結(jié)為代數(shù)問題求解。它們可以算是幕后英雄：“出頭露面的是概率和統(tǒng)計(jì)，埋頭苦干的是代數(shù)和邏輯”。是否可以想象以數(shù)學(xué)方法為主角，以統(tǒng)計(jì)方法為配角的機(jī)器學(xué)習(xí)理論呢？在這方面，流形學(xué)習(xí)已經(jīng)“有點(diǎn)意思”了，而彭實(shí)戈院士的倒排隨機(jī)微分方程理論之預(yù)測(cè)金融走勢(shì)，也許是用高深數(shù)學(xué)推動(dòng)新的機(jī)器學(xué)習(xí)模式的更好例子。但是從宏觀的角度看，數(shù)學(xué)理論的介入程度還遠(yuǎn)遠(yuǎn)不夠。這里指的主要是深刻的、現(xiàn)代的數(shù)學(xué)理論，我們期待著有更多數(shù)學(xué)家的參與，開辟機(jī)器學(xué)習(xí)的新模式、新理論、新方向。

問題五：上一個(gè)問題的延續(xù)：符號(hào)機(jī)器學(xué)習(xí)時(shí)代主要以離散方法處理問題，統(tǒng)計(jì)機(jī)器學(xué)習(xí)時(shí)代主要以連續(xù)方法處理問題。這兩種方法之間應(yīng)該沒有一條鴻溝。流形學(xué)習(xí)中李群、李代數(shù)方法的引入給我們以很好的啟示。從微分流形到李群，再?gòu)睦钊旱嚼畲鷶?shù)，就是一個(gè)溝通連續(xù)和離散的過程。然而，現(xiàn)有的方法在數(shù)學(xué)上并不完美。瀏覽流形學(xué)習(xí)的文獻(xiàn)可知，許多論文直接把任意數(shù)據(jù)集看成微分流形，從而就認(rèn)定測(cè)地線的存在并討論起降維來(lái)了。這樣的例子也許不是個(gè)別的，足可說(shuō)明數(shù)學(xué)家介入機(jī)器學(xué)習(xí)研究之必要。

問題六：大數(shù)據(jù)時(shí)代的出現(xiàn)，有沒有給機(jī)器學(xué)習(xí)帶來(lái)本質(zhì)性的影響？理論上講，似乎“大數(shù)據(jù)”給統(tǒng)計(jì)機(jī)器學(xué)習(xí)提供了更多的機(jī)遇，因?yàn)楹Ａ康臄?shù)據(jù)更加需要統(tǒng)計(jì)、抽樣的方法。業(yè)界人士估計(jì)，大數(shù)據(jù)的出現(xiàn)將使人工智能的作用更加突出。有人把大數(shù)據(jù)處理分成三個(gè)階段：收集、分析和預(yù)測(cè)。收集和分析的工作相對(duì)來(lái)說(shuō)已經(jīng)做得相當(dāng)好了，現(xiàn)在關(guān)注的焦點(diǎn)是要有科學(xué)的預(yù)測(cè)，機(jī)器學(xué)習(xí)技術(shù)在這里不可或缺。這一點(diǎn)大概毋庸置疑。然而，同樣是使用統(tǒng)計(jì)、抽樣方法，同樣是收集、分析和預(yù)測(cè)，大數(shù)據(jù)時(shí)代使用這類方法和以前使用這類方法有什么本質(zhì)的不同嗎？量變到質(zhì)變是辯證法的一個(gè)普遍規(guī)律。那么，從前大數(shù)據(jù)時(shí)代到大數(shù)據(jù)時(shí)代，數(shù)理統(tǒng)計(jì)方法有沒有發(fā)生本質(zhì)的變化？反映到它們?cè)跈C(jī)器學(xué)習(xí)上的應(yīng)用有無(wú)本質(zhì)變化？大數(shù)據(jù)時(shí)代正在呼喚什么樣的機(jī)器學(xué)習(xí)方法的產(chǎn)生？哪些機(jī)器學(xué)習(xí)方法又是由于大數(shù)據(jù)研究的驅(qū)動(dòng)而產(chǎn)生的呢？

以上這些話也許說(shuō)得遠(yuǎn)了，我們還是回到本書上來(lái)。本書的作者周志華教授在機(jī)器學(xué)習(xí)的許多領(lǐng)域都有出色的貢獻(xiàn)，是中國(guó)機(jī)器學(xué)習(xí)研究的領(lǐng)軍人物之一，在國(guó)際學(xué)術(shù)界有著很高的聲譽(yù)。他在機(jī)器學(xué)習(xí)的一些重要領(lǐng)域，例如集成學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、多示例和多標(biāo)記學(xué)習(xí)等方面都做出了在國(guó)際上有重要影響的工作，其中一些可以認(rèn)為是中國(guó)學(xué)者在國(guó)際上的代表性貢獻(xiàn)。除了自身的學(xué)術(shù)研究以外，他在推動(dòng)中國(guó)的機(jī)器學(xué)習(xí)發(fā)展方面也做了許多工作。例如他和不久前剛過世的王玨教授從2002年開始，組織了系列化的“機(jī)器學(xué)習(xí)及其應(yīng)用”研討會(huì)。初在復(fù)旦，后移至南大舉行，越辦越興旺，從單一的專家報(bào)告發(fā)展到專家報(bào)告、學(xué)生論壇和張貼論文三種方式同時(shí)舉行，參會(huì)者從數(shù)十人發(fā)展到數(shù)百人，活動(dòng)搞得有聲有色，如火如荼。最近更是把研討會(huì)推向全國(guó)高校輪流舉行。他和王玨教授緊密合作，南北呼應(yīng)，人稱“南周北王”。王玨教授的離去使我們深感悲傷。令我們欣慰的是國(guó)內(nèi)不但有周志華教授這樣的機(jī)器學(xué)習(xí)領(lǐng)軍人物，而且比周教授更年輕的許多機(jī)器學(xué)習(xí)青年才俊也成長(zhǎng)起來(lái)了。中國(guó)的機(jī)器學(xué)習(xí)大有希望。

中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院

2015年8月于北京