推薦序
一場影響深遠的秘密競拍

——深度學習推動全球科技產業變革的“發令槍”

就在我寫這篇文章的幾天前，美國時間2022年9月30日，埃隆·馬斯克（Elon Musk）帶著技術團隊剛剛舉辦了一年一度的特斯拉人工智能日（Tesla AI Day），展示了他們在自動駕駛和人形機器人領域最新的進展，包括基于FSD（完全自動駕駛）芯片的擎天柱機器人、基于占用網絡（Occupancy）的自動駕駛感知算法，以及云端自動駕駛訓練平臺Dojo。由于埃隆·馬斯克的個人魅力和特斯拉在電動汽車領域的全球領導地位，特斯拉人工智能日已經成為“全球科技行業的春晚”。但是毫無疑問，如果沒有最近10年的“深度學習革命”，就不會有特斯拉今天在自動駕駛領域取得的驚人進步。

《深度學習革命》這本書精彩而真實地再現了人工智能領域迄今為止最激動人心的進軍——深度學習的發展歷程。《紐約時報》知名科技記者凱德·梅茨（Cade Metz）生動翔實地講述了這段歷史：一群少數派學者，在長期不被主流學術圈認可的情況下，堅信深度神經網絡會改變世界，并在很多年的時間里在黑暗中持續探索，終于推動了人工智能技術在語音識別、圖像識別、自然語言理解、博弈論、生物制藥、搜索、推薦和自動駕駛等諸多領域取得改變世界的突破性進展。

這本書對我個人來說也有特別的意義，因為其開篇的前言講述了10年前我親身推動發起的一場競拍，也是一段塵封的往事：我給杰夫·辛頓（Geoff Hinton）發出的一封電子郵件，導致了一場發生在美國加州太浩湖畔的秘密競拍。最終，谷歌從4家競爭公司中脫穎而出，以4 400萬美元的價格成功地收購了杰夫·辛頓和他的兩名學生組成的研究團隊。這也隨后拉開了百度、谷歌、微軟、DeepMind（深度思考）、英偉達等全球高科技公司競相重度投資深度學習技術研發，并展開激烈的人才競爭的序幕。而在那次事件之前，深度學習基本上還是在象牙塔里的純學術研究，并不被眾多科技公司重視。所以，這次秘密競拍事件可以說是深度學習推動全球科技產業變革的“發令槍”。

凱德·梅茨采訪了參與該事件的幾乎所有人，還原了整個事件的全貌。其中一些有趣的細節，連我也是讀了這本書才知道的，因為當年每個參與競拍的人都不知道其他家的底牌。有的披露令我忍俊不禁，比如，由于擔心影響拍賣價格，辛頓和他的兩名學生在太浩湖哈拉斯賭場酒店731房間里手忙腳亂地掩蓋老教授當時糟糕的健康狀況，而當時我敲門的時候完全不知道；再比如，我離開時把背包落在了他們房間里，他們三人還猶豫著要不要打開我的包，看看我出價的底牌……更有些細節披露，讓我既覺得有趣，又感慨萬千。我當時百分之百地確信三家競拍對手里一定有谷歌，還有一家我猜大概率是微軟，但不是百分之百確信，直到競拍后，我在從舊金山回北京的航班上碰到微軟研究院的學者鄧力博士。我和鄧力屬于業界很早的一批意識到深度學習重要性的學者，已經是多年的朋友了。我們倆于是在飛機上聊天，拐彎抹角地想搞清楚對方公司是不是參與了競拍。盡管我們誰也不說出實情，但是下飛機的時候，我們倆都已經百分之百確信對方公司是競拍對手之一。

10年來，我一直猜不到第三家競拍對手是誰。我當時覺得可能是IBM（國際商業機器公司）或者Nuance（語音識別技術公司），但是讀了這本書之后，我才恍然大悟——是DeepMind。它當時還是一家成立僅兩年的名不見經傳的小型初創公司，竟然要出價收購“深度學習之父”杰夫·辛頓的公司，可見當年DeepMind的首席執行官戴密斯·哈薩比斯（Demis Hassabis）有何其遠大的雄心和抱負，難怪后來DeepMind推出了震驚世界的AlphaGo（阿爾法圍棋）。最近，DeepMind又在《自然》雜志上發表論文，他們用強化學習技術發現了50年來最快的矩陣乘法算法。

我在這里順便補充一些背景，關于當初我為什么會發出郵件聯系辛頓，進而扣響了深度學習產業變革的發令槍。2012年4月，我離開了美國硅谷的NEC實驗室，回到北京，加入百度，領導百度新成立的多媒體部，包括語音識別團隊和圖像識別團隊，這也是后來IDL（Institute of Deep Learning，百度深度學習研究院）的前身。那個時候，深度學習在中國還是非常小眾的研究方向，幾乎沒有任何研究機構關注深度學習。我利用那年應邀在清華大學計算機系主講“龍星計劃”課程的機會，系統性地做了深度學習方面的講座，致力于推動深度學習在中國的發展。在百度內部，我也帶領多媒體部從事深度學習方面的多個項目的開發，包括移動手機上的語音搜索和圖像搜索，并且開始用GPU（圖形處理器）進行深度學習的并行訓練。那年9月，我專門給百度首席執行官李彥宏演示了我們的一些深度學習項目的進展，他感到非常震驚，沒想到現在算法進展得這么快，這改變了他的認知。我記得，他還專門給全公司的產品經理發郵件，要大家關注深度學習的最新進展。

2012年10月，杰夫·辛頓和他的兩名學生——亞歷克斯·克里哲夫斯基（Alex Krizhevsky）和伊利亞·薩特斯基弗（Ilya Sutskever），在ImageNet圖像識別比賽上拿了冠軍，并且發表論文介紹了冠軍算法AlexNet。這件事對于別人可能只是個新聞，但是對我來說意義非凡！因為我曾經帶領NEC實驗室的研究團隊于2010年拿過第一屆ImageNet競賽的冠軍。我們采用了多層的稀釋編碼方法——一種非監督的卷積深度學習算法，來提取圖像特征，然后用淺層的監督學習方法來做識別。當時，我們也試過監督學習的卷積神經網絡，但是訓練很難收斂。所以，我應該是世界上最了解辛頓團隊用卷積神經網絡贏得ImageNet競賽這件事的重要意義的人。當時我感到興奮不已，就像觸電了一樣，于是立刻寫電子郵件給辛頓，迫切地表達了要和他深入合作的想法。

辛頓很快就回復了，說很愿意合作，但是希望百度能提供一些研究經費。我說沒問題啊，大概需要多少錢？辛頓說，大概100萬美元吧。我于是去找首席執行官李彥宏，對他說我希望有足夠的經費支持辛頓與百度在深度學習研究方面開展合作，李彥宏非常支持。于是，我就回復辛頓說沒問題，百度很愿意出研究經費。他一方面表示感謝，一方面很紳士地問我，是否介意他也去問一下谷歌的興趣。我當時有點兒后悔，猜我可能回答得太快了，讓辛頓意識到了巨大的機會。但是，我也只能大度地說不介意。結果，他不只問了谷歌，還問了其他一些公司。大概11月的時候，他告訴我，還有幾家公司表示要和他合作，而且他注冊了一家公司，叫DNNresearch，準備讓各家競爭者以秘密競拍的方式來做團隊收購。我心里想，辛頓真是聰明，不僅會做研究，還很有生意頭腦。12月初，我飛往美國舊金山，租了一輛車，開車去了太浩湖，參加一年一度的機器學習頂級盛會NIPS（Neural Information Processing Systems，神經信息處理系統大會），同時在那里與另外三家公司一起競拍杰夫·辛頓的團隊。我時刻與李彥宏以及時任百度投資副總裁湯和松保持溝通，并且代表百度做了第一次報價——1 200萬美元。

會議結束之后，我飛回了北京。盡管競拍失敗，但我還是很開心的。我想我的目的也達到了，因為李彥宏親眼見證了國際巨頭不惜花費巨資來投資深度學習研發，這讓他下定決心自己把深度學習做起來。所以，2013年1月，百度在年會上宣布要組建IDL，并招募全世界頂級的人才。為了提高對人才的吸引力，李彥宏親任院長，我來擔任常務副院長。IDL開創了中國公司建立前沿人工智能研發機構的先河，后來，中國幾乎所有的大型科技公司都組建了類似的機構。IDL率先把深度學習技術應用到語音、圖像、廣告、搜索等方方面面的領域，招聘和培養了一批頂級人才，現在，這些人才在中國人工智能領域可謂群星璀璨。IDL啟動的項目，包括PaddlePaddle（百度深度學習平臺）、百度自動駕駛，到今天也屬于中國最有影響力的技術項目。后來，百度自動駕駛成為業界的“黃埔軍校”，百度前員工創立的自動駕駛公司占據了中國自動駕駛創業的大半壁江山。

我自己的職業生涯也如此，我從一名在硅谷從事基礎研究的實驗室主任變成了一個大型研發團隊的管理者，并且使自己帶領的團隊研發的技術被上億名用戶使用。我很感謝百度能給予我一個這樣的舞臺。2015年夏天，我從百度離職，邁向新的征程，創立了地平線。地平線創業的想法也來自我在IDL工作期間的一個觀察：GPU運行深度學習算法的效率是CPU（中央處理器）的幾十倍，但是GPU本來是為圖形渲染設計的，所以，用GPU做深度學習是無心插柳的結果。那么，我進一步想，如果專門為深度學習設計加速芯片，會不會效率更高？答案是顯而易見的。于是，地平線開辟了中國深度學習芯片創業的賽道。

在過去的10年里，深度學習改變了人工智能，也改變了世界。參與那場拍賣的大部分人今天都還活躍在科技的舞臺上。2019年，杰夫·辛頓與約書亞·本吉奧（Yoshua Bengio）、楊立昆（Yann LeCun）共同獲得了計算機領域的最高獎——圖靈獎。他的兩名學生之一亞歷克斯·克里哲夫斯基是AlexNet最主要的貢獻者，加入谷歌后似乎動靜不是很大。但是，另外一名學生伊利亞·薩特斯基弗后來與埃隆·馬斯克等人聯合創立了著名的OpenAI（人工智能研究公司），打造了在強化學習領域幾乎與DeepMind齊名的研究機構。辛頓一直都非常感謝我，有一次我在加拿大溫哥華的一場學術會議上碰到他，他非常熱情地請我去餐館吃飯。我仍記得，由于他的腰背部的問題，他不能坐在椅子上，只能雙腿跪在地上，餐館里的服務員用奇怪的眼光看著我們。代表微軟參與了競拍的鄧力博士，后來成為世界上最大的對沖基金之一——Citadel（城堡投資）的首席人工智能科學家。最具傳奇色彩的是戴密斯·哈薩比斯，他創立的DeepMind后來被谷歌收購，公司開發的AlphaGo震驚了全世界，激起了無數人對人工智能的熱情。最近，我看到新聞，我在NEC實驗室的前同事科拉伊·卡武庫奧格魯（Koray Kavukcuoglu），現在DeepMind的研究副總裁，成為2022年度新晉英國皇家工程院院士。DeepMind此前另一位當選院士的是創始人哈薩比斯，他們兩人都為AlphaGo做出了杰出的貢獻。

深度學習領域發生的很多事情，包括我自己的職業生涯和創業經歷，都和那場太浩湖畔的競拍有著某種奇妙的聯系。最讓我感動的是，經歷過那場競拍的大部分人到今天都在努力奮斗著，沒有人懈怠或躺在功勞簿上，包括我自己，2015年創立的地平線今天也成為行業里有影響力的科技企業。我們這些人都對人工智能的無限可能充滿著孩童般的好奇，每天享受著技術改變世界帶來的樂趣和滿足感，并通過技術和產品讓這個世界變得更加美好。

《深度學習革命》這本書并不是側重在講一個個研究成果的技術概念，而是在講推動這些研究進展的背后這群人。人工智能領域最近取得的突飛猛進的進展，關鍵就在于有一群執著、熱情和可愛的研究者。任何偉大的成就，其可貴之處都在于人的精神。由于這場競拍的“秘密”屬性，我相信這本書的開篇前言對讀者來說就足夠精彩，充滿了故事性。而就整本書而言，凱德·梅茨善于把科技故事講述得十分生動，對于希望了解深度學習基本概念和發展脈絡的非技術背景的讀者，這本書讀來讓人覺得輕松、有趣。所以，我高度推薦這本書。

余凱

地平線創始人兼首席科學家

2022年10月3日