0 寫在前面：神經網絡的歷史

人工智能、神經網絡、深度學習這些概念的提出和研究，基本都是在歐美科學家的主導之下開展的。畢竟，當時的中國還處于從水深火熱轉為解決溫飽的狀態，只有歐美等國具備這個研究條件。計算機類的科學研究，在早期不能不提“圖靈測試”。20世紀中葉，人工智能之父圖靈，也有人說人工智能之父這一稱號屬于約翰·麥卡錫（發明至今廣泛應用于人工智能領域的Lisp語言、最早建立人工智能實驗室等），反正都是偉人。圖靈提出對計算機是否有智能進行測試，當時還提出以象棋比賽進行人工智能的測試。圖靈表示，正如人類一樣，在測試計算機“IQ”之前，需要對它們進行一定的訓練。這一理論奠定了“圖靈測試”的基礎。

圖靈測試究竟是什么東西呢？下面簡單介紹一下。

圖靈測試（Turing test，又譯圖靈試驗）是圖靈提出的一個關于機器能否思考的著名判斷原則。1950年，圖靈在曼徹斯特大學任教，同時也是曼徹斯特大學計算機實驗室的副主任，負責最早的真正的計算機——曼徹斯特一號的軟件工作。他發表了一篇題為《機器能思考嗎？》（Can Machines Think? ）的論文，在這篇論文里，圖靈第一次提出“機器思維”的概念。他逐條反駁了機器不能思維的論調，做出了肯定的回答。同時，他嘗試定出一個決定機器是否有感覺的標準：在彼此不接觸的情況下，對話者通過一種特殊的方式（如具有電報通信功能的打字機等），與一臺計算機交流，也就是進行一系列的問答。如果在一段時間內，對話者無法根據這些問答判斷對方是人還是計算機，那么，就可以認為這臺計算機具備人類的智能，即這臺計算機是能思維的。這就是著名的“圖靈測試”。圖靈預言2000年就可以出現騙過30%裁判的機器人。也正是這篇文章，為圖靈贏得了一頂桂冠——“人工智能之父”。可以說圖靈確實牛，我從心底里佩服他，在1947年圖靈就已經闡述了如何對機器學習的結果進行檢查的方法，而且這一方法是很有遠見和可操作性的！

自圖靈提出“機器與智能”后，主流觀點分成了兩派，一派認為實現人工智能必須用邏輯和符號系統，這一派是自頂向下的。什么意思呢？我們在大學都學習過統計學，這個邏輯和符號就有點狹義統計學的意思，可以說是預設和反饋。還有一派認為通過仿造大腦可以達到人工智能，這一派是自底向上的，他們認定如果能造一臺機器，模擬大腦中的神經網絡，這臺機器就有智能。這兩派的最大區別是，前一派想搞清楚如何思考，將思考的過程演化成邏輯，姑且叫他們“思路模擬”派，也叫控制派；后一派可以稱為仿生派，想從模擬生物學大腦入手，讓大腦自由形成意識。估計他們的思想來源于中國古代的原始思維，套用兩個哲學詞，前者屬于理論型，后者更接近實踐派。這兩派一直是人工智能領域里的兩個階級，在兩條路線中斗爭，這斗爭有時還你死我活。

西方科學界是很高產的，環境好，能源源不斷地產出各種新思想和解決方案。實際上，在仿生派與圖靈提出“圖靈測試”之前，1943年，傳奇人物麥卡洛可（McCulloch）和皮茨（Pitts）就發表了模擬神經網絡的原創文章。下面簡單聊聊傳奇人物為什么傳奇。

皮茨從小就喜歡數學和哲學，初中時就讀過羅素的書——《數學原理》。有興趣的讀者可以看看羅素的《數學原理》，反正我是看不懂，皮茨同學當時才初中！皮茨讀完這本書后估計是仰慕羅素，還給羅素寫信。羅素愛才，邀請他到英國跟隨自己學習邏輯，但皮茨家里非常窮困，他連高中都沒有錢讀，英國留學自然是不可能了。皮茨15歲時，他爸爸強行要他退學上班，就像所有愛讀書的窮孩子一樣，皮茨一怒就離家出走了。我記得我們初中那會有些同學是不愿意上學而離家出走，而皮茨和那些從小就調皮逃課的同學有著本質的區別。

后來，皮茨聽說羅素要到芝加哥大學任教，就只身來到芝加哥，還真見到了羅素，羅素把他推薦給當時也在芝加哥任教的卡爾納普。卡爾納普想看看這孩子到底有多聰明，就把自己寫的《語言的邏輯句法》（感興趣的讀者可以自己去搜）送給皮茨，沒過一個月，皮茨就看完了，把寫滿筆記的原書還給卡爾納普。卡爾納普驚為天人，于是給皮茨在芝加哥大學安排了一份打掃衛生的工作。可能有讀者會問，為啥都驚為天人了，只給打掃衛生的活？我想老卡主要是兩層用意，第一，掃馬路至少可以避免流浪街頭，有份固定工作，解決吃飯問題，皮茨是窮孩子啊！第二層用意估計是要再觀察下皮茨同學，畢竟他不是科班出身。皮茨后來結識了也在芝加哥的麥卡洛可。沃倫·麥卡洛可在耶魯大學學哲學和心理學，后來在哥倫比亞大學取得了心理學碩士和醫學博士學位。麥卡洛可畢業后做了幾年實習醫生，先去了耶魯研究神經生理學，后來去了伊利諾伊大學芝加哥分校，做精神病學系的教授。麥卡洛可的強項是神經科學，他不懂數學，因此他和17歲的皮茨是絕配。他們合作的成果就是神經網絡的第一篇文章：《神經活動中思想內在性的邏輯演算》（A Logical Calculus of Ideas Immanent in Nervous Activity），發表在《數學生物物理期刊》上。后來這篇文章成了控制論的思想源泉之一。

這個控制論是從哪兒冒出來的呢？且聽我慢慢道來。

要說控制論，就必須說說控制論的始作俑者諾伯特·維納。他早年自稱神童，他爸是哈佛教授，曾經帶著他到英國見過羅素，但羅素特別不喜歡這爺兒倆。自從進入20世紀后，各種門派最牛的學問，最后都能扯到羅素那兒。維納后來也在哈佛任教，但不被主流數學家喜歡，沒拿到終身教職。最后只好到麻省理工學院落腳（沒錯，落腳，大家趨之若鶩的名校在人家眼里和旅館差不多）。二戰時，他做槍炮控制方面的工作，引發了他對通信理論和反饋的興趣，他寫了《控制論》一書，促成了控制論的誕生。戰后發生了一件怪事，他邀請了人工智能、計算機科學和神經心理學的年輕學者到麻省理工學院，這其中就包括麥卡洛可和皮茨。維納的老婆瑪格麗特是德國移民，在二戰時，家里還偷藏了一本英文版的希特勒寫的《我的奮斗》。麥卡洛可的老婆是猶太人，與瑪格麗特形同水火。有一次，瑪格麗特對維納說，麥卡洛可小組有人（可能暗指皮茨）勾引咱們寶貝女兒芭芭拉，維納大怒，隨即斷絕和麥卡洛可及其學生的所有往來。現在看來瑪格麗特是有意造謠，但維納的舉動對皮茨造成巨大創傷，皮茨本來是維納的特招學生（special student），估計他年幼時受過挫折，故秉性怪異。和維納鬧翻后，他拒絕了麻省理工學院給他的研究生學位，對學問也心灰意冷。皮茨在1969年離世，比他的長輩麥卡洛可還早去世幾個月，享年46歲。從皮茨的經歷我們看出兩點：天才總是個性怪異的；不能因為他人的造謠中斷自己的事業（皮茨多活兩年能解決不少問題）。

科學是講究一點傳承的，得維納真傳的人不多，所以我們不得不提邁克爾·阿比卜（Michael Arbib）。他23歲就在維納手下獲得了PhD，他出名是因那本科普書《大腦、機器和數學》。阿比卜后來創辦了麻省理工學院的計算機系，并延攬一幫人工智能人馬，其中有后來以“強化學習”出名的巴托（Andy Barto），使麻省的人工智能一直處于領先地位。阿比卜后來轉往南加州大學，擔任很多系的教授，他的名片要是印出來，一堆頭銜，就差“政協委員”或“人大代表”了。阿比卜到南加州后，沒出過什么有影響力的原創成果。在神經網絡不景氣時，巴托的實驗室曾經短期收容了很多人，其中就有后來的大佬級人物，如喬丹（Michael Jordan，不是那個籃球飛人），喬丹在伯克利時又培養了吳恩達（Andrew Ng）等一干人馬。

接下來講講唐納德·赫布（Donald Olding Hebb）。赫布是加拿大心理學家，在神經心理學領域有重要貢獻，他的研究方向是神經元在心理過程中的作用。1949年，赫布出版了《行為組織學》（Organization of Behavior），提出了知名的“赫布理論”。赫布理論主要認為，當神經元A的軸突與神經元B很近并參與了對B的重復持續的興奮時，這兩個神經元或其中一個便會發生某些生長過程或代謝變化，致使A作為能使B興奮的細胞之一，它的效能增強了。由于對神經元的重復刺激，使得神經元之間的突觸強度增加。通俗地說，兩個神經元同時被某未知事件激發，它們就有可能再次被同時擊中，而且，被同時擊中的次數越多，再次被同時擊中的概率越高。2000年，諾貝爾醫學獎得主肯德爾（Eric Kandel）的動物實驗也證實了赫布規則。后來的各種無監督機器學習算法或多或少都是赫布規則的變種。赫布提出的機制直到2000年才在生物學試驗中被證實并且確認是對的！只能拜服赫布了。

神經網絡研究的另一個突破是在1958年。康奈爾大學的實驗心理學家弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704計算機上模擬實現了一種他發明的叫作“感知機”（Perceptron）的神經網絡模型。這個模型可以完成一些簡單的視覺處理任務，這引起了轟動。他對這一個發明的潛力非常樂觀，預言說“感知器最終將能夠學習，做出決策和翻譯語言”。整個20世紀60年代，這一方向的研究工作都很活躍。羅森布拉特于1962年出了一本書《神經動力學原理：感知機和大腦機制的理論》（Principles of Neurodynamics: Perceptrons and the Theory ofBrain Mechanisms），這本書總結了他的所有研究成果，一時成為“仿生學”派的圣經。媒體對羅森布拉特也表現出了過度的關注。畢竟，能夠構建一臺可以模擬大腦的機器，當然是一個頭版頭條的搶眼消息。

馬文·明斯基（Marvin Lee Minsky）是人工智能的奠基人之一，是達特茅斯會議的組織者。1951年，他提出了關于思維如何萌發并形成的一些基本理論，并建造了一臺學習機，名為Snare。Snare是世界上第一個神經網絡模擬器，是人工智能最早的嘗試之一。他與麥卡錫、香農等人一起發起并組織了成為人工智能起點的“達特茅斯會議”，在這個具有歷史意義的會議上，明斯基的Snare，麥卡錫的α-β搜索法，以及西蒙和紐厄爾的“邏輯理論家”（10sicTheorist）是會議的三大亮點。1958年，明斯基從哈佛轉至麻省理工學院，同時麥卡錫也由達特茅斯來到MIT與他會合，他們在這里共同創建了世界上第一個人工智能實驗室。明斯基在一次會議上和羅森布拉特大吵，他認為神經網絡不能解決人工智能的問題。隨后，明斯基和麻省理工學院的另一位教授佩普特合作，企圖從理論上證明他們的觀點。他們合作的成果就是那本影響巨大、爭論無比的書《感知機》（Perceptrons）。在書中，明斯基和佩普特證明單層神經網絡不能解決XOR（異或）問題。異或是一個基本邏輯問題，如果這個問題都解決不了，那神經網絡的計算能力實在有限。其實羅森布拉特也已猜到“感知機”可能存在限制，特別是在符號處理方面，并以他神經心理學家的經驗指出，某些大腦受到傷害的人也不能處理符號。“仿生學”派的重挫其實是好事，應了那句老話“no pain, no gain”。歷史靜悄悄地等待著神經網絡學科十年后的大逆襲。

補充下明斯基和羅森布拉特的糾葛。表面上他們倆是誰也不服誰的科學家，有點像牛頓和萊布尼茨，但他們至少從中學就互相認識，布朗克斯科學高中（Bronx）大概是全世界最好的高中，畢業生里出過8個諾貝爾獎、6個普利策獎和1個圖靈獎。明斯基是1945年的畢業生，而羅森布拉特是1946年的畢業生，美國高中學制4年，明斯基和羅森布拉特至少有兩年重疊，而且彼此認識，是否從那時起就互相在學術上攀比著？1956年的達特茅斯會議定義了“人工智能”這個詞，會議的組織者包括明斯基、麥卡錫和香農等，參會者有司馬賀、紐威爾等。這個會議在定義“人工智能”領域時只是提到了神經網絡。那時明斯基是神經網絡的支持者，但達特茅斯會議的主題并不是神經網絡，而是后來被紐維爾和司馬賀稱為“物理符號系統”的東西。達特茅斯會議，“思路模擬”派是主要基調。

羅森布拉特被比他大一歲的明斯基妒忌是自然的。工作上，明斯基所負責的麻省理工學院的人工智能實驗室在向國防部和海軍申請經費。大多數的圈內科學家對羅森布拉特突然走紅很反感。明斯基早期也是“仿生”出身，但此時已經改為“思路模擬”派了。由于他和佩普特對感知機的批判，倆人后來被“仿生”派稱為“魔鬼搭檔”。被稱“魔鬼”是因為《感知機》第一版有言：“羅森布拉特的論文大多沒有科學價值”。這話就有點拉大旗做虎皮的意思，但羅森布拉特人緣不好，沒有得到同行的支持也是一個原因。

1959年，當時的另外兩位美國工程師維德羅（B.Widrow）和霍夫（M.Hoff）提出了自適應線性元件（Adaptive linear element，簡稱Adaline）。它是感知機的變化形式，也是機器學習的鼻祖模型之一。它與感知機的主要不同之處在于， Adaline神經元有一個線性激活函數，這允許輸出是任意值，而不僅僅只是像感知機中那樣只能取0或1。自適應線性元件的主要用途是線性逼近一個函數式而進行模式聯想。因為同感知機的原理相似，羅森布拉特享受盛譽時，維德羅也沾了光。后期他主要從事集成電路方面的工作，沒有繼續在人工智能領域混下去。

感知機的暫時失敗導致神經網絡研究走入低谷，明斯基在《感知機》一書再版時，刪除了原版中對羅森布拉特的個人攻擊的句子，并手寫了“紀念羅森布拉特”（In memory of Frank Rosenblatt）。美國電氣電子工程師協會（IEEE）于2004年特別設立了羅森布拉特獎，以獎勵在神經網絡領域的杰出研究。世事都是輪回的，我們的老祖宗早就教導，得意時不要張揚，失落時不必萎頓。

雖然信息科學和神經科學的結合一度不太順利，但這并沒有影響到神經生物學內部。哈佛神經生物學家大衛·休伯爾（David Hunter Hubel）和托斯坦·威澤爾（Torsten N. Wiesel）對視覺系統中視覺信息處理模式進行研究，他們為此獲得1981年的諾貝爾醫學獎。隨后，麻省理工學院英年早逝的大衛·考特尼·馬爾（David Courtnay Marr）將心理學、人工智能和神經生理學的研究成果結合起來，提出了全新的關于視覺處理的理論。他被認為是計算神經科學的創始人，影響了后來連接主義的運動。

1974年，哈佛的保羅·沃波斯（Paul Werbos）寫了一篇博士論文證明了在神經網絡多加一層，首次給出了如何訓練一般網絡的學習算法。“反向傳播算法”（Backpropagation Algorithm，簡稱BP算法）是一種監督學習算法，常被用來訓練多層感知機。他后來得到了IEEE神經網絡學會的先驅獎。沃波斯這篇文章剛發表時并沒引起多少重視，只因那時正是神經網絡研究的低谷，文章不合時宜。

神經網絡在20世紀80年代開始復興，除了時運之外，應該部分歸功于物理學家霍普菲爾德（J. J. Hopfield）。1982年，那時在加州理工擔任生物物理教授的霍普菲爾德，提出了一種新的神經網絡——霍普菲爾德神經網絡。霍普菲爾德神經網絡是一種遞歸神經網絡，是一種結合存儲系統和二元系統的神經網絡。它首次引入能量函數的概念，使神經網絡的平衡穩定狀態有了明確的判據方法，保證了向局部極小的收斂，但收斂到錯誤的局部極小值（Local Minimum），而非全局極小值（Global Minimum）的情況也可能發生。霍普菲爾德神經網絡僅對人工神經網絡的信息存儲和提取功能進行了非線性數學概括，提出了動力方程和學習方程，還對網絡算法提供了重要公式和參數，使人工神經網絡的構造和學習有了理論指導。1984年，霍普菲爾德用模擬集成電路實現了自己提出的模型。大量學者又被激發起研究神經網絡的熱情，積極投身于這一領域。

1986年，魯姆哈特（David Rumelhart）和麥克萊蘭（McCelland）等幾名學者提出的BP神經網絡是神經網絡發展史上的里程碑。魯姆哈特于1963年獲得南達科塔州大學心理學和數學的學士學位，之后，于1967年在斯坦福獲得數學模式的心理學博士學位。1967年至1987年，在加州大學圣迭戈的心理學部門工作， 1987回到斯坦福，獲得教授頭銜，直到1998年退休。魯姆哈特等學者完整地提出了BP算法，系統地解決了多層網絡中隱單元連接權的學習問題，并在數學上給出了完整的推導。

神經網絡在20世紀80年代的光芒被后來的互聯網掩蓋了，但這幾年又恰恰是互聯網給了神經網絡更大的機會。這幾年，計算機科學最火的詞兒就是“深度學習”。神經網絡由一層一層的神經元構成，層數越多就越深，所謂深度學習就是用很多層神經元構成的神經網絡達到機器學習的功能。杰弗里·辛頓（Geoffrey Hinton）是反向傳播算法和對比散度算法的發明人之一，也是深度學習的積極推動者，2006年他的一篇文章開辟了這個新領域。經過他改進的算法能夠對七層或更多層的深度神經網絡進行訓練，這讓計算機可以漸進地進行學習。隨著層次的增加，學習的精確性得到提升，同時該技術還極大地推動了非監督學習的發展，讓機器具備“自學”的能力。辛頓于1970年在英國劍橋大學獲得文學學士學位，主修實驗心理學。此后于1978年在愛丁堡大學獲得哲學博士學位，主修人工智能。此后他曾在薩塞克斯大學、加州大學圣迭戈分校、劍橋大學、卡內基梅隆大學和倫敦大學學院工作。他是蓋茨比計算神經科學中心的創始人，目前擔任多倫多大學計算機科學系教授。辛頓是機器學習領域的加拿大首席學者，也是加拿大高等研究院贊助的“神經計算和自適應感知”項目的領導者。辛頓和魯斯蘭·薩拉赫丁諾夫（Ruslan Salakhutdinov）提出了一種在前饋神經網絡中進行有效訓練的算法。這一算法將網絡中的每一層視為無監督的受限玻爾茲曼機，再使用有監督的反向傳播算法進行調優。他對神經網絡的其他貢獻包括分散表示（Distributed Representation）、時延神經網絡、專家混合系統（Mixtures of Experts）、亥姆霍茲機（Helmholtz Machines）等。年過六旬的辛頓不甘寂寞，在2013年3月加入谷歌，同時谷歌并購了他創辦的DNNresearch公司。

2012年，斯坦福大學人工智能實驗室主任吳恩達和谷歌合作建造了一個當時最大的神經網絡，這是谷歌神秘的X實驗室的一個計劃。這個世界上，第一個能夠讓機器識別“貓”的人就是他。吳恩達領導谷歌科學家，用16000臺計算機搭建模擬了一個人腦神經網絡，并向這個網絡展示了1000萬段從YouTube上隨機選取的視頻。結果，這個系統在沒有外界干涉的條件下，自己認識到“貓”是一種怎樣的動物，并成功找到了貓的照片，識別率為81.7%，成為“深度學習”領域的經典案例。

吳恩達于2014年加入百度，成為百度首席科學家，全面負責百度研究院，參與“百度大腦”計劃。“百度大腦”融合了深度學習算法、數據建模、大規模GPU并行化平臺等技術，模擬神經元參數超過200億個。雖然這注定是個勞民傷財的項目，但想想當年的阿波羅計劃，馮·布勞恩為了少年時期的夢想，先后鼓動兩個國家傾舉國之力支持其航天夢想，耗時十余年在美國打下了硅谷的基礎，間接成就了今天的世界。正是因為不斷有人追尋自身的夢想，并為之傾注畢生精力，人類才不斷超越自己，不是嗎？