1.2 人工智能發展史

在當今科技快速發展的時代，人工智能無疑是最熱門的話題之一。從智能手機上的語音助手到自動駕駛汽車，再到能與人類進行深度對話的AI系統，我們似乎正處在一個AI無所不能的時代。然而，人工智能的發展之路并非一帆風順，而是經歷了跌宕起伏的“三起兩落”。這段發展歷程既充滿激情與希望，又不乏挫折與反思。圖1-4展示了人工智能發展過程中的關鍵節點與成果。

1.第一次興起：20世紀50年代末到60年代初

1950年，英國數學家艾倫·圖靈在他的論文——《計算機器與智能》（Computing Machinery and Intelligence）中首次提出了人工智能的概念，并給出了著名的圖靈測試，書中探討了“機器能思考嗎？”這一問題。這篇論文不僅為人工智能奠定了理論基礎，還為他贏得了“人工智能之父”的稱號。1956年，人工智能夏季研討會在美國漢諾斯小鎮的達特茅斯學院召開，約翰·麥卡錫（John McCarthy）、馬文·明斯基（Marvin Minsky）、克勞德·艾爾伍德·香農（Claude Elwood Shannon）、納撒尼爾·羅切斯特（Nathaniel Rochester）等人在會議上正式提出了“人工智能”這一術語。這也標志著人工智能作為一個獨立學科誕生。圖1-5所示為當時部分與會代表在達特茅斯大廳前的合影。緊接著，1958年，康奈爾大學的心理學教授弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704計算機上模擬實現了名為“感知機”（Perceptron）的神經網絡模型^[1]。這是第一個可以自動學習權重的神經元模型。作為一個簡單的二元分類器，感知機可以根據輸入數據進行學習并做出決策，其工作原理類似于生物神經元，通過加權求和與激活函數來輸出結果。盡管感知機只能處理線性可分問題，但它也為后來的神經網絡研究奠定了基礎。感知機的成功激發了人們對人工智能的廣泛興趣，許多研究人員和機構開始投入到這一領域的研究。

1966年，麻省理工學院科學家約瑟夫·維森鮑姆（Joseph Weizenbaum）開發出第一個心理治療機器人ELIZA，用于模擬心理治療師與患者的對話。ELIZA一經推出便獲得了人們高度的評價，甚至有些病人更喜歡與機器人聊天。但事實上，它的實現邏輯非常簡單，當病人說出某個關鍵詞時，機器人就利用一個有限的對話庫來回復特定的話給病人。盡管如此，它依然展示出人工智能在自然語言處理方面的潛力，再次堅定了人們對于發展人工智能的信心。圖1-6給出了ELIZA心理治療機器人的一個對話示例。

在這一時期，人工智能研究熱潮涌動，感知機和ELIZA的成功激發了人們對人工智能的廣泛興趣，人工智能迎來它的第一個春天?？茖W家們豪情滿懷?；诋敃r人工智能在各個領域的初步發展，甚至有人大膽預測，20年內就能造出超越人類的AI。

2.第一次低谷：20世紀60年代末到70年代初

人工智能發展初期的突破性進展大大提升了人們對人工智能的期望，人們開始嘗試更具挑戰性的任務，然而計算能力的限制及關鍵理論的缺失使得人們的愿景不斷落空，曾經被寄予厚望的AI突然變得“笨拙”起來。加之20世紀70年代經濟衰退，導致政府和企業對高風險研究項目的資助減少。同時，早期的AI研究者和媒體對AI的潛力進行了過度宣傳，導致公眾和資助者對AI的期望過高。正所謂“期望越高，失望越大”，許多AI研究項目被迫中止，研究人員轉向其他領域，AI技術的發展速度顯著放緩，逐步進入低谷時期。

1973年，法國著名數學家詹姆斯·萊特希爾（James Lighthill）向英國政府提交了一份報告，嚴厲批評了當時的AI研究，認為其未能實現預期目標。這份報告被稱為“萊特希爾報告”，它直接導致了英國政府進一步大幅削減AI研究經費，其他國家也紛紛開始效仿，這對AI研究產生了深遠的影響。不僅如此，在技術上，人工智能的發展也嚴重碰壁。1969年，“符號主義”代表人物、圖靈獎獲得者馬文·明斯基（Marvin Minsky）等人在他們的著作Perceptrons: an introduction to computational geometry^[2]中指出了感知機無法解決非線性可分問題的缺陷。這使得許多研究人員開始質疑神經網絡的有效性，導致他們對這一領域的研究興趣大幅下降。因此，在經濟因素與技術因素的雙重影響下，一場人工智能寒冬悄然降臨。

3.第二次興起：專家系統引發新熱潮

在20世紀80年代到90年代初，人工智能迎來了第二次興盛。在這一時期，計算能力和存儲能力的提升為更復雜的AI模型提供了支持，許多新的技術和方法在這一時期得到了發展和應用，人工智能再次走向復興。

引發此次AI復興熱潮的關鍵是專家系統的商用化。專家系統是一種基于知識庫和推理機的計算機系統，能夠模擬人類專家的決策過程。早期的專家系統是基于規則的，這種系統通過預先定義的規則來進行推理和決策。在基于規則的專家系統中，知識通常以“如果……那么……”的形式表示，即如果滿足某些條件，則執行某些操作或得出結論。這些規則通常由領域專家提供，并經過系統開發者的整理和優化。系統通過匹配輸入信息與規則庫中的規則來模擬專家的決策過程。

例如美國斯坦福大學研究團隊研發的MYCIN系統，它是早期模擬決策系統和專家系統的代表之一，用于診斷血液傳染病并推薦抗生素治療。其系統架構如圖1-7所示。MYCIN系統使用約600條規則來推理可能的診斷和建議治療方案。MYCIN系統從功能與控制結構上可分成兩部分：一是以患者的病史、癥狀和化驗結果等作為原始數據，運用醫療專家的知識進行正向推理，找出導致感染的細菌，若是多種細菌，則用0～1的數字給出每種細菌的可能性；二是在上述基礎上，給出針對這些可能細菌的藥方。MYCIN系統采用了“知識庫”（Knowledge Base）、“推理機”（Inference Engine）的系統結構，引入了“可信度”（Credibility）來表示對相應屬性值的信任程度，其取值范圍為[-1，1]。MYCIN系統以此進行非確定性知識推理，能對用戶的咨詢提問進行回答解釋，并給出答案的可信度估計。

基于規則的專家系統雖然具有一些明顯的優點，如易于理解和實現、能夠處理復雜的邏輯關系和因果關系等，但是受限于早期計算機的處理性能，該類專家系統的發展相對緩慢，難以處理復雜規則和大規模數據，因而并沒有得到廣泛的應用。進入20世紀80年代，得益于計算能力的提升，這一瓶頸被逐漸打破，許多具有復雜規則的專家系統開始在計算機上得到應用。這些系統能夠處理更為復雜的邏輯關系和推理過程，從而在實際應用中展現出更高的智能水平和實用性，進一步推動了人工智能技術的興起和發展。

在此次熱潮中，人工神經網絡也發生了巨大的變化。1982年，美國物理學家約翰·霍普菲爾德（John Hopf ield）發明了Hopf ield網絡^[3]。它是一種單層、全連接的反饋神經網絡，用于聯想記憶。該網絡對理解復雜系統和作為深度學習早期基礎有重要貢獻。1983年，杰弗里·辛頓（Geoffrey Hinton）與泰倫斯·謝諾沃斯基（Terrence Sejnowski）一起發明了玻爾茲曼機（Boltzmann Machine），也被稱為隨機Hopf ield網絡。這是第一個能夠學習不屬于輸入或輸出的神經元內部表征的神經網絡。它的本質是一種無監督模型，用于對輸入數據進行重構以提取數據特征進行預測分析。在此期間，保羅·韋爾博斯（Paul Werbos）于1974年在他的博士論文中首次提出了“超越回歸”（Beyond Regression），也就是反向傳播（Back Propogation，BP）算法，他成為BP算法的第一人，榮獲IEEE神經網絡先驅獎。但在當時BP算法并未引起廣泛的關注，真正讓BP算法家喻戶曉的是1986年由大衛·萊姆哈特（David Rumelhart）、杰弗里·辛頓（Geoffrey Hinton）和羅納爾多·威廉姆斯（Ronald Williams）共同在Nature上發表的論文“Learning representations by back-propagating errors”^[4]。它不僅展示了BP算法的原理，還證明了其在多層神經網絡中的強大能力，為多層神經網絡的學習訓練提供了切實可行的方法，極大地推動了神經網絡的研究。此外，1993年，BP算法奪得了國際模式識別競賽冠軍，進一步證明了它的有效性。而且，多層感知器（Multi-Layer Perceptron，MLP）與BP算法的結合，有效解決了單層感知機不能做非線性分類的問題，開啟了神經網絡研究的新一輪高潮。1989年，楊立昆（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）等人提出了一個卷積神經網絡（Convolutional Neural Network，CNN），即著名的LeNet-5^[5]，并使用BP算法完成網絡訓練。LeNet-5成功應用于美國郵局的手寫字符識別系統中。

第二次興盛期的技術突破和應用展示了人工智能在解決實際問題中的巨大潛力。

4.第二次低谷：20世紀90年代初，AI再遭挫折

盡管專家系統的應用領域變得越來越廣，但隨著時間的推移，它的局限性也逐步暴露，常識性錯誤、更新迭代和維護成本高昂等成為不可跨越的難題。1987年，蘋果和IBM公司生產的臺式機性能超過了LISP（List Processor）機器，這意味著使用通用計算機來運行LISP程序和進行人工智能研究變得更加高效和經濟。隨著通用計算機性能的提升和價格的下降，專用LISP機器的市場需求急劇下降。這導致了LISP機器硬件銷售市場的嚴重崩潰，LISP機器制造商被迫退出市場，而許多依賴于LISP機器的人工智能項目和實驗室失去了重要的硬件支持，導致研究進度受阻，人工智能領域進入第二次寒冬。面對硬件市場的變化，人工智能研究者開始尋找新的研究方向和技術路徑。在這一時期，機器學習逐漸成為人工智能領域的主流技術。它利用統計和優化的方法來訓練模型，可以實現各種智能任務。支持向量機（Support Vector Machine，SVM）和決策樹（Decision Tree）等傳統機器學習算法在這一時期大放異彩，逐漸取代了神經網絡在許多應用中的地位。SVM的學習策略是間隔最大化，這使得它在處理高維數據時具有較好的泛化能力。此外，SVM的數學基礎扎實，能夠通過求解凸二次規劃問題來找到最優解。這些優勢使得SVM在許多實際應用中表現出色，逐漸取代了當時的神經網絡。此外，盡管計算能力有所提升，但仍不足以支持大規模神經網絡的訓練和應用，這也進一步加速了寒冬的到來。

5.第三次興起：大數據、深度學習與語言模型引領AI復興

進入21世紀，人工智能技術迎來了前所未有的發展機遇，標志著其第三次興起的到來。這一次的復興不僅鞏固了AI在科技領域的核心地位，更深刻地改變了人們的生活方式和工作方式。這一時期的快速發展，主要得益于算法、數據和算力三大核心驅動力的共同作用。首先，算法的創新是人工智能第三次興起的關鍵因素。深度學習算法的崛起，如深度置信網絡（Deep Belief Network，DBN）^[6]、卷積神經網絡（CNN）、受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）^[7]、循環神經網絡（Recurrent Neural Network，RNN）^[8]等，為人工智能處理復雜數據提供了強有力的工具。這些算法通過構建多層神經網絡結構，能夠學習并提取數據中的深層次特征，從而在圖像識別、語音識別、自然語言處理等多個領域實現了突破性的進展。深度學習算法的成功應用，不僅提高了人工智能系統的準確性和效率，更拓寬了其應用場景和范圍。2006年，辛頓和他的研究團隊提出了逐層預訓練的方法，為訓練深度神經網絡提供了有效的解決方案，成為深度學習發展的重要里程碑。具體來說，在傳統的隨機初始化方法中，深層網絡的梯度往往在反向傳播過程中變得極小，導致底層參數幾乎無法更新，即所謂的梯度消失問題。逐層預訓練為每一層提供了一個更優的初始狀態，使得整個網絡的訓練變得可行，有效緩解了深層神經網絡訓練中的梯度消失問題。

然而，就像一位天才廚師有了完美食譜卻缺少烹飪設備，當時的計算機還難以應對如此復雜的運算需求。正當AI似乎要在理論與實踐的鴻溝中再次跌落時，算力的革命悄然而至。GPU（Graph Processing Unit）、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）及神經擬態芯片等高性能計算硬件的發展，極大地增強了計算機的運算能力，為處理復雜的人工智能算法提供了強有力的硬件支持。例如，GPU原本是為了讓游戲玩家體驗更逼真的畫面而生，卻意外成為AI發展的“救命稻草”。GPU相比于CPU擁有更多獨立的大吞吐量計算通道，適合計算密集和數據并行的程序，并可以提供最佳的內存帶寬，而且線程并行帶來的延遲幾乎不會造成影響。這些芯片的發展不僅提高了人工智能模型的訓練速度和推理效率，還推動了人工智能技術的落地和應用。GPU等計算芯片的不斷迭代，為AI的訓練和部署，尤其是深度學習，提供了強大的計算能力。這些芯片就像是給AI裝上了越來越強勁的引擎，讓它能夠輕松處理海量數據、訓練更加復雜的模型。從2016年的NVIDIA GTX 1080到2020年的A100，僅僅在4年時間里，GPU的性能就提升了約3倍。這種性能的飛躍使得研究人員能夠：①訓練更大規模的模型，例如，從最初的AlexNet（約6000萬個參數）發展到GPT-3（約1750億個參數）；②使用更大的數據集，從最初的ImageNet（約1400萬張圖片）到可以處理數十億規模的數據集；③更快的迭代實驗，加速了模型優化和創新的過程。這種算力的提升不僅加快了深度學習的發展速度，還使得一些在過去被認為不可能完成的任務變為現實。例如，GPT系列的大規模語言模型的訓練就需要強大的GPU集群提供支持。

與此同時，隨著大數據、云計算和物聯網等技術的快速發展，數據量呈現爆炸式增長，為人工智能算法的訓練和優化提供了充足的數據支持。這些數據資源不僅使得人工智能模型能夠學習到更加準確和泛化的特征表示，還推動了人工智能技術在各個領域的廣泛應用。最為典型的代表就是ImageNet數據集。它是由美國斯坦福大學的李飛飛教授等人于2009年創建發布的，包含了超1400萬幅圖片，涵蓋了2萬多個類別，可用于支撐圖像分類、定位、檢測等方向的研究。加之前面提到的強大的算力支撐，使得人工智能技術能夠在這片數據海洋中自如遨游，不斷學習和進化。這里不得不提到深度學習技術蓬勃發展的直接見證者——ImageNet競賽ILSVRC，其全稱為ImageNet Large Scale Visual Recognition Challenge。起初，統計機器學習算法在比賽的前兩屆中拔得頭籌，最低To p-5分類錯誤率達到了25.8%，如圖1-8所示。

2012年，辛頓和他的學生亞歷克斯·克里熱夫斯基（Alex Krizhevsky）設計的AlexNet橫空出世，在ImageNet競賽上大獲全勝，將最低Top-5分類錯誤率降低至16.4%，相比于2011年的冠軍方案性能提高約10%。這是歷史上第一次有模型在ImageNet數據集獲得如此出色的表現，引爆了神經網絡的研究熱情。AlexNet包含5個卷積層和3個全連接層，總計約6000萬個參數，這在當時可以說是非常深的網絡架構了。這種網絡架構為之后的深度卷積神經網絡的設計提供了重要的指導。創新的網絡架構再加上現代GPU的加持，使得AlexNet就像一位借助外骨骼裝甲的超級英雄，以壓倒性的優勢擊敗了所有對手，在深度學習歷史上留下了濃墨重彩的一筆。在2015年更是出現了152層的“超深”神經網絡，并在所參加的五個賽道比賽中橫掃對手，獲得冠軍。隨著技術進步和研究方向的飽和，傳統圖像分類任務的挑戰不再具有足夠的創新性和吸引力，2017年，ImageNet舉辦了最后一屆競賽，盡管ImageNet競賽已經停辦，但其帶來的影響依然深遠，為計算機視覺領域奠定了重要的基礎。

在2015年這一具有里程碑意義的年份里，為慶祝人工智能概念誕生六十周年，深度學習領域的三位杰出先驅——楊立昆、本吉奧與辛頓攜手發布了深度學習的權威綜述Deep Learning^[9]。該著作深刻闡述了深度學習作為一種先進的特征學習技術，其核心在于將原始數據通過一系列簡單卻高度非線性的模型轉換，逐步提煉為更高層次、更為抽象的表征形式，這一過程顯著增強了數據間的區分度與理解力。通過精心設計的多層轉換組合，即便是極為復雜的函數也能被學習并模擬。同年，微軟亞洲研究院的何凱明等人憑借深度殘差網絡（Deep Residual Network，ResNet）^[10]的突破性創新，在ImageNet競賽中大放異彩，贏得了圖像分類和物體識別任務的雙料冠軍。此外，谷歌在這一時期開源了TensorFlow框架，它是一個基于數據流編程（Dataflow Programming）的符號數學系統，其前身可追溯至谷歌內部的神經網絡算法庫DistBelief。它采用Python語言編寫，并支持多種深度學習算法。該框架的核心是TensorFlow API，它提供了一個靈活的編程環境，使得研究人員和開發者可以輕松構建、訓練和部署各種深度學習模型。TensorFlow的開源無疑為全球的AI研究者和開發者提供了一個強大的工具，極大地降低了深度學習的門檻。TensorFlow框架一經推出便被廣泛應用于各類機器學習算法的編程實現。同年12月，埃隆·馬斯克（Elon Musk）等人在美國舊金山共同創立非營利性研究機構OpenAI，該公司懷揣著確保通用人工智能（即一種能夠高度自主并在廣泛經濟活動中超越人類能力的系統）惠及全人類的崇高愿景，開始踏上了探索之旅。OpenAI不僅致力于前沿技術的研發，還推出了包括OpenAI Gym、GPT在內的多款熱門產品，極大地推動了AI技術的普及與應用。

進入2016年，谷歌提出了聯邦學習（Federated Learning）的概念，它巧妙地解決了數據隱私與分布式學習之間的難題，允許算法在多個持有本地數據的邊緣設備或服務器上獨立訓練，而無須直接交換數據樣本。同年，AlphaGo在圍棋界掀起了驚濤駭浪，它以4：1的戰績擊敗了圍棋世界冠軍、職業九段棋手李世石。這一壯舉不僅彰顯了深度學習與強化學習技術的非凡實力，更在全球范圍內引發了關于人工智能潛力與未來的熱烈討論。

2020年，谷歌DeepMind團隊的AlphaFold2^[11]人工智能系統在蛋白質結構預測領域實現了重大突破，它猶如一座里程碑，標志著該領域邁入了一個全新的時代。在萬眾矚目的國際蛋白質結構預測競賽中，AlphaFold2以卓越的表現脫穎而出，精準地預測了蛋白質的三維結構，其精確度之高，幾乎可與冷凍電子顯微鏡、核磁共振及X射線晶體學等尖端實驗技術相抗衡，展現了人工智能在生命科學領域的非凡實力。

2021年，OpenAI引領了另一場技術革命，推出了兩款顛覆性的神經網絡模型——DALL-E^[12]與CLIP^[13]。DALL-E以其獨特的創造力，能夠根據文字描述直接生成生動逼真的圖像，實現了文字與視覺藝術的無縫融合；而CLIP則展現了強大的跨模態理解能力，能夠精準匹配圖像與對應的文本類別，進一步拓寬了人工智能在內容理解與生成方面的應用邊界。

2022年，ChatGPT（Chat Generative Pre-trained Transformer）的橫空出世標志著大模型時代的來臨。以ChatGPT為代表的通用大語言模型是人工智能領域的一項重大突破，它們通過海量數據的深度學習與復雜神經網絡的構建，展現出了前所未有的自然語言處理能力和智能交互水平。這些大模型不僅能夠進行流暢、連貫的對話，還能在多個領域提供精準的信息解答、創意生成與問題解決方案，極大地拓寬了人工智能的應用邊界。ChatGPT及其同類大模型的崛起，標志著人工智能正逐步從特定任務的執行者轉變為能夠理解、學習與創造的智能伙伴，引領著科技行業向更加智能化、人性化的方向邁進。