1.1.1 人工智能的發展歷程

美國科研人員沃爾特·皮茨和沃倫·麥卡洛克于 1943 年基于人類大腦創建了一個計算機模型。從那時起，人工智能（AI）技術一直穩步發展。

1．20世紀50年代

1950年，著名的英國數學家艾倫·馬西森·圖靈在一篇名為Computing Machinery and Intelligence（《計算機器與智能》）的論文中設計了一個機器模仿人類的游戲，并據此判斷機器是否會“思考”，這就是著名的圖靈測試。圖靈測試讓計算機通過文本方式與人類聊天5分鐘，若人類無法確定對方為機器還是人類則測試通過。圖靈對計算機科學的巨大貢獻無須贅言，至今圖靈獎仍是計算機科學界的最高榮譽。

1957年，美國學者弗蘭克·羅森布拉特發表了名為The Perceptron——A Perceiving and Recognizing Automaton（《感知器：感知和識別的自動機》）的論文。論文中提出了感知器的概念。這是首個用算法精確定義神經網絡的數學模型，是后來很多神經網絡模型的始祖。

2．20世紀60年代

1960年，亨利·凱利提出了一個基礎的反向傳播的模型。反向傳播算法是一種適用于多層神經網絡的學習算法，建立在梯度下降法的基礎上。

所謂“反向傳播”是指出于訓練的目的反向傳播錯誤。雖然“反向傳播”的概念在1960年就已經提出，但是當時的反向傳播算法過于復雜，效率也不高，直至1986年才具有實用意義。

3．20世紀70年代

20 世紀 70 年代是人工智能的第一個冬天。隨著公眾對人工智能興趣的衰減，對人工智能技術的投資也在逐漸減少。資金的缺乏影響了人工智能和深度學習領域的研究。

日本人福島邦彥是在沒有資金支持的情況下獨自從事相關研究工作的。他提出了卷積神經網絡（CNN）的概念，并使用多個池化層和卷積層設計了神經網絡。

著名的反向傳播（BP）算法誕生于20世紀70年代，并得到穩步發展。反向傳播算法將輸出以某種形式通過隱藏層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號。此誤差信號被作為修正各單元權重值的依據。

反向傳播是深度學習的根基，也是推動第三次人工智能浪潮的重要因素。反向傳播算法和其在MindSpore框架中的應用將在第5章進行介紹。

4．20世紀80年代和90年代

1989年，貝爾實驗室的楊立昆第一次提供了反向傳播的實際演示。他在發表的論文Backpropagation Applied to Handwritten Zip Code Recognition（《反向傳播應用于手寫郵政編碼識別》）中將卷積神經網絡與反向傳播合并在一起，并通過一個實例系統最終實現手寫數字的識別。第5章將介紹此實例在MindSpore框架中的實現方法。

當第二個人工智能的冬天（1987—1993年）來臨時，對神經網絡和深度學習的研究也受到了負面影響。IBM和蘋果公司推出了個人計算機，并快速占領整個計算機市場，個人計算機的CPU（中央處理器）頻率穩步提高，速度越來越快，甚至比廣泛應用于人工智能領域的 LISP 機還要強大。這導致專家系統和很多硬件公司日漸衰落，人工智能領域的投資者越來越少。

個人研究者再一次延續了人工智能和深度學習的相關研究工作，并取得顯著的進步。1995年，德納·考特斯和弗拉基米爾·萬普尼克開發了支持向量機（SVM），它是一種映射和識別相近數據的系統。

計算機處理數據的速度越來越快，1999 年，圖形處理器（GPU）誕生。使用 GPU處理圖像數據的速度更快。十年間計算速度提高了1000倍，這對于深度學習技術的發展是至關重要的。在此期間，神經網絡開始與支持向量機競爭。雖然神經網絡處理數據的速度比支持向量機慢，但是在使用相同數據的情況下，神經網絡可以得到更好的結果。神經網絡的優勢在于當追加更多的訓練數據時，其可以不斷地改善訓練結果。

5．2000—2010年

2001年，美國調研機構META Group發布的研究報告描述了數據源和數據類型范圍的增加帶來的數據增速，并提醒人們對大數據帶來的沖擊做好準備。大數據時代的到來給深度學習帶來新的發展機遇和挑戰。

2007年，斯坦福大學的李飛飛教授帶領團隊創建了世界上最大的免費圖像識別數據庫ImageNet，其中包含20000多個類別，每個類別包含數百個圖像，共計提供超過1400萬個被標記的圖像，至少100萬個圖像中包含邊界框。這對機器學習很重要，因為互聯網中有很多未標記的圖像，而神經網絡的訓練需要被標記的圖像。李飛飛教授認為大數據會改變機器學習的工作方式，數據驅動學習。

6．2011—2020年

2011年，GPU的處理速度變得更快。這使得深度學習在效率和速度方面得到顯著提升。

2014年，伊恩·古德費洛提出了生成對抗網絡（GAN）算法。GAN算法的設計思路是：在一個游戲中，兩個神經網絡互相對抗，游戲的目的是一個網絡模擬一個圖像，讓它的對手相信圖像是真的；而其對手網絡的目的是找到圖像中的瑕疵。游戲最終會得到一幅接近完美的圖片，并成功欺騙對手網絡。該算法提供了一種完善產品的方法。第9章將介紹基于GAN算法的一個變種DCGAN（深度卷積生成對抗網絡）在MindSpore框架中實現動漫頭像生成的實例。

2016年被稱為人工智能元年。這一年，不僅有AlphaGo與世界圍棋冠軍李世石的圍棋對決，還涌現出很多基于機器學習和深度學習的實用產品和解決方案。

本小節介紹了人工智能技術發展的歷程，其中涉及一些人工智能、機器學習和深度學習的基本概念和主要算法。這些基礎理論將在本書后面章節結合具體應用進行詳細介紹。