1.1 人工智能的發展、應用及其安全性

1.1.1 人工智能的發展

1956年，在由一批包括斯坦福大學的麥卡錫教授、美國麻省理工學院的明斯基教授、貝爾實驗室的香農和 IBM 公司的羅切斯特在內的著名學者共同發起的達特茅斯會議上，人工智能的概念首次被提出：讓機器像人那樣認知、思考和學習，即用計算機來模擬人的智能。20世紀70年代以來，科學家在機器定理證明、機器翻譯、專家系統、博弈等方面進行了研究，在此過程中出現了符號學派、研究學派、行動學派。時至今日，人工智能的發展并非一帆風順，前后經歷了三次大的浪潮[2-4]。

第一次浪潮出現在20世紀50年代末到70年代初：人工智能思潮賦予機器邏輯推理能力。伴隨“人工智能”這一新興概念的興起，人們對人工智能的未來充滿了想象，大量研究人員投身于人工智能理論研究。在這一階段，人工智能主要用于解決代數、幾何問題，以及學習和使用英文程序，相關研究主要圍繞機器的邏輯推理能力展開。其中，20世紀60年代末到70年代初，以愛德華·費根鮑姆為首的一批年輕科學家提出了知識工程的概念，開始了大量以知識為基礎的專家系統的研究與應用，將人工智能推向了第一次高潮，當時，人們對人工智能寄予了很高的期望，甚至預言“十年以后人工智能將超越人類思維”。但受限于當時計算機算力不足，以及經驗與數據量不充足等因素，研發出的專家系統所能解決的問題非常有限，更談不上超越人類思維，因此，人們對于人工智能的發展轉為持懷疑態度。1972年，受英國科學委員會委托，劍橋大學詹姆士·萊特希爾對人工智能的研究狀況進行了總體調查，并提供了一個內容翔實的公開報告。該報告對當時英國的人工智能研究進行了評判，主要針對人工智能基礎研究中的自動機、機器人和中央神經系統。其結論是，自動機和中央神經系統的研究有價值，但進展令人失望；機器人的研究沒有價值，進展非常令人失望，建議取消對機器人的研究。鑒于當時英國的全球科技中心的地位，此后，人工智能開始了第一個嚴冬（AI Winter）。

第二次浪潮出現在20世紀80年代初到90年代初：專家系統使得人工智能實用化。最早的專家系統是在1968年由愛德華·費根鮑姆研發的DENDRAL系統，可以幫助化學家判斷某種特定物質的分子結構；DENDRAL首次對知識庫進行定義，也為第二次人工智能發展浪潮埋下伏筆。自20世紀80年代起，特定領域的“專家系統”人工智能程序被更廣泛地采納，其能夠根據領域內的專業知識推理出專業問題的答案，人工智能也由此變得更加“實用”，專家系統所依賴的知識庫系統和知識工程成為當時主要的研究方向。特別是在1981年，日本通產省開始主持研制“第五代計算機”項目，希望使計算機從計算與存儲數據的結構向直接推理與處理知識的新型結構過渡。其目標是打造一個具有1000個處理單元的并行推理機，其推理速度比常規推理機高1000倍，連接具有10億個信息組的數據庫和知識庫，其實就是研制一個能夠回答任何問題的“通用”專家系統且具備聽說能力。然而，由于領域的局限性、知識描述和生成的復雜性等因素，1992年“第五代計算機”以失敗告終，該項目前后耗資8.5億美元。從此，AI 發展步入第二次低谷。

第三次浪潮出現在21世紀初至今：深度學習加速人工智能的普及和應用。不斷提高的計算機算力加速了人工智能技術的迭代，也推動感知智能進入成熟階段，人工智能與多個應用場景結合落地，相關產業煥發新生機。2006年深度學習算法的提出、2012年AlexNet 在 ImageNet 訓練集上圖像識別精度取得的重大突破，直接掀起了新一輪人工智能發展的浪潮。2016年，AlphaGo 打敗圍棋職業選手，人工智能再次收獲了空前的關注度；2017年，AlphaGo 以3∶0的比分完勝世界圍棋冠軍柯潔；之后，AlphaGoZero從零開始，完全不需要任何歷史棋譜和人類先驗知識，通過自己左右互搏490萬盤棋局，最終無師自通，戰勝AlphaGo。相繼多個吸引人們眼球的、在局部領域內超過人類水平的人工智能成果的展示，讓人們真切感受到人工智能的威力，人工智能創業公司層出不窮，科學研究進一步推進，助推人工智能呈現加速發展態勢。

人工智能的第三次浪潮較前兩次有本質的不同[5]。如今，以大數據、強大算力和深度網絡模型為標志的先進算法已在計算機視覺、語音識別、自然語言處理等領域取得突破性進展，使得人工智能發展的影響范圍不再局限于學術界，開始廣泛嫁接生活場景，從實驗室走入日常，政府、企業、非營利機構紛紛“擁抱”人工智能。具體來講，本輪人工智能浪潮的到來，除強大的算力外，還得益于數據的爆炸式增長及深度學習算法的發展和突破。

人工智能技術需要以大量的數據作為輸入，通過對模型不斷訓練，獲得必要的模型參數。然而，目前大數據的發展存在一些問題[1]，包括數據流通不暢、數據質量良莠不齊、數據污染、關鍵數據缺失等。由于人工智能缺乏對數據正確性甄別的能力，同時，人工智能在進行推理判斷的時候，是依據所獲取的數據來進行的，所以，人工智能系統高度依賴數據的正確性。有多種原因能夠使輸入的數據質量低下，包括數據丟失和變形、噪聲數據輸入、數據投毒和樣本對抗等，進而會對人工智能系統的安全造成影響。

深度神經網絡由于不需要繁雜的特征工程，因而在當前人工智能發展中“大行其道”。深度神經網絡模型基于直接的端到端方式來學習已知的因果關系，這種因果關系是通過神經網絡的大量隱含層來記錄的，其結果可能會出現一些問題，如過擬合問題、可靠性問題、不可解釋性問題等。就不可解釋性問題而言，深度學習的模型計算、特征選擇等均由算法自行完成，目前尚無理論對其進行合理解釋。為此，難以保證這樣訓練出的模型不被竊取或污染，因而存在結果不可控的隱患。

除了上述由新技術的脆弱性導致的系統運行安全問題，還存在另一種安全問題，即新技術的脆弱性并沒有給人工智能系統自身的運行帶來風險，但這些脆弱性可以被攻擊者利用而引發其他安全問題。例如，2016年5月，在佛羅里達州公路上一輛處于“自動駕駛”模式的特斯拉汽車 Model S 以74英里（1英里≈1.61千米）的時速，直接撞上了拐彎中的白色拖掛式大貨車，其原因是自動駕駛系統誤將白色拖掛式大貨車識別為天上的白云，導致自動剎車未生效[6]。其實，早在1978年9月就發生過機器人傷人事件，日本廣島一家工廠的切割機器人在切割鋼板時，誤將一名值班工人當作鋼板進行了操作，致使該工人死亡，這是世界上第一宗機器人殺人事件。