前言

人工智能（Artificial Intelligence，AI）是研究和開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的技術(shù)科學(xué)，有著漫長(zhǎng)而曲折的發(fā)展過(guò)程。1956年，人工智能的概念首次被提出，之后，人工智能的發(fā)展經(jīng)歷了三次大的浪潮，分別是20世紀(jì)50年代末到70年代初：人工智能思潮賦予機(jī)器邏輯推理能力；20世紀(jì)80年代初到90年代初：專家系統(tǒng)使得人工智能實(shí)用化；21世紀(jì)初至今：深度學(xué)習(xí)加速人工智能普遍應(yīng)用。人工智能的第三次浪潮較前兩次有著本質(zhì)的不同，具體表現(xiàn)為以大數(shù)據(jù)、強(qiáng)大算力和深度網(wǎng)絡(luò)模型為標(biāo)志的先進(jìn)算法已在計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得突破性進(jìn)展，基于人工智能技術(shù)的應(yīng)用開始成熟。不僅如此，這一輪人工智能發(fā)展的影響范圍不再局限于學(xué)術(shù)界，人工智能技術(shù)開始廣泛嫁接生活場(chǎng)景，不斷重構(gòu)生產(chǎn)、分配、交換、消費(fèi)等活動(dòng)的各環(huán)節(jié)。人工智能正在深刻改變?nèi)祟惿鐣?huì)的技術(shù)水平、生產(chǎn)和生活方式、經(jīng)濟(jì)和產(chǎn)業(yè)結(jié)構(gòu)乃至國(guó)家和社會(huì)安全的格局。人工智能作為一種通用使能技術(shù)，同其他技術(shù)一樣，是一把“雙刃劍”，在促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展的同時(shí)，也暴露出大量的安全問(wèn)題，引發(fā)了人們對(duì)人工智能安全問(wèn)題的高度關(guān)注。

從一般的人造系統(tǒng)或工程系統(tǒng)的角度考慮，人工智能系統(tǒng)作為一種特殊的工程系統(tǒng)，同樣具有其同類系統(tǒng)可能具有的安全問(wèn)題。例如，作為機(jī)器人、無(wú)人駕駛系統(tǒng)，它可能具有結(jié)構(gòu)、材料性質(zhì)、環(huán)境適應(yīng)性等安全問(wèn)題。但是人工智能系統(tǒng)或“智能體”與其他系統(tǒng)的本質(zhì)區(qū)別在于，其具有“智能”和“思維”，可以通過(guò)學(xué)習(xí)來(lái)獲得知識(shí)，可以做出自主性決策，進(jìn)而可以執(zhí)行自主性行動(dòng)。區(qū)別于其他同類技術(shù)或工程系統(tǒng)的普適性安全問(wèn)題，本書所討論的人工智能安全問(wèn)題集中于人工智能系統(tǒng)由于具有學(xué)習(xí)能力、自主決策、自主行動(dòng)等智能行為而產(chǎn)生的安全問(wèn)題，既包括人工智能系統(tǒng)本身由于設(shè)計(jì)、制造、使用環(huán)境或受到攻擊所產(chǎn)生的安全問(wèn)題，也包括隨著人工智能技術(shù)的發(fā)展和應(yīng)用而衍生出來(lái)的對(duì)其他系統(tǒng)的安全影響和潛在威脅。從技術(shù)角度考慮，人工智能系統(tǒng)可以通過(guò)學(xué)習(xí)獲得“知識(shí)”或者“技能”，并且可以自主地做出決策、執(zhí)行行動(dòng)，這既是人工智能系統(tǒng)相對(duì)于其他技術(shù)系統(tǒng)的優(yōu)勢(shì)，又是其區(qū)別于其他技術(shù)而產(chǎn)生特別的安全問(wèn)題或隱患的原因。人工智能技術(shù)的本質(zhì)特征是機(jī)器學(xué)習(xí)的可理解性、可解釋性問(wèn)題及魯棒性問(wèn)題，目標(biāo)函數(shù)或獎(jiǎng)勵(lì)函數(shù)描述的不完備性問(wèn)題及針對(duì)性對(duì)抗攻擊等問(wèn)題。

廣義上，人工智能安全問(wèn)題既包含人工智能系統(tǒng)作為一種人造系統(tǒng)（工程系統(tǒng)或信息系統(tǒng)）的安全問(wèn)題，也包括人工智能技術(shù)的應(yīng)用所造成的經(jīng)濟(jì)和文化的、法律和倫理的、國(guó)家和社會(huì)的安全問(wèn)題，還包括由于人工智能系統(tǒng)具有思維和自我發(fā)展能力而可能形成的強(qiáng)大的智能所造成的對(duì)人類整體的安全威脅。這里，我們把人工智能的安全問(wèn)題劃分為內(nèi)生安全問(wèn)題和衍生安全問(wèn)題兩大類。內(nèi)生安全問(wèn)題既包含智能體的技術(shù)特點(diǎn)、缺陷、脆弱性等可能造成的智能體本身的安全問(wèn)題（確切地說(shuō)，該智能體作為具有特定功能的系統(tǒng)不能正確地發(fā)揮其特定的功能），也包括該智能體及工作環(huán)境的影響或受到其他系統(tǒng)的攻擊而不能正確地發(fā)揮其特定功能的安全問(wèn)題。衍生安全問(wèn)題是智能體的應(yīng)用對(duì)其他系統(tǒng)可能造成的安全問(wèn)題，既包括由于智能體本身出現(xiàn)安全問(wèn)題而對(duì)其他系統(tǒng)的安全性所造成的影響，也包含由于該智能體成功行使了特定功能而（可能）對(duì)其他系統(tǒng)的安全性所造成的影響。

人工智能安全風(fēng)險(xiǎn)主要來(lái)自技術(shù)和應(yīng)用兩個(gè)方面。一方面，人工智能作為融合多種學(xué)科的復(fù)雜科學(xué)，主要面臨算法模型、數(shù)據(jù)安全、隱私保護(hù)、軟硬件平臺(tái)等風(fēng)險(xiǎn)；另一方面，隨著人工智能應(yīng)用的大規(guī)模普及，與網(wǎng)絡(luò)攻擊、倫理道德、國(guó)家和人身安全等相關(guān)的風(fēng)險(xiǎn)也在加大。為了滿足人工智能安全需求，提高人工智能算法和應(yīng)用安全水平，增強(qiáng)人工智能安全管理能力，需要從科學(xué)和技術(shù)、標(biāo)準(zhǔn)和規(guī)范、道德和倫理、政策導(dǎo)向和法律法規(guī)等諸多方面予以綜合治理。

本書共9章。第1章介紹了人工智能的發(fā)展和應(yīng)用及其安全性、人工智能安全的范疇，以及與人工智能安全治理有關(guān)的內(nèi)容；第2章的內(nèi)容是基于可信計(jì)算構(gòu)建安全可信的人工智能計(jì)算環(huán)境，重點(diǎn)分析了如何針對(duì)人工智能系統(tǒng)的啟動(dòng)、運(yùn)行、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)交互過(guò)程進(jìn)行安全防護(hù)；第3章從無(wú)人駕駛安全和多無(wú)人系統(tǒng)協(xié)同兩方面介紹了無(wú)人系統(tǒng)中的人工智能安全；第4章介紹了基于類腦計(jì)算的強(qiáng)人工智能及其安全，從強(qiáng)人工智能的發(fā)展階段/時(shí)間點(diǎn)預(yù)測(cè)和潛在安全問(wèn)題等方面進(jìn)行了分析，闡述了應(yīng)對(duì)強(qiáng)人工智能的安全風(fēng)險(xiǎn)對(duì)策和風(fēng)險(xiǎn)預(yù)防策略；第5章介紹了智能制造和智能城市中的人工智能應(yīng)用安全，闡述了目前的發(fā)展現(xiàn)狀、應(yīng)用場(chǎng)景等，并對(duì)存在的安全風(fēng)險(xiǎn)進(jìn)行了分析，給出了安全技術(shù)體系及重點(diǎn)產(chǎn)業(yè)與應(yīng)用發(fā)展方向；第6章介紹了人工智能技術(shù)在網(wǎng)絡(luò)安全中的應(yīng)用現(xiàn)狀與趨勢(shì)，以及人工智能應(yīng)用可能引發(fā)的安全問(wèn)題與應(yīng)對(duì)措施，引出了一系列值得深入研究的內(nèi)容；第7章對(duì)我國(guó)人工智能安全可控的產(chǎn)業(yè)生態(tài)建設(shè)現(xiàn)狀進(jìn)行了分析，總結(jié)了當(dāng)前存在的主要問(wèn)題，給出了建設(shè)自主可控的產(chǎn)業(yè)生態(tài)的實(shí)施方案；第8章介紹了和人工智能安全標(biāo)準(zhǔn)與風(fēng)險(xiǎn)評(píng)估預(yù)警有關(guān)的內(nèi)容；第9章介紹了與人工智能法律和人工智能倫理問(wèn)題有關(guān)的內(nèi)容。

本書的成書過(guò)程得到了大量專家學(xué)者的指導(dǎo)和幫助，沒(méi)有他們的貢獻(xiàn)，難以使我們向廣大讀者呈現(xiàn)此書，我們衷心感謝他們對(duì)本書做出的貢獻(xiàn)！感謝中國(guó)工程院設(shè)立針對(duì)人工智能安全和自主可控的重大項(xiàng)目，使我們有幸得以對(duì)這個(gè)問(wèn)題進(jìn)行研究并獲得一些認(rèn)識(shí)，這些成為本書內(nèi)容的基礎(chǔ)；感謝本書編委會(huì)各位專家對(duì)本書內(nèi)容的指導(dǎo)和幫助；感謝劉志勇、陳磊、隋秀峰等為本書內(nèi)容和結(jié)構(gòu)組織做出的工作；感謝劉志勇、陳磊、田沄、范毓婷等對(duì)本書統(tǒng)稿所做的工作；感謝電子工業(yè)出版社徐靜、王群等對(duì)本書編輯做出的辛勤工作和重要貢獻(xiàn)！

人工智能技術(shù)發(fā)展快速，所涉及的問(wèn)題深入而廣泛。進(jìn)行技術(shù)研發(fā)和應(yīng)用的專家、學(xué)者數(shù)量眾多，并且取得了大量的重要成果，正在呈現(xiàn)“百家爭(zhēng)鳴、百花齊放”的良好局面。不同專家、學(xué)者難免有不同的學(xué)術(shù)觀點(diǎn)、不同的學(xué)派風(fēng)格，但“殊途同歸”，大家都希望在促進(jìn)人工智能發(fā)展的同時(shí)確保人工智能的安全。限于本書編著者的知識(shí)范圍，難免以偏概全，甚至正誤雜陳。本書只求拋磚引玉，在向讀者介紹人工安全問(wèn)題的方方面面的時(shí)候，也期望讀者批評(píng)指正。

陳左寧

2022年6月