1.1.3 人工智能帶來的安全問題

技術是一把“雙刃劍”，人工智能技術也不例外，在造福人類及給人們的生活帶來便利的同時，也會產生一些安全方面的問題[13]。

1.在社會安全方面

人工智能帶來的主要社會安全風險涉及國家安全、社會治安、產業和職業結構變化及就業等方面，可能對社會的局部乃至整體穩定形成新的挑戰，并容易使人民群眾對這些伴生風險的質疑上升到技術本身，制約相關高技術產業的發展。

美國 DARPA 于2017年7月發布的《人工智能與國家安全》認為，人工智能將會是國家安全領域的顛覆性力量，未來的人工智能技術有可能與核武器、飛機、計算機和生物技術一樣，成為給國家安全帶來深刻變化的顛覆性技術。《人工智能與國家安全》還強調，人工智能通過變革軍事優勢、信息優勢和經濟優勢影響國家安全。2019年8月，亨利·基辛格等人在《大西洋月刊》上發表文章《蛻變》，其中提到，人工智能在未來存在令人擔憂的影響，包括：由于人類把越來越多探求知識的工作交給人工智能而導致好奇心下降；不真實的新聞和視頻導致信任減少；人工智能為恐怖主義提供了新的可能性；由于人工智能的操縱，導致民主制度被削弱；或許還會因自動化而減少人類的工作機會等。

人工智能給產業、職業結構變化及就業帶來的風險，源于人工智能（特別是智能機器人）對第一、第二產業崗位的替代，這會導致大量體力勞動者和簡單腦力勞動者的結構性失業、轉業，增加人民群眾的生活壓力和政府的行政壓力。2017年，美國蘭德公司在關于人工智能安全的一篇報告《人工智能對安全及未來就業的風險》中指出，由于人工智能越來越多地替代人力完成任務，如車輛駕駛、醫療診斷及新聞報道撰寫等，預計未來20年，人工智能會對就業問題造成較大的影響。Forrester Research 預測，人工智能技術將在2025年之前取代美國7%的工作崗位，其中16%的美國工人將被人工智能系統取代。在新的社會分工模式建立之前，人工智能對就業的沖擊可能引發社會安全風險。《未來簡史》作者尤瓦爾·赫拉利于2017年7月預測，未來二三十年內超過50%的工作會被人工智能取代，人工智能的產業化推進將使部分現有就業崗位減少甚至消失，導致結構性失業[1]。

2.在經濟安全方面

人工智能會給實體經濟安全帶來一定的風險。在實體經濟中，人工智能技術將逐步滲透到更多行業和環節中，推動經濟、社會各領域從數字化、網絡化向智能化加速躍升，人工智能產業將逐步成為實體經濟中不可或缺的支柱產業和經濟發展的重要驅動力，關乎國家經濟安全命脈，一旦人工智能的某個環節受制于人，國家經濟安全將受到沖擊。盡管當前國產化替代加速，但自主可控領域依舊存在較大的成長空間，我國核心算法、芯片及基礎元器件的掌握與國外還存在一定的差距，缺乏重大原創科技成果。人工智能硬件領域仍缺乏頂尖級創新型資深人才。“中興事件”表明，只有把關鍵核心技術掌握在自己手中，才能夠擺脫受制于人的局面。在高成本的精密工業和大型工業中，如果基于人工智能的模型泛化能力差，算法不完善，數據不精確，對抗能力不足，或某一環留有“后門”，使人工智能平臺發生誤判，則可能造成較大的經濟損失。

同時，人工智能也會給貨幣金融安全帶來一定的風險，主要體現在身份認證安全性風險、信用評估可靠性風險和基于人工智能的新型國家金融威脅等方面。第一，由于生成對抗神經網絡技術的飛速發展，人工智能輔助的身份驗證可能存在欺騙，同時，“換臉”和“換聲”等技術也給貨幣金融系統的遠程安全身份認證帶來了新的難題。第二，在人工智能信用評估中，如果人工智能評估算法不完善，模型泛化能力不足，則可能產生一定規模的金融風險，并且不容易在初期發現。在基礎技術研究和領先性上，我國和技術先進國家也存在差距。從業務形態來看，在金融風險評測及基于對抗學習的識別技術、抗干擾技術等方面，我國基本上還是參照國外的算法模型，向技術先進國家學習、遷移的情形居多。第三，人工智能金融決策模型發展到一定階段后，將可能具備“索羅斯式”的沖擊力，要對未來基于人工智能的“資本怪獸”保持充分的警惕，防范其對貨幣金融體系的入侵，確保能夠在技術和非技術手段上予以反制。

3.在基礎設施、網絡安全及設計研發方面

在“新基建”（新型基礎設施建設）的推動下，人工智能技術將加快融入生活中的基礎設施，向社會全行業、全領域賦能。然而，人工智能基礎設施潛藏安全風險。以機器學習開源框架平臺和預訓練模型庫為代表的算法基礎設施，因開發者蓄意破壞或代碼實現不完善而面臨算法后門嵌入、代碼安全漏洞等風險。2020年9月，安全廠商“360”（北京奇虎科技有限公司）公開披露谷歌開源框架平臺TensorFlow存在24個安全漏洞。開源數據集及提供數據采集、清洗、標注等服務的人工智能基礎數據設施面臨訓練數據不均勻、訓練數據投毒、訓練數據泄露等安全風險。2020年，美國麻省理工學院的研究人員通過實驗證實CIFAR-100-LT、ImageNet-LT、SVHN-LT等被廣泛應用的數據集存在嚴重的不均衡問題[11]。

網絡和大數據的發展推動了人工智能的進步，網絡攻擊智能化趨勢也給網絡安全保護提出了更高的要求。有關人工智能與網絡安全關系的研究表明，一旦人工智能被運用到網絡攻擊活動中，將使網絡攻擊活動更加難以預警和防范，關鍵信息基礎設施也將面臨新的安全風險。例如，將人工智能技術運用到木馬病毒的制作傳播中，將會出現難以防御的超級病毒木馬，傳統應對方法將無法控制這些惡意程序傳播擴散的速度。

人工智能的技術研發與應用也存在一些具有不確定性的安全風險。聯邦學習、遷移學習等人工智能新技術的應用，使跨機構的人工智能研發協作進一步增多。由于遵循了不同的規范，因此，人工智能設計研發階段的安全風險更加復雜且難以檢測發現。一是人工智能算法自身存在技術脆弱性。當前，人工智能尚處于依托海量數據驅動知識學習的階段，以深度神經網絡為代表的人工智能算法仍存在弱魯棒性、不可解釋性、偏見歧視等尚未突破的技術局限。二是人工智能新型安全攻擊不斷涌現。近年來，對抗樣本攻擊、算法后門攻擊、模型竊取攻擊、模型反饋誤導、數據逆向還原、成員推理攻擊等破壞人工智能算法和數據機密性、完整性、可用性的新型安全攻擊快速涌現，人工智能安全性受到全球學術界和工業界廣泛關注。三是因算法設計實施有誤而產生非預期結果。人工智能算法的設計和實現有可能無法完成設計者的預設目標，導致產生偏離預期的不可控行為。例如，設計者為算法定義了錯誤的目標函數，導致算法在執行任務時對周圍環境造成了不良影響[11]。

4.在軍事安全方面

直接利用人工智能的強大能力來賦能安全，以提高對敵攻擊的水平，這本身就會給人類帶來危險，而且這種賦能攻擊的方式是蓄意的，會給軍事安全帶來重大影響。

作為軍事大國，美國的人工智能軍事作戰賦能的目標非常清晰，強力推動其頂尖人工智能研究實現新的技術突破，促進科學新成果的發現，增強經濟競爭力，鞏固國家安全。2019年3月，美國參議院軍事委員會舉行主題為國防部人工智能計劃的聽證會，美國國防部高級研究計劃局（DARPA）、國防創新小組（DIU）、國防部聯合人工智能中心（JAIC）等機構主管分別介紹所在部門的人工智能項目及運行機制等，鞏固并強化了人工智能技術及應用與軍方之間的聯系，推動美國的人工智能軍用化步伐進一步加快。以 DARPA 為例，DARPA 正將投資和研發重點轉向第三代人工智能技術，致力于創建能在特定語境下進行推理的機器。資助的主要項目包括終身學習機器（L2M，于2017年啟動）、可解釋人工智能（XAI，于2018年啟動）和機器常識（MCS，于2018年啟動）等，目的是探索提高人工智能技術水平的方法，實現語境推理能力。DARPA 認為，將這些技術集成到與軍事作戰人員合作的軍事系統中，將有助于在對空間敏感的復雜戰場環境中做出及時決策，分析不完整或者相互矛盾的海量信息，并使用無人系統安全自主地執行關鍵任務[14]。

在當前的俄烏沖突中，俄烏雙方均較大規模地使用了以無人機為主的無人裝備，以實施戰場情報偵察和目標打擊任務：烏軍使用土耳其制造的“旗手”TB-2摧毀俄方防空系統與裝甲部隊，俄軍使用“前哨-R”察打一體無人機摧毀烏方多管火箭炮系統。此外，有分析認為，烏軍無人機通過綜合識別俄方將領并進行打擊，造成多位俄方高級將領陣亡。無人裝備依托自身傳感裝備獲取戰場情報，憑借搭載的通信系統實現戰場態勢信息的實時傳輸，并接受指控平臺的打擊命令，實現偵、控、打、評的信息閉環，未來無人/反無人裝備在現代戰爭中的應用范圍會越來越廣。同時，在網絡空間戰場中，雙方通過深度學習、多語言模型、人臉識別等人工智能手段進行“輿論戰”，開展認知域的對抗，瓦解敵方斗志，增強己方信心[15]。