論文引用格式：

　　寧庭勇,， 熊婕,， 胡永波,。 人工智能應(yīng)用面臨的安全威脅研究[J]. 信息通信技術(shù)與政策,， 2021,47（8）：64-68.

　　人工智能應(yīng)用面臨的安全威脅研究

　　寧庭勇  熊婕  胡永波

　?。ㄔ瀑愔锹?lián)股份有限公司,，上海 200233）

　　摘要：當(dāng)前自動駕駛技術(shù),、智能助理,、人臉識別、智能工廠,、智慧城市等人工智能技術(shù)已廣泛落地,，但相關(guān)領(lǐng)域安全事件的快速增長，使得消費者和業(yè)界對人工智能網(wǎng)絡(luò)安全問題和威脅的關(guān)注度也在不斷提高,。人工智能應(yīng)用的安全與智能化應(yīng)用所帶來的紅利,，猶如一個硬幣的兩面，永遠同時存在且重要性凸顯,。通過對近年來人工智能安全的政策,、技術(shù)發(fā)展特點及人工智能應(yīng)用落地所面臨的安全威脅進行探討，提出了一套可參考的安全框架和落地實施方法,。

　　關(guān)鍵詞：人工智能,；模型安全；數(shù)據(jù)安全,；人工智能安全,；可信人工智能

　　中圖分類號：TP393.08     文獻標(biāo)識碼：A

　　引用格式：寧庭勇， 熊婕,， 胡永波,。 人工智能應(yīng)用面臨的安全威脅研究[J]. 信息通信技術(shù)與政策， 2021,47（8）：64-68.

　　doi：10.12267/j.issn.2096-5931.2021.08.010

　　0  引言

　　縱觀當(dāng)今社會,，人工智能（Artificial Intelligence,，AI）已廣泛滲透經(jīng)濟生產(chǎn)活動的各個環(huán)節(jié)。AI將催生新技術(shù),、新產(chǎn)品,、新產(chǎn)業(yè)、新業(yè)態(tài),、新模式,，實現(xiàn)社會生產(chǎn)力的整體躍升，推動社會進入智能經(jīng)濟時代,。目前,，我國大型企業(yè)基本都已在持續(xù)規(guī)劃投入實施AI項目，已有超過10%的企業(yè)將AI與其主營業(yè)務(wù)相結(jié)合,，實現(xiàn)產(chǎn)業(yè)地位的提高和經(jīng)營效益的優(yōu)化[1-2],。雖然AI技術(shù)已經(jīng)開始在眾多行業(yè)中找到落地場景,，成為助推傳統(tǒng)業(yè)務(wù)數(shù)字化轉(zhuǎn)型的重要工具，但AI技術(shù)在工程化和應(yīng)用落地過程中還面臨諸多挑戰(zhàn)[3],。例如,，產(chǎn)品能力參差不齊、缺乏行業(yè)基準和標(biāo)桿,、用戶選型存在困難,、由算法缺陷和應(yīng)用安全隱患所衍生的安全事件頻發(fā)等，這些問題制約了AI技術(shù)產(chǎn)業(yè)的深入發(fā)展,。

　　1  人工智能領(lǐng)域應(yīng)用面臨安全考驗

　　1.1  安全現(xiàn)狀

　　根據(jù)艾瑞咨詢研究院的報告[2],，過去幾年AI安全研究論文呈現(xiàn)爆炸式增長。近兩年,，全球政府,、學(xué)術(shù)界和工業(yè)界發(fā)布的AI安全性方面的研究論文多達3500 篇[2],，美國,、中國、歐盟之間的激烈競爭預(yù)計將在可信AI競賽中繼續(xù)?，F(xiàn)實中的AI安全事件正在快速增長,，尤其在汽車、生物識別,、機器人技術(shù)和互聯(lián)網(wǎng)行業(yè),。作為AI的早期采用者，最受關(guān)注的行業(yè)是互聯(lián)網(wǎng)（23%）,、網(wǎng)絡(luò)安全（17%）,、生物識別技術(shù)（16%）和自治（13%）[1-2]。AI行業(yè)對于現(xiàn)實世界的黑客攻擊還沒有做好充分的準備,，60種最常用的機器學(xué)習(xí)（ML）模型平均至少有一個安全漏洞[4],。

　　1.2  芯片、算法和數(shù)據(jù)的安全可控變得十分重要

　　隨著近5年AI滲透率在各行業(yè)的提升,，AI的局限和問題逐漸暴露,，如對抗樣本帶來的安全隱患、原理不可解釋等,。能真正落地,，并用于關(guān)鍵應(yīng)用場景的AI方案必須是安全、可控,、可理解的,，否則很難說服用戶買單，尤其是企業(yè)級,、政府級客戶,。國內(nèi)近些年在AI安全標(biāo)準方面建樹不少,。中國信息通信研究院自2018年就啟動了AI第三方評測工作[3]，針對產(chǎn)業(yè)實際問題,，建設(shè)權(quán)威的測試數(shù)據(jù)集和軟硬件環(huán)境,，牽頭完成AI評測標(biāo)準體系，其中《ITU-T F.748.11（2020）》是國際首個AI芯片評測標(biāo)準,；2018年7月,，中國電子工業(yè)標(biāo)準化技術(shù)協(xié)會發(fā)布由中國人工智能開源軟件發(fā)展聯(lián)盟起草的《T/CESA 1026-2018人工智能深度學(xué)習(xí)算法評估規(guī)范》團標(biāo)；2021年3月,，中國金融標(biāo)準化技術(shù)委員會正式發(fā)布了由中國人民銀行提出的《人工智能算法金融應(yīng)用評價規(guī)范》（JR/T 0221-2021）行標(biāo),。這些研究和標(biāo)準研究機構(gòu)正在從芯片、算法,、應(yīng)用等各個層面不斷地給與市場指導(dǎo)規(guī)范,。

　　1.3  人工智能的發(fā)展也在改變網(wǎng)絡(luò)安全的發(fā)展

　　AI技術(shù)的發(fā)展在很大程度上也改變了原有的網(wǎng)絡(luò)攻防模式，自動化攻防的出現(xiàn)更是加速了整個網(wǎng)絡(luò)空間安全領(lǐng)域的發(fā)展,。AI與安全是相輔相成的關(guān)系,，AI的應(yīng)用給網(wǎng)絡(luò)空間賦予了新的內(nèi)涵，網(wǎng)絡(luò)安全和大數(shù)據(jù)技術(shù)的進步也能讓AI在更多的領(lǐng)域得以應(yīng)用[5],。國內(nèi)主要的安全廠商如安恒信息,、深信服、360等都先后在自身的安全產(chǎn)品中加入了大數(shù)據(jù)和AI技術(shù)用以抗衡網(wǎng)絡(luò)攻防中巨量數(shù)據(jù)分析和攻擊特征識別等問題,。

　　2  人工智能應(yīng)用安全架構(gòu)

　　2.1  人工智能技術(shù)應(yīng)用所面臨的安全問題類別

　　從AI產(chǎn)業(yè)層次來看,，AI分為基礎(chǔ)能力層、感知與認知技術(shù)層,、領(lǐng)域應(yīng)用賦能層[6],。基礎(chǔ)層主要是AI的三大基本要素,，即算力,、算法和數(shù)據(jù)[7]；技術(shù)層主要是基于AI的研究方向分類,，主要分為感知類技術(shù)和認知類技術(shù),；應(yīng)用層主要為AI技術(shù)落地在各領(lǐng)域智能化場景實現(xiàn)AI賦能，具體參見圖1,。

　　圖1  人工智能產(chǎn)業(yè)發(fā)展技術(shù)層級

　　整體上看,，AI系統(tǒng)面臨以下幾個方面的安全挑戰(zhàn)：從軟件及硬件方面來看，理論上應(yīng)用,、模型,、平臺和芯片的編碼都可能存在漏洞或后門，一旦攻擊者發(fā)現(xiàn),，則能夠利用這些漏洞或后門實施高級攻擊,。從算法模型方面來看,，攻擊者同樣可能在模型中植入后門并實施高級攻擊，由于部分模型的不可解釋性,，在模型中植入的惡意后門會很難被檢測,。在模型參數(shù)層面，服務(wù)提供者往往只希望提供模型查詢服務(wù),，而不希望暴露自己訓(xùn)練的模型,，但通過多次查詢，攻擊者能夠構(gòu)建出一個相似的模型,，進而獲得模型的相關(guān)信息,，甚至可以訓(xùn)練出對抗樣本用以攻擊原有模型。同樣,，如果訓(xùn)練模型時的樣本覆蓋性不足,，會使模型魯棒性不強，當(dāng)面對惡意樣本攻擊時,，模型也會無法給出正確的判斷結(jié)果,。從數(shù)據(jù)安全方面來看，如果攻擊者能夠在訓(xùn)練階段摻入惡意數(shù)據(jù),，則會影響模型推理能力,，如果攻擊者在推理階段對要判斷的數(shù)據(jù)加入少量噪音,，就會產(chǎn)生刻意改變判斷結(jié)果的嚴重問題,。在用戶提供訓(xùn)練數(shù)據(jù)的場景下，攻擊者有可能通過反復(fù)查詢訓(xùn)練好的模型獲得用戶的隱私信息進而產(chǎn)生敏感數(shù)據(jù)泄露的問題[8],。以上這些問題有的存在于基礎(chǔ)層,，有的存在于技術(shù)層面，大部分都是在應(yīng)用層使用后暴露出來,，如近年來特斯拉自動駕駛發(fā)生的Autopilot安全事故[9],，有很大一部分都是訓(xùn)練樣本不足或現(xiàn)實環(huán)境中的對抗樣本識別出現(xiàn)偏差后造成的嚴重后果。

　　面對如上眾多而又廣泛的安全問題,，AI系統(tǒng)部署到業(yè)務(wù)場景時需要在三個層次實施防御和安全增強,。一是注意對已知攻擊進行有針對性地防御；二是通過各種措施提升模型健壯性,；三是使用數(shù)據(jù)安全技術(shù)保證數(shù)據(jù)的安全和隱私保密,；最后，就是在模型部署的業(yè)務(wù)中設(shè)計各種安全機制保證架構(gòu)的安全,。參考AI應(yīng)用架構(gòu),，其主要分為模型訓(xùn)練環(huán)境和生產(chǎn)環(huán)境兩個部分，一般情況下兩個環(huán)境是相對隔離并運行在不同的物理或云環(huán)境中（見圖2）,。

　　圖2  人工智能應(yīng)用架構(gòu)

　　2.2  人工智能訓(xùn)練環(huán)境中的安全威脅

　　在訓(xùn)練環(huán)境中,，樣本數(shù)據(jù)準備環(huán)節(jié)要防范數(shù)據(jù)投毒攻擊以造成模型傾斜,，為模型提供可解釋性樣本數(shù)據(jù)的同時要注意反饋機制規(guī)避虛假數(shù)據(jù)導(dǎo)入，并要保證系統(tǒng)的數(shù)據(jù)自洽性,；在模型訓(xùn)練環(huán)節(jié),，要防止閃避和后門攻擊，同時在模型設(shè)計方面要保證模型的可驗證性及樣本數(shù)據(jù)足夠完整,，并要充分考慮數(shù)據(jù)噪聲,，訓(xùn)練出足夠健壯的模型；訓(xùn)練出的推理模型要針對模型竊取攻擊進行測試和驗證,，并對模型的可解釋性進行充分的分析,，同時針對應(yīng)用場景需求，可以設(shè)計多個模型進行適配,。

　　2.3  人工智能推理環(huán)境中的安全威脅

　　在生產(chǎn)環(huán)境中,，數(shù)據(jù)采集環(huán)節(jié)要防止數(shù)據(jù)過度采集，對個人屬性的生物特征,，如人臉,、指紋、聲音等信息要適度進行脫敏或轉(zhuǎn)換后再進行利用,，在數(shù)據(jù)傳輸和應(yīng)用環(huán)節(jié)可適當(dāng)采用數(shù)據(jù)加密技術(shù)和訪問控制手段進行保護,；在業(yè)務(wù)系統(tǒng)模型管理方面，要有專門的模型倉庫管理和監(jiān)控機制,，要保障模型的安全訪問和使用情況審計,，對每個不同的模型實例都要有詳細的訪問控制和調(diào)用的日志管理；在最終的業(yè)務(wù)邏輯中,，在滿足業(yè)務(wù)穩(wěn)定運行的條件約束下,，系統(tǒng)需要分析識別最佳方案并發(fā)送至控制系統(tǒng)進行驗證并實施。通常業(yè)務(wù)安全架構(gòu)要對各個功能模塊進行隔離,，并設(shè)置對模塊之間的訪問控制機制,，以減少攻擊程序針對推理程序的攻擊面。在業(yè)務(wù)系統(tǒng)中,，使用持續(xù)監(jiān)控和攻擊檢測程序,，用以綜合分析系統(tǒng)安全狀態(tài)，給出當(dāng)前威脅風(fēng)險級別,。當(dāng)威脅風(fēng)險較大時,，綜合決策可以不采納自動系統(tǒng)的建議，將最終控制權(quán)交回界面,，通過人員判斷保證在遭受可疑攻擊情況下的可控性,。在業(yè)務(wù)系統(tǒng)進行關(guān)鍵操作時，業(yè)務(wù)程序要對AI推理給出的分析結(jié)果進行確定性分析,，當(dāng)確定性低于閾值時交回界面人工處理,。在業(yè)務(wù)模型可選的情況下,，可以搭建業(yè)務(wù)“多模型架構(gòu)”，通過對關(guān)鍵業(yè)務(wù)部署多個AI模型,，避免單個模型出現(xiàn)異常時不影響業(yè)務(wù)最終決策,，從而提升整個系統(tǒng)的強壯性。

　　3  人工智能應(yīng)用安全生命周期

　　為了應(yīng)對AI應(yīng)用所面對的各種威脅,，筆者建議使用AI安全生命周期框架來啟動AI應(yīng)用安全計劃（見圖3）,。

　　圖3  人工智能應(yīng)用安全生命周期

　　在AI應(yīng)用安全生命周期中，4個區(qū)域代表了AI系統(tǒng)從開始規(guī)劃設(shè)計到部署應(yīng)用成熟使用的各個階段,，并不斷循環(huán)進行持續(xù)改進,。這些步驟從基本到復(fù)雜依次進行，后面的步驟依賴于前面的結(jié)果,。AI生命周期參考了NIST網(wǎng)絡(luò)安全框架和Gartner的自適應(yīng)安全架構(gòu)（網(wǎng)絡(luò)安全生命周期管理的流行參考框架）,。

　　3.1  識別階段

　　該階段的目標(biāo)是通過資產(chǎn)管理、威脅建模和風(fēng)險評估活動了解當(dāng)前人工智能安全態(tài)勢,。其行動為：通過資產(chǎn)管理,，識別和記錄所有使用的人工智能模型、數(shù)據(jù)集,、云平臺和供應(yīng)商,；通過威脅建模，了解破壞模型,、數(shù)據(jù)集,、環(huán)境和供應(yīng)鏈的風(fēng)險；通過風(fēng)險評估,，執(zhí)行安全審計并確定模型,、數(shù)據(jù)集和其環(huán)境中的漏洞優(yōu)先級。

　　3.2  保護階段

　　該階段的目標(biāo)是實施保護性控制,，如安全意識、系統(tǒng)強化和安全人工智能開發(fā)實踐,。其行動為：通過建立安全意識,，從管理、產(chǎn)品安全和人工智能開發(fā)等各方面對利益相關(guān)者進行安全風(fēng)險教育,；使用模型強化措施,，對模型的攻擊應(yīng)用進行安全防御，確保安全輸入,，防止數(shù)據(jù)外泄,；通過安全開發(fā)，完善應(yīng)用程序安全的常規(guī)流程,，涵蓋從開發(fā)到落地的整個過程,。

　　3.3  檢測階段

　　該階段的目標(biāo)是通過定期滲透測試,，驗證安全監(jiān)控和威脅檢測系統(tǒng)抵御主動攻擊。其行動為：通過安全監(jiān)控,，收集和分析來自業(yè)務(wù)系統(tǒng)中推理業(yè)務(wù)的事件和異常,，如訪問、錯誤和度量問題,；通過威脅檢測,，檢測并阻止針對業(yè)務(wù)系統(tǒng)機密性、完整性和可用性的對抗性攻擊[10],；通過滲透測試,，進行紅藍對抗演習(xí)，以評估系統(tǒng)的穩(wěn)健性,，并檢查檢測和響應(yīng)控制機制是否可靠,。

　　3.4  響應(yīng)階段

　　該階段的目標(biāo)是通過引入調(diào)查、遏制實踐,、緩解工具,、技術(shù)和程序，為人工智能安全事件做好準備,。其行動為：通過特征提取,，建立人工智能安全事件分類、影響分析和技術(shù)調(diào)查的專業(yè)知識,；通過事故響應(yīng),，制定事故控制和與利益相關(guān)者溝通的行動指導(dǎo)手冊；通過建立應(yīng)急預(yù)案,，改善技術(shù)控制和組織政策,，以減少重復(fù)發(fā)生人工智能安全事件的機會。

　　4  結(jié)束語

　　綜上所述,，人工智能應(yīng)用的大規(guī)模普及和發(fā)展需要很強的安全性保證,。本文主要從當(dāng)前人工智能應(yīng)用所面臨的主要安全威脅進行分類描述，對人工智能應(yīng)用落地的訓(xùn)練和推理環(huán)境所面臨的三大安全威脅進行了剖析,。最后,，結(jié)合安全領(lǐng)域的現(xiàn)有經(jīng)驗，提出了人工智能應(yīng)用安全生命周期的階段和具體方法論,，供業(yè)內(nèi)實施人工智能應(yīng)用時予以參考,。

　　參考文獻

　　[1] Adversa. 人工智能面臨十大安全威脅[EB/OL]. （2021-04-27）[2021-05-10]. https://zhuanlan.51cto.com/art/202104/659922.htm.

　　[2] 艾瑞咨詢研究院。 2020年中國人工智能產(chǎn)業(yè)研究報告[EB/OL]. 2020[2021-05-10]. http://report.iresearch.cn/report_pdf.aspx?id=3707.

　　[3] 中國信息通信研究院,。 中國信通院2021年首批“可信AI評測”正式啟動,，即可報名！[EB/OL]. （2021-02-08）[2021-05-10]. https://www.sohu.com/a/449513509_735021.

　　[4] Adversa. The road to secure and trusted AI[EB/OL]. （2020-09-01）[2021-05-10]. https://adversa.ai/reportsecure-and-trusted-ai/.

　　[5] 陳映村。 淺談人工智能在計算機網(wǎng)絡(luò)領(lǐng)域的應(yīng)用[J].數(shù)碼世界,， 2017（11）：186.

　　[6] 秦健,， 劉鑫。 人工智能專利技術(shù)市場運營的風(fēng)險與應(yīng)對[J]. 電子知識產(chǎn)權(quán),， 2019（2）：66-71.

　　[7] 胡文穎,。 回顧人工智能以史為鏡， 正視未來[J]. 通信世界,， 2018（20）：30-31.

　　[8] 華為技術(shù)有限公司,。 華為AI安全白皮書[R], 2018.

　　[9] 雷鋒網(wǎng)。 特斯拉Autopilot 系列事故最詳細梳理|系列之一[EB/OL]. （ 2017-03-31）[2021-05-10]. http://www.sohu.com/a/131377916_114877.

　　[10] 方濱興,， 時金橋,， 王忠儒， 等,。 人工智能賦能網(wǎng)絡(luò)攻擊的安全威脅及應(yīng)對策略[J]. 中國工程科學(xué),， 2021,23（3）：60-66.

　　Research on security threats of AI application landing

　　NING Tingyong, XIONG Jie, HU Yongbo

　　（Inesa Intelligent Tech Inc., Shanghai 200233, China）

　　Abstract: With the rapid popularization of automatic driving technology, intelligent assistant, face recognition, intelligent factory, smart city and other AI Artificial intelligence technologies and the rapid growth of related security incidents, consumers and the industry are paying more and more attention to AI network security issues and threats. The security of artificial intelligence applications and the dividends brought by intelligent applications, like two sides of a coin, always exist at the same time and the importance is highlighted. This paper discusses the development process of AI security in recent years and the security threats faced by AI application landing, and puts forward a set of reference security framework and landing implementation methods.

　　Keywords: artificial intelligence; model security; data security; artificial intelligence security; trusted artificial intelligence