根據(jù) MarketsandMarkets 公司 2018 年發(fā)布的《安全市場中人工智能》報告，全球人工智能賦能安全市場規(guī)模在 2017 年已達(dá) 39.2 億美元,，預(yù)計 2025 年將達(dá)到 348.1 億美元,，平均每年增長率超過 30%,。人工智能（AI）在網(wǎng)絡(luò)安全、內(nèi)容安全、數(shù)據(jù)安全、業(yè)務(wù)安全,、終端安全等細(xì)分領(lǐng)域，給安全行業(yè)帶來了新思路新方法,，同時,，也在對抗樣本、深度偽造等方面給安全行業(yè)帶來了新的挑戰(zhàn),。

　　一,、AI 帶來的安全應(yīng)用場景

　　1. 內(nèi)容安全

　　隨著 5G 和移動互聯(lián)網(wǎng)相關(guān)技術(shù)和產(chǎn)品的日漸成熟，互聯(lián)網(wǎng)內(nèi)容正在以更多載體形式和更快生產(chǎn)速度滲透到人民日常生活的方方面面,，對于涉黃,、涉暴,、涉恐,、圖文違規(guī)等內(nèi)容的識別、審核和攔截成為各大內(nèi)容生產(chǎn)和交流平臺的必備社會責(zé)任,。2021 年,，全國“掃黃打非”辦公室開展“新風(fēng) 2021”集中行動，從 3 月到 11 月,，幾近貫穿2021 整年,。從內(nèi)容安全風(fēng)險角度，行動涵蓋音視頻,、直播,、社區(qū)、新聞門戶,、游戲,、網(wǎng)絡(luò)文學(xué)、自媒體,、電商等全品類互聯(lián)網(wǎng)平臺,。監(jiān)管層面對平臺方的高要求和強(qiáng)管控力度可見一斑。

　　在有害文本內(nèi)容的檢測上,，核心難點就是提升模型的準(zhǔn)召率（Precision and Recall）以及如何應(yīng)對語言的變種（互聯(lián)網(wǎng)黑話）,。傳統(tǒng)的文本分類方法可稱作淺層學(xué)習(xí)模型，通常需要通過人工方法獲得良好的樣本特征,，然后使用經(jīng)典的分類算法進(jìn)行識別,，此類方法的有效性在很大程度上受到特征提取的限制,。但得益于深度學(xué)習(xí)在近年的蓬勃發(fā)展，深度學(xué)習(xí)能夠通過神經(jīng)網(wǎng)絡(luò)模擬人腦,，以自動從數(shù)據(jù)中學(xué)習(xí)高階特征并進(jìn)行分類,，例如單詞依賴關(guān)系、文本結(jié)構(gòu)以及文本中的關(guān)鍵短語,，然后,，將特征工程集成到模型擬合過程中，往往能夠獲得更優(yōu)的效果,，例如 Word2Vec 和 TextCNN模型,。

　　在基于深度學(xué)習(xí)的文本分類模型里，不得不提的是 BERT 模型,。BERT 由谷歌在 2018 年提出,，當(dāng)年首次將 GLUE 基準(zhǔn)（用于評估通用自然語言處理模型的基準(zhǔn)）推至 80.4％，是 NLP（自然語言處理）歷史上里程碑式的改變,。BERT 是第一個無監(jiān)督的,、基于雙向深度神經(jīng)網(wǎng)絡(luò)的自然語言預(yù)處理模型，它可以在一個大型文本語料庫（例如維基百科）上訓(xùn)練一個通用的語言表示模型,，充分利用上下文信息,，然后將該模型用于下游自然語言處理任務(wù)（如智能問答和文本分類）進(jìn)行精調(diào)。也是從 BERT 開始,，“預(yù)訓(xùn)練模型+精調(diào)”的方式被工業(yè)界廣泛應(yīng)用,，同時也出現(xiàn)了大量改進(jìn)的預(yù)訓(xùn)練模型，例如 XLNe,、RoBERTa 和 ALBERT 等,，至 2021 年，最新的 GLUE 基準(zhǔn)已推進(jìn)至 90.6%,。

　　然而,，內(nèi)容安全問題往往不能僅靠深度模型來解決，地下黑產(chǎn)從業(yè)者和惡意用戶往往會通過創(chuàng)造新詞和同音/同義詞替換等對抗方法來達(dá)到逃避檢測的效果,。2017 年,，安全研究團(tuán)隊首次用自動化的方法大規(guī)模提取并理解不斷演化的黑話。通過分析黑帽搜索引擎優(yōu)化產(chǎn)業(yè)所推廣的網(wǎng)頁,，從中提取候選詞,，利用現(xiàn)有搜索引擎對惡意頁面的識別功能判斷是否為黑話。然后,，利用搜索引擎匯聚用戶的搜索行為而提供的相關(guān)搜索功能,，擴(kuò)展這些黑話，最后形成黑話檢測與擴(kuò)展系統(tǒng) KDES模型。2020 年,，研究團(tuán)隊提出了 TextShield 框架,，引入對抗學(xué)習(xí)、機(jī)器翻譯和多模態(tài)嵌入/融合來解決分類模型在內(nèi)容安全領(lǐng)域的魯棒性問題,。研究人員將每個文本輸入一個機(jī)器模型,，該模型使用大量的對抗性文本和良性文本進(jìn)行對抗性訓(xùn)練修正。然后,，將修正后的文本輸入到深度學(xué)習(xí)分類模型中進(jìn)行多模態(tài)嵌入,，提取語義級、字形級和語音級特征,。最后,，使用多模態(tài)融合特征來進(jìn)行分類。

　　2. 入侵檢測

　　入侵檢測和AI/機(jī)器學(xué)習(xí)的結(jié)合已經(jīng)不是什么新鮮的話題,。深度學(xué)習(xí)從 2010 年開始崛起,，有幾個關(guān)鍵的時間節(jié)點：2010 年，ImageNet 大規(guī)模視覺識別挑戰(zhàn)（ILSVRC）開始舉辦,；2013 年和2014 年,， NLP 問題開始引入神經(jīng)網(wǎng)絡(luò)模型；2017年 Transformer 的提出和 2018 年 BERT 的提出,，使安全研究員們第一時間想到如何把 AI 和網(wǎng)絡(luò)安全/入侵檢測相結(jié)合,，相關(guān)關(guān)鍵詞的搜索熱度也隨之升高。尤其是在 BERT 這種能夠從無監(jiān)督學(xué)習(xí)中學(xué)習(xí)到更多語義知識的方法出現(xiàn)后,，AI 與安全結(jié)合的關(guān)注度更為持續(xù),。

　　從 2010 年開始，AI 和大數(shù)據(jù)等概念就開始刺激著安全行業(yè),，甚至有不少文章表示 AI 是安全行業(yè)的最后的希望。但實踐發(fā)現(xiàn),，AI 并不是安全的“銀彈”,，原因有很多。機(jī)器學(xué)習(xí)擅長檢測正常模式的行為,，而入侵是一種偏離正常模式的行為,，且并不是所有環(huán)境里的正常行為都是穩(wěn)定而相似的；同時,，威脅檢測是一個開放式的問題,，損失函數(shù)很難明晰定義。當(dāng)人們對 AI 在安全中應(yīng)用的期望回歸理性的時候,，就會發(fā)現(xiàn),，對入侵檢測而言，AI 并不具備全場景的適用性，而是作為一個實用工具,，在特定場景下替代規(guī)則檢測或者在海量數(shù)據(jù)下歸納特征和排除噪音,，提升安全運(yùn)營的投資回報率。

　　AI 在入侵檢測領(lǐng)域的一個成功應(yīng)用就是加密流量檢測,，通過機(jī)器學(xué)習(xí)模型來代替?zhèn)鹘y(tǒng)的規(guī)則檢測,。根據(jù)思科公司的數(shù)據(jù)，2020 年,，70% 的惡意軟件都會采用加密流量,，同時 60% 的企業(yè)都不能成功解密 HTTPS 流量，導(dǎo)致威脅難以發(fā)現(xiàn),。思科在 2016 年提到,，通過構(gòu)建加密流量特征集，其中包括通用流統(tǒng)計特征集（22 維）和由安全專家開發(fā)的更具表達(dá)性的特征集（319 維）,，例如分組數(shù)據(jù)包長度,、數(shù)據(jù)包長度形成的轉(zhuǎn)移矩陣，以及TLS 握手元數(shù)據(jù)相關(guān)維度,，使用多種分類器在不同的時段和不同的企業(yè)網(wǎng)絡(luò)中驗證其有效性,。同時，思科還開源了他們的網(wǎng)絡(luò)流量特征提取工具 Joy 供研究者使用,。

　　2019 年,，安全研究團(tuán)隊提出了基于注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)在 Web 攻擊檢測中的應(yīng)用，稱之為 Locate-Then-Detect（LTD）,。LTD 模 型結(jié)合了目標(biāo)檢測和注意力機(jī)制的思想,，創(chuàng)造性地提出了攻擊載荷靶向定位網(wǎng)絡(luò)（Payload LocatingNetwork，PLN）與攻擊載荷分類網(wǎng)絡(luò)（PayloadClassification Network,，PCN）,，通過兩個深度神經(jīng)網(wǎng)絡(luò)的結(jié)合，可以準(zhǔn)確地定位惡意攻擊所在的位置,，并對其類型進(jìn)行精準(zhǔn)識別,。PLN 用來定位攻擊向量的可疑位置，PCN 再對識別出的可疑向量進(jìn)行分類,，通過靶位識別網(wǎng)絡(luò)的提取能力,，能夠使得檢測系統(tǒng)更加關(guān)注真正有害的攻擊，從而規(guī)避掉整個請求內(nèi)容中正常部分對模型預(yù)測結(jié)果的影響,。LTD 首次解決了深度學(xué)習(xí)在 Web 攻擊檢測領(lǐng)域的結(jié)果可解釋性問題,，同時在與其他傳統(tǒng)方式的對比中，LTD 也表現(xiàn)出超出了基于規(guī)則,、符號特征和傳統(tǒng)機(jī)器學(xué)習(xí)方法的效果,。

　　3. 欺詐檢測

　　欺詐檢測是電子商務(wù)平臺中的一項關(guān)鍵技術(shù),，早期的研究主要集中在基于規(guī)則的專家系統(tǒng)。這些欺詐場景包括信用卡欺詐,、電話欺詐,、保險欺詐等。隨著欺詐模式的迅速演變,，當(dāng)前規(guī)則或?qū)＜抑R不足以滿足當(dāng)今實時檢測欺詐行為的需求,，因此一些研究人員嘗試使用基于機(jī)器學(xué)習(xí)的方法以檢測欺詐。之前的研究者專注于卷積神經(jīng)網(wǎng)絡(luò)（CNN）,、 遞 歸 神 經(jīng) 網(wǎng) 絡(luò)（RNN） 用 于 基 于 序列的欺詐檢測,。后來也有研究者利用圖神經(jīng)網(wǎng)絡(luò)（GNN）發(fā)現(xiàn)欺詐。然而,，這些方法中的大多數(shù)都面臨著同樣的問題：缺少可解釋性,，這對于欺詐檢測任務(wù)至關(guān)重要。安全研究人員提出,，通過構(gòu)建行為序列深度學(xué)習(xí)模型來解決交易風(fēng)險評估的問題,。它不僅能從雙重視角更有效地利用事件間的內(nèi)部信息，同時也對預(yù)測結(jié)果進(jìn)行了深入的解釋,。

　　基于行為時序信息的深度學(xué)習(xí)模型在智能風(fēng)控場景中的應(yīng)用變得越來越廣泛,，傳統(tǒng)的建模方案大多基于單一的串聯(lián)維度構(gòu)建時序信息。隨著風(fēng)險對抗的加強(qiáng),，單一維度的時序刻畫在風(fēng)險識別覆蓋上已經(jīng)遇到了一定的瓶頸,。研究人員通過雙維度時序建模框架（Dual ImportanceawareFactorization Machines,，DIFM）,，增加行為內(nèi)屬性時序信息刻畫模塊來提升模型的識別性能。在卡支付風(fēng)險交易的識別能力上,，DIFM 相較傳統(tǒng)方案 有 4% 到 6% 的提升,。同時，由于 Attention 機(jī)制的引入,，DIFM 可以同時輸出和風(fēng)險強(qiáng)關(guān)聯(lián)的維度屬性,，在模型可解釋性上也有很大提升。

　　二,、AI 自身安全風(fēng)險所帶來的挑戰(zhàn)

　　AI 系統(tǒng)作為一個非常復(fù)雜的軟件系統(tǒng)，同樣會面對各種黑客攻擊,。黑客通過攻擊 AI 系統(tǒng),，也可以威脅到財產(chǎn)安全、個人隱私,、交通安全和公共安全,。在深度偽造,、對抗樣本等方面，AI 給安全行業(yè)帶來了新的挑戰(zhàn),。針對 AI 系統(tǒng)的攻擊,，通常包括以下幾種。

　　1. 模型竊取

　　各大公司通過高薪聘請 AI 專家設(shè)計模型,，花費(fèi)大量資金人力搜集訓(xùn)練數(shù)據(jù),，又花費(fèi)大量資金購買設(shè)備用于訓(xùn)練模型，最后得到深度學(xué)習(xí)模型,。深度學(xué)習(xí)模型最終形式是從幾百字節(jié)到幾百兆字節(jié)大小不等的一個模型文件,。

　　深度學(xué)習(xí)模型對外提供服務(wù)的形式主要分為云模式的應(yīng)用程序編程接口（API），或者是以私有形式部署到用戶的移動設(shè)備或數(shù)據(jù)中心的服務(wù)器上,。針對云模式的 API,，黑客通過一定的遍歷算法，在調(diào)用云模式的 API 后,，可以在本地還原出一個與原始模型功能相同或者類似的模型,。針對私有部署到用戶的移動設(shè)備或數(shù)據(jù)中心的服務(wù)器上的模型，黑客通過逆向等傳統(tǒng)安全技術(shù),，可以把模型文件直接還原出來使用,。

　　2. 數(shù)據(jù)投毒

　　針對深度學(xué)習(xí)的數(shù)據(jù)投毒主要指給深度學(xué)習(xí)的訓(xùn)練樣本中加入異常數(shù)據(jù)，導(dǎo)致模型在某些條件下會產(chǎn)生分類錯誤,。

　　早期的數(shù)據(jù)投毒都發(fā)生在實驗室環(huán)境,，其實驗假設(shè)是可以通過在離線訓(xùn)練數(shù)據(jù)中添加精心構(gòu)造的異常數(shù)據(jù)從而產(chǎn)生攻擊。這一攻擊方式需要攻擊者能接觸到模型的訓(xùn)練數(shù)據(jù),，而在實際環(huán)境中,，絕大多數(shù)情況都是在公司里的離線數(shù)據(jù)中訓(xùn)練好模型再打包對外發(fā)布服務(wù)，攻擊者難以接觸到訓(xùn)練數(shù)據(jù),，攻擊難以發(fā)生,。于是，攻擊者把重點放到了在線學(xué)習(xí)的場景,，即模型利用在線的數(shù)據(jù),，幾乎是實時學(xué)習(xí)，比較典型的場景就是推薦系統(tǒng),。推薦系統(tǒng)會結(jié)合用戶的歷史數(shù)據(jù)以及實時的訪問數(shù)據(jù),，共同進(jìn)行學(xué)習(xí)和判斷，最終得到推薦結(jié)果,。黑客正是利用這一可以接觸到訓(xùn)練數(shù)據(jù)的機(jī)會,，通過一定的算法策略，發(fā)起訪問行為,，從而導(dǎo)致推薦系統(tǒng)產(chǎn)生錯誤,。

　　3. 對抗樣本

　　對抗樣本由谷歌的科學(xué)家 Christian Szegedy等人提出,，是指在數(shù)據(jù)集中通過故意添加細(xì)微的干擾所形成的輸入樣本，導(dǎo)致模型以高置信度給出一個錯誤的輸出,。

　　簡單來講,，對抗樣本通過在原始數(shù)據(jù)上疊加精心構(gòu)造的人類難以察覺的擾動，使深度學(xué)習(xí)模型產(chǎn)生分類錯誤,。以圖片分類模型為例,，通過在原始圖片上疊加擾動，對肉眼來說,，擾動非常細(xì)微,，圖片看起來還是原來的樣子，但是對于圖像分類模型而言,，卻會以很大的概率識別為另一種圖像,。

　　對抗樣本是 AI 安全研究的一個熱點，最新的攻擊算法和加固方法層出不窮,。與此同時,，攻擊場景從實驗室中的簡單圖像分類，迅速擴(kuò)展到智能音箱,、無人駕駛等領(lǐng)域,。在 BlackHat Europe2018 上，Zhenyu Zhong 和 Yunhan Jia 的《感知欺騙：基于深度神經(jīng)網(wǎng)絡(luò)（DNN）下物理性對抗攻擊與策略》展現(xiàn)了如何讓物體在深度學(xué)習(xí)系統(tǒng)的“眼睛”中憑空消失,。例如用擾動后的圖片,，讓深度學(xué)習(xí)系統(tǒng) YOLOv3 模型無法正確辨識目標(biāo)車輛。這是首次針對車輛的物理攻擊的成功展示,，從攻擊目標(biāo)的大小,、分辨率的高低和物理環(huán)境對攻擊效果的影響和難度來說，和以往的學(xué)術(shù)文章所針對交通標(biāo)識的攻擊相比是一個新的提升,。

　　安全研究人員 Takami Sato 等揭示了如何通過在路面上鋪設(shè)印有對抗樣本的貼紙,，攻擊無人車的車道保持系統(tǒng)（Lane Keeping System），讓無人車偏離正常行駛路線,。

　　圖 在路面上鋪設(shè)了對抗樣本

　　Kan Yuan 和 Di Tang 等人介紹了黑產(chǎn)如何通過單色化,、加噪音、增加文字,、仿射變化,、濾波模糊化和遮蓋等方式讓違規(guī)圖片繞過目前主流的圖片內(nèi)容檢測服務(wù)。這也標(biāo)志著對抗樣本技術(shù)已經(jīng)從實驗室環(huán)境真正進(jìn)入了網(wǎng)絡(luò)對抗實戰(zhàn),。

　　4. 深度偽造

　　深度偽造（DeepFake）是英文“Deep learning”（深度學(xué)習(xí)）和“Fake”（偽造）的混合詞,，即利用深度學(xué)習(xí)算法，實現(xiàn)音視頻的模擬和偽造,。2017 年底橫空出世的 DeepFake 技術(shù),，將 AI 假視頻帶入大眾視野的先驅(qū)。如圖所示,，美國演員 JordanPeele 用 DeepFake 技術(shù)“扮演”奧巴馬講話,。

　　圖 美國演員 Jordan Peele 用 DeepFake 技術(shù)“扮演” 奧巴馬講話

　　在 CanSecWest 2021 上，安全研究人員進(jìn)行了《AI 被濫用的風(fēng)險：小心您的聲音安全》的內(nèi)容分享,。他們的最新研究成果表明,，VoIP 電話劫持與 AI 語音模擬技術(shù)的結(jié)合將帶來潛在風(fēng)險。在分享中,，安全研究人員展示了如何用 AI 進(jìn)行聲音克隆并劫持電話的攻擊場景,。區(qū)別于此前腳本類的電信詐騙，這一新技術(shù)可實現(xiàn)從電話號碼到聲音音色的全鏈路偽造,，攻擊者可以利用漏洞劫持 VoIP 電話,，實現(xiàn)虛假電話的撥打，并基于深度偽造 AI 變聲技術(shù)生成特定人物的聲音進(jìn)行詐騙,。

　　針對此類風(fēng)險,，2021 年 3 月 18 日，國家互聯(lián)網(wǎng)信息辦公室,、公安部針對近期未履行安全評估程序的語音社交軟件和涉“深度偽造”技術(shù)的應(yīng)用,，指導(dǎo)部分地方網(wǎng)信部門、公安機(jī)關(guān)依法約談 11 家企業(yè),。

　　三,、總結(jié)

　　綜上所述，AI 在當(dāng)前階段更大程度上是一種類人的機(jī)器智能,，基于概率學(xué)迭代式地改進(jìn)決策效能,。

　　AI 可以和知識圖譜等技術(shù)，以及知識標(biāo)準(zhǔn)如ATT&CK,、MAPEC,、STIX 等相結(jié)合，吸收領(lǐng)域知識,，但不能代替領(lǐng)域?qū)＜?。AI 更像是一個堅定策略的執(zhí)行者，而非運(yùn)籌帷幄的將軍,。隨著安全行業(yè)逐步往安全運(yùn)營和安全服務(wù)方向發(fā)展,，以及 AI可解釋性和 AI 即服務(wù)（AI as a Service ，AIaaS）的長足進(jìn)步,，AI 可以很好地成為安全從業(yè)者的“瑞士軍刀”,。

　　與此同時，AI 組件的引入也會隨之?dāng)U大脆弱性的暴露面,，包含模型的代碼漏洞和模型的決策魯棒性等帶來的安全問題,，同樣需要在模型設(shè)計,、實現(xiàn)和部署階段引起足夠的關(guān)注。