根據(jù) MarketsandMarkets 公司 2018 年發(fā)布的《安全市場(chǎng)中人工智能》報(bào)告,，全球人工智能賦能安全市場(chǎng)規(guī)模在 2017 年已達(dá) 39.2 億美元,，預(yù)計(jì) 2025 年將達(dá)到 348.1 億美元,，平均每年增長(zhǎng)率超過(guò) 30%,。人工智能（AI）在網(wǎng)絡(luò)安全、內(nèi)容安全,、數(shù)據(jù)安全,、業(yè)務(wù)安全、終端安全等細(xì)分領(lǐng)域,，給安全行業(yè)帶來(lái)了新思路新方法,，同時(shí)，也在對(duì)抗樣本,、深度偽造等方面給安全行業(yè)帶來(lái)了新的挑戰(zhàn),。

　　一、AI 帶來(lái)的安全應(yīng)用場(chǎng)景

　　1. 內(nèi)容安全

　　隨著 5G 和移動(dòng)互聯(lián)網(wǎng)相關(guān)技術(shù)和產(chǎn)品的日漸成熟,，互聯(lián)網(wǎng)內(nèi)容正在以更多載體形式和更快生產(chǎn)速度滲透到人民日常生活的方方面面,，對(duì)于涉黃,、涉暴,、涉恐、圖文違規(guī)等內(nèi)容的識(shí)別,、審核和攔截成為各大內(nèi)容生產(chǎn)和交流平臺(tái)的必備社會(huì)責(zé)任,。2021 年，全國(guó)“掃黃打非”辦公室開(kāi)展“新風(fēng) 2021”集中行動(dòng),，從 3 月到 11 月,，幾近貫穿2021 整年。從內(nèi)容安全風(fēng)險(xiǎn)角度,，行動(dòng)涵蓋音視頻,、直播,、社區(qū)、新聞門(mén)戶,、游戲,、網(wǎng)絡(luò)文學(xué)、自媒體,、電商等全品類互聯(lián)網(wǎng)平臺(tái),。監(jiān)管層面對(duì)平臺(tái)方的高要求和強(qiáng)管控力度可見(jiàn)一斑。

　　在有害文本內(nèi)容的檢測(cè)上,，核心難點(diǎn)就是提升模型的準(zhǔn)召率（Precision and Recall）以及如何應(yīng)對(duì)語(yǔ)言的變種（互聯(lián)網(wǎng)黑話）,。傳統(tǒng)的文本分類方法可稱作淺層學(xué)習(xí)模型，通常需要通過(guò)人工方法獲得良好的樣本特征,，然后使用經(jīng)典的分類算法進(jìn)行識(shí)別,，此類方法的有效性在很大程度上受到特征提取的限制。但得益于深度學(xué)習(xí)在近年的蓬勃發(fā)展,，深度學(xué)習(xí)能夠通過(guò)神經(jīng)網(wǎng)絡(luò)模擬人腦,，以自動(dòng)從數(shù)據(jù)中學(xué)習(xí)高階特征并進(jìn)行分類，例如單詞依賴關(guān)系,、文本結(jié)構(gòu)以及文本中的關(guān)鍵短語(yǔ),，然后，將特征工程集成到模型擬合過(guò)程中,，往往能夠獲得更優(yōu)的效果,，例如 Word2Vec 和 TextCNN模型。

　　在基于深度學(xué)習(xí)的文本分類模型里,，不得不提的是 BERT 模型,。BERT 由谷歌在 2018 年提出，當(dāng)年首次將 GLUE 基準(zhǔn)（用于評(píng)估通用自然語(yǔ)言處理模型的基準(zhǔn)）推至 80.4％,，是 NLP（自然語(yǔ)言處理）歷史上里程碑式的改變,。BERT 是第一個(gè)無(wú)監(jiān)督的、基于雙向深度神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言預(yù)處理模型,，它可以在一個(gè)大型文本語(yǔ)料庫(kù)（例如維基百科）上訓(xùn)練一個(gè)通用的語(yǔ)言表示模型,，充分利用上下文信息，然后將該模型用于下游自然語(yǔ)言處理任務(wù)（如智能問(wèn)答和文本分類）進(jìn)行精調(diào),。也是從 BERT 開(kāi)始,，“預(yù)訓(xùn)練模型+精調(diào)”的方式被工業(yè)界廣泛應(yīng)用，同時(shí)也出現(xiàn)了大量改進(jìn)的預(yù)訓(xùn)練模型,，例如 XLNe,、RoBERTa 和 ALBERT 等，至 2021 年，最新的 GLUE 基準(zhǔn)已推進(jìn)至 90.6%,。

　　然而,，內(nèi)容安全問(wèn)題往往不能僅靠深度模型來(lái)解決，地下黑產(chǎn)從業(yè)者和惡意用戶往往會(huì)通過(guò)創(chuàng)造新詞和同音/同義詞替換等對(duì)抗方法來(lái)達(dá)到逃避檢測(cè)的效果,。2017 年,，安全研究團(tuán)隊(duì)首次用自動(dòng)化的方法大規(guī)模提取并理解不斷演化的黑話。通過(guò)分析黑帽搜索引擎優(yōu)化產(chǎn)業(yè)所推廣的網(wǎng)頁(yè),，從中提取候選詞,，利用現(xiàn)有搜索引擎對(duì)惡意頁(yè)面的識(shí)別功能判斷是否為黑話。然后,，利用搜索引擎匯聚用戶的搜索行為而提供的相關(guān)搜索功能,，擴(kuò)展這些黑話，最后形成黑話檢測(cè)與擴(kuò)展系統(tǒng) KDES模型,。2020 年,，研究團(tuán)隊(duì)提出了 TextShield 框架，引入對(duì)抗學(xué)習(xí),、機(jī)器翻譯和多模態(tài)嵌入/融合來(lái)解決分類模型在內(nèi)容安全領(lǐng)域的魯棒性問(wèn)題,。研究人員將每個(gè)文本輸入一個(gè)機(jī)器模型，該模型使用大量的對(duì)抗性文本和良性文本進(jìn)行對(duì)抗性訓(xùn)練修正,。然后,，將修正后的文本輸入到深度學(xué)習(xí)分類模型中進(jìn)行多模態(tài)嵌入，提取語(yǔ)義級(jí),、字形級(jí)和語(yǔ)音級(jí)特征,。最后，使用多模態(tài)融合特征來(lái)進(jìn)行分類,。

　　2. 入侵檢測(cè)

　　入侵檢測(cè)和AI/機(jī)器學(xué)習(xí)的結(jié)合已經(jīng)不是什么新鮮的話題,。深度學(xué)習(xí)從 2010 年開(kāi)始崛起，有幾個(gè)關(guān)鍵的時(shí)間節(jié)點(diǎn)：2010 年,，ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)（ILSVRC）開(kāi)始舉辦,；2013 年和2014 年， NLP 問(wèn)題開(kāi)始引入神經(jīng)網(wǎng)絡(luò)模型,；2017年 Transformer 的提出和 2018 年 BERT 的提出,，使安全研究員們第一時(shí)間想到如何把 AI 和網(wǎng)絡(luò)安全/入侵檢測(cè)相結(jié)合，相關(guān)關(guān)鍵詞的搜索熱度也隨之升高,。尤其是在 BERT 這種能夠從無(wú)監(jiān)督學(xué)習(xí)中學(xué)習(xí)到更多語(yǔ)義知識(shí)的方法出現(xiàn)后,，AI 與安全結(jié)合的關(guān)注度更為持續(xù)。

　　從 2010 年開(kāi)始,，AI 和大數(shù)據(jù)等概念就開(kāi)始刺激著安全行業(yè)，甚至有不少文章表示 AI 是安全行業(yè)的最后的希望,。但實(shí)踐發(fā)現(xiàn),，AI 并不是安全的“銀彈”,，原因有很多。機(jī)器學(xué)習(xí)擅長(zhǎng)檢測(cè)正常模式的行為,，而入侵是一種偏離正常模式的行為,，且并不是所有環(huán)境里的正常行為都是穩(wěn)定而相似的；同時(shí),，威脅檢測(cè)是一個(gè)開(kāi)放式的問(wèn)題,，損失函數(shù)很難明晰定義。當(dāng)人們對(duì) AI 在安全中應(yīng)用的期望回歸理性的時(shí)候,，就會(huì)發(fā)現(xiàn),，對(duì)入侵檢測(cè)而言，AI 并不具備全場(chǎng)景的適用性,，而是作為一個(gè)實(shí)用工具,，在特定場(chǎng)景下替代規(guī)則檢測(cè)或者在海量數(shù)據(jù)下歸納特征和排除噪音，提升安全運(yùn)營(yíng)的投資回報(bào)率,。

　　AI 在入侵檢測(cè)領(lǐng)域的一個(gè)成功應(yīng)用就是加密流量檢測(cè),，通過(guò)機(jī)器學(xué)習(xí)模型來(lái)代替?zhèn)鹘y(tǒng)的規(guī)則檢測(cè)。根據(jù)思科公司的數(shù)據(jù),，2020 年,，70% 的惡意軟件都會(huì)采用加密流量，同時(shí) 60% 的企業(yè)都不能成功解密 HTTPS 流量,，導(dǎo)致威脅難以發(fā)現(xiàn),。思科在 2016 年提到，通過(guò)構(gòu)建加密流量特征集,，其中包括通用流統(tǒng)計(jì)特征集（22 維）和由安全專家開(kāi)發(fā)的更具表達(dá)性的特征集（319 維）,，例如分組數(shù)據(jù)包長(zhǎng)度、數(shù)據(jù)包長(zhǎng)度形成的轉(zhuǎn)移矩陣,，以及TLS 握手元數(shù)據(jù)相關(guān)維度,，使用多種分類器在不同的時(shí)段和不同的企業(yè)網(wǎng)絡(luò)中驗(yàn)證其有效性。同時(shí),，思科還開(kāi)源了他們的網(wǎng)絡(luò)流量特征提取工具 Joy 供研究者使用,。

　　2019 年，安全研究團(tuán)隊(duì)提出了基于注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)在 Web 攻擊檢測(cè)中的應(yīng)用,，稱之為 Locate-Then-Detect（LTD）,。LTD 模 型結(jié)合了目標(biāo)檢測(cè)和注意力機(jī)制的思想，創(chuàng)造性地提出了攻擊載荷靶向定位網(wǎng)絡(luò)（Payload LocatingNetwork,，PLN）與攻擊載荷分類網(wǎng)絡(luò)（PayloadClassification Network,，PCN），通過(guò)兩個(gè)深度神經(jīng)網(wǎng)絡(luò)的結(jié)合，可以準(zhǔn)確地定位惡意攻擊所在的位置,，并對(duì)其類型進(jìn)行精準(zhǔn)識(shí)別,。PLN 用來(lái)定位攻擊向量的可疑位置，PCN 再對(duì)識(shí)別出的可疑向量進(jìn)行分類,，通過(guò)靶位識(shí)別網(wǎng)絡(luò)的提取能力,，能夠使得檢測(cè)系統(tǒng)更加關(guān)注真正有害的攻擊，從而規(guī)避掉整個(gè)請(qǐng)求內(nèi)容中正常部分對(duì)模型預(yù)測(cè)結(jié)果的影響,。LTD 首次解決了深度學(xué)習(xí)在 Web 攻擊檢測(cè)領(lǐng)域的結(jié)果可解釋性問(wèn)題,，同時(shí)在與其他傳統(tǒng)方式的對(duì)比中，LTD 也表現(xiàn)出超出了基于規(guī)則,、符號(hào)特征和傳統(tǒng)機(jī)器學(xué)習(xí)方法的效果,。

　　3. 欺詐檢測(cè)

　　欺詐檢測(cè)是電子商務(wù)平臺(tái)中的一項(xiàng)關(guān)鍵技術(shù)，早期的研究主要集中在基于規(guī)則的專家系統(tǒng),。這些欺詐場(chǎng)景包括信用卡欺詐,、電話欺詐、保險(xiǎn)欺詐等,。隨著欺詐模式的迅速演變,，當(dāng)前規(guī)則或?qū)＜抑R(shí)不足以滿足當(dāng)今實(shí)時(shí)檢測(cè)欺詐行為的需求，因此一些研究人員嘗試使用基于機(jī)器學(xué)習(xí)的方法以檢測(cè)欺詐,。之前的研究者專注于卷積神經(jīng)網(wǎng)絡(luò)（CNN）,、 遞 歸 神 經(jīng) 網(wǎng) 絡(luò)（RNN） 用 于 基 于 序列的欺詐檢測(cè)。后來(lái)也有研究者利用圖神經(jīng)網(wǎng)絡(luò)（GNN）發(fā)現(xiàn)欺詐,。然而,，這些方法中的大多數(shù)都面臨著同樣的問(wèn)題：缺少可解釋性，這對(duì)于欺詐檢測(cè)任務(wù)至關(guān)重要,。安全研究人員提出,，通過(guò)構(gòu)建行為序列深度學(xué)習(xí)模型來(lái)解決交易風(fēng)險(xiǎn)評(píng)估的問(wèn)題。它不僅能從雙重視角更有效地利用事件間的內(nèi)部信息,，同時(shí)也對(duì)預(yù)測(cè)結(jié)果進(jìn)行了深入的解釋,。

　　基于行為時(shí)序信息的深度學(xué)習(xí)模型在智能風(fēng)控場(chǎng)景中的應(yīng)用變得越來(lái)越廣泛，傳統(tǒng)的建模方案大多基于單一的串聯(lián)維度構(gòu)建時(shí)序信息,。隨著風(fēng)險(xiǎn)對(duì)抗的加強(qiáng),，單一維度的時(shí)序刻畫(huà)在風(fēng)險(xiǎn)識(shí)別覆蓋上已經(jīng)遇到了一定的瓶頸。研究人員通過(guò)雙維度時(shí)序建?？蚣埽―ual ImportanceawareFactorization Machines,，DIFM），增加行為內(nèi)屬性時(shí)序信息刻畫(huà)模塊來(lái)提升模型的識(shí)別性能,。在卡支付風(fēng)險(xiǎn)交易的識(shí)別能力上,，DIFM 相較傳統(tǒng)方案 有 4% 到 6% 的提升,。同時(shí)，由于 Attention 機(jī)制的引入,，DIFM 可以同時(shí)輸出和風(fēng)險(xiǎn)強(qiáng)關(guān)聯(lián)的維度屬性,，在模型可解釋性上也有很大提升,。

　　二,、AI 自身安全風(fēng)險(xiǎn)所帶來(lái)的挑戰(zhàn)

　　AI 系統(tǒng)作為一個(gè)非常復(fù)雜的軟件系統(tǒng)，同樣會(huì)面對(duì)各種黑客攻擊,。黑客通過(guò)攻擊 AI 系統(tǒng),，也可以威脅到財(cái)產(chǎn)安全、個(gè)人隱私,、交通安全和公共安全,。在深度偽造、對(duì)抗樣本等方面,，AI 給安全行業(yè)帶來(lái)了新的挑戰(zhàn),。針對(duì) AI 系統(tǒng)的攻擊，通常包括以下幾種,。

　　1. 模型竊取

　　各大公司通過(guò)高薪聘請(qǐng) AI 專家設(shè)計(jì)模型,，花費(fèi)大量資金人力搜集訓(xùn)練數(shù)據(jù)，又花費(fèi)大量資金購(gòu)買設(shè)備用于訓(xùn)練模型,，最后得到深度學(xué)習(xí)模型,。深度學(xué)習(xí)模型最終形式是從幾百字節(jié)到幾百兆字節(jié)大小不等的一個(gè)模型文件。

　　深度學(xué)習(xí)模型對(duì)外提供服務(wù)的形式主要分為云模式的應(yīng)用程序編程接口（API）,，或者是以私有形式部署到用戶的移動(dòng)設(shè)備或數(shù)據(jù)中心的服務(wù)器上,。針對(duì)云模式的 API，黑客通過(guò)一定的遍歷算法,，在調(diào)用云模式的 API 后,，可以在本地還原出一個(gè)與原始模型功能相同或者類似的模型。針對(duì)私有部署到用戶的移動(dòng)設(shè)備或數(shù)據(jù)中心的服務(wù)器上的模型,，黑客通過(guò)逆向等傳統(tǒng)安全技術(shù),，可以把模型文件直接還原出來(lái)使用。

　　2. 數(shù)據(jù)投毒

　　針對(duì)深度學(xué)習(xí)的數(shù)據(jù)投毒主要指給深度學(xué)習(xí)的訓(xùn)練樣本中加入異常數(shù)據(jù),，導(dǎo)致模型在某些條件下會(huì)產(chǎn)生分類錯(cuò)誤,。

　　早期的數(shù)據(jù)投毒都發(fā)生在實(shí)驗(yàn)室環(huán)境，其實(shí)驗(yàn)假設(shè)是可以通過(guò)在離線訓(xùn)練數(shù)據(jù)中添加精心構(gòu)造的異常數(shù)據(jù)從而產(chǎn)生攻擊,。這一攻擊方式需要攻擊者能接觸到模型的訓(xùn)練數(shù)據(jù),，而在實(shí)際環(huán)境中，絕大多數(shù)情況都是在公司里的離線數(shù)據(jù)中訓(xùn)練好模型再打包對(duì)外發(fā)布服務(wù),，攻擊者難以接觸到訓(xùn)練數(shù)據(jù),，攻擊難以發(fā)生,。于是，攻擊者把重點(diǎn)放到了在線學(xué)習(xí)的場(chǎng)景,，即模型利用在線的數(shù)據(jù),，幾乎是實(shí)時(shí)學(xué)習(xí)，比較典型的場(chǎng)景就是推薦系統(tǒng),。推薦系統(tǒng)會(huì)結(jié)合用戶的歷史數(shù)據(jù)以及實(shí)時(shí)的訪問(wèn)數(shù)據(jù),，共同進(jìn)行學(xué)習(xí)和判斷，最終得到推薦結(jié)果,。黑客正是利用這一可以接觸到訓(xùn)練數(shù)據(jù)的機(jī)會(huì),，通過(guò)一定的算法策略，發(fā)起訪問(wèn)行為,，從而導(dǎo)致推薦系統(tǒng)產(chǎn)生錯(cuò)誤,。

　　3. 對(duì)抗樣本

　　對(duì)抗樣本由谷歌的科學(xué)家 Christian Szegedy等人提出，是指在數(shù)據(jù)集中通過(guò)故意添加細(xì)微的干擾所形成的輸入樣本,，導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤的輸出,。

　　簡(jiǎn)單來(lái)講，對(duì)抗樣本通過(guò)在原始數(shù)據(jù)上疊加精心構(gòu)造的人類難以察覺(jué)的擾動(dòng),，使深度學(xué)習(xí)模型產(chǎn)生分類錯(cuò)誤,。以圖片分類模型為例，通過(guò)在原始圖片上疊加擾動(dòng),，對(duì)肉眼來(lái)說(shuō),，擾動(dòng)非常細(xì)微，圖片看起來(lái)還是原來(lái)的樣子,，但是對(duì)于圖像分類模型而言,，卻會(huì)以很大的概率識(shí)別為另一種圖像。

　　對(duì)抗樣本是 AI 安全研究的一個(gè)熱點(diǎn),，最新的攻擊算法和加固方法層出不窮,。與此同時(shí)，攻擊場(chǎng)景從實(shí)驗(yàn)室中的簡(jiǎn)單圖像分類,，迅速擴(kuò)展到智能音箱,、無(wú)人駕駛等領(lǐng)域。在 BlackHat Europe2018 上,，Zhenyu Zhong 和 Yunhan Jia 的《感知欺騙：基于深度神經(jīng)網(wǎng)絡(luò)（DNN）下物理性對(duì)抗攻擊與策略》展現(xiàn)了如何讓物體在深度學(xué)習(xí)系統(tǒng)的“眼睛”中憑空消失,。例如用擾動(dòng)后的圖片，讓深度學(xué)習(xí)系統(tǒng) YOLOv3 模型無(wú)法正確辨識(shí)目標(biāo)車輛,。這是首次針對(duì)車輛的物理攻擊的成功展示,，從攻擊目標(biāo)的大小、分辨率的高低和物理環(huán)境對(duì)攻擊效果的影響和難度來(lái)說(shuō),，和以往的學(xué)術(shù)文章所針對(duì)交通標(biāo)識(shí)的攻擊相比是一個(gè)新的提升,。

　　安全研究人員 Takami Sato 等揭示了如何通過(guò)在路面上鋪設(shè)印有對(duì)抗樣本的貼紙,，攻擊無(wú)人車的車道保持系統(tǒng)（Lane Keeping System），讓無(wú)人車偏離正常行駛路線,。

　　圖 在路面上鋪設(shè)了對(duì)抗樣本

　　Kan Yuan 和 Di Tang 等人介紹了黑產(chǎn)如何通過(guò)單色化,、加噪音、增加文字,、仿射變化,、濾波模糊化和遮蓋等方式讓違規(guī)圖片繞過(guò)目前主流的圖片內(nèi)容檢測(cè)服務(wù)。這也標(biāo)志著對(duì)抗樣本技術(shù)已經(jīng)從實(shí)驗(yàn)室環(huán)境真正進(jìn)入了網(wǎng)絡(luò)對(duì)抗實(shí)戰(zhàn),。

　　4. 深度偽造

　　深度偽造（DeepFake）是英文“Deep learning”（深度學(xué)習(xí)）和“Fake”（偽造）的混合詞,，即利用深度學(xué)習(xí)算法,，實(shí)現(xiàn)音視頻的模擬和偽造,。2017 年底橫空出世的 DeepFake 技術(shù)，將 AI 假視頻帶入大眾視野的先驅(qū),。如圖所示,，美國(guó)演員 JordanPeele 用 DeepFake 技術(shù)“扮演”奧巴馬講話。

　　圖 美國(guó)演員 Jordan Peele 用 DeepFake 技術(shù)“扮演” 奧巴馬講話

　　在 CanSecWest 2021 上,，安全研究人員進(jìn)行了《AI 被濫用的風(fēng)險(xiǎn)：小心您的聲音安全》的內(nèi)容分享,。他們的最新研究成果表明，VoIP 電話劫持與 AI 語(yǔ)音模擬技術(shù)的結(jié)合將帶來(lái)潛在風(fēng)險(xiǎn),。在分享中,，安全研究人員展示了如何用 AI 進(jìn)行聲音克隆并劫持電話的攻擊場(chǎng)景。區(qū)別于此前腳本類的電信詐騙,，這一新技術(shù)可實(shí)現(xiàn)從電話號(hào)碼到聲音音色的全鏈路偽造,，攻擊者可以利用漏洞劫持 VoIP 電話，實(shí)現(xiàn)虛假電話的撥打,，并基于深度偽造 AI 變聲技術(shù)生成特定人物的聲音進(jìn)行詐騙,。

　　針對(duì)此類風(fēng)險(xiǎn)，2021 年 3 月 18 日,，國(guó)家互聯(lián)網(wǎng)信息辦公室,、公安部針對(duì)近期未履行安全評(píng)估程序的語(yǔ)音社交軟件和涉“深度偽造”技術(shù)的應(yīng)用，指導(dǎo)部分地方網(wǎng)信部門(mén),、公安機(jī)關(guān)依法約談 11 家企業(yè),。

　　三、總結(jié)

　　綜上所述,，AI 在當(dāng)前階段更大程度上是一種類人的機(jī)器智能,，基于概率學(xué)迭代式地改進(jìn)決策效能。

　　AI 可以和知識(shí)圖譜等技術(shù),，以及知識(shí)標(biāo)準(zhǔn)如ATT&CK,、MAPEC,、STIX 等相結(jié)合，吸收領(lǐng)域知識(shí),，但不能代替領(lǐng)域?qū)＜?。AI 更像是一個(gè)堅(jiān)定策略的執(zhí)行者，而非運(yùn)籌帷幄的將軍,。隨著安全行業(yè)逐步往安全運(yùn)營(yíng)和安全服務(wù)方向發(fā)展,，以及 AI可解釋性和 AI 即服務(wù)（AI as a Service ，AIaaS）的長(zhǎng)足進(jìn)步,，AI 可以很好地成為安全從業(yè)者的“瑞士軍刀”,。

　　與此同時(shí)，AI 組件的引入也會(huì)隨之?dāng)U大脆弱性的暴露面,，包含模型的代碼漏洞和模型的決策魯棒性等帶來(lái)的安全問(wèn)題,，同樣需要在模型設(shè)計(jì)、實(shí)現(xiàn)和部署階段引起足夠的關(guān)注,。