越來越多的企業(yè)組織開始應(yīng)用人工智能（Artificial Intelligence,，縮寫AI）和機(jī)器學(xué)習(xí)（Machine Learning,，縮寫ML）項目,，保護(hù)這些項目變得日益重要,。IBM和Morning Consult聯(lián)合開展的一項調(diào)查顯示,，在7500多家受訪跨國企業(yè)中,，35%的企業(yè)已經(jīng)在使用AI，比去年增加了13%,，另有42%的企業(yè)在研究可行性,。然而近20%的公司表示在保護(hù)AI系統(tǒng)的數(shù)據(jù)方面存在困難，這減慢了采用AI的步伐,。
保護(hù)AI和ML系統(tǒng)面臨重大挑戰(zhàn),，一些挑戰(zhàn)并不是AI技術(shù)本身造成的。比如說,，AI和ML系統(tǒng)需要數(shù)據(jù),，如果數(shù)據(jù)包含敏感或隱私信息，就會成為攻擊者的目標(biāo),。機(jī)器學(xué)習(xí)模型在網(wǎng)絡(luò)空間環(huán)境下存在受到對抗性攻擊的潛在風(fēng)險,， 可能成為防御體系中最為薄弱的環(huán)節(jié)， 從而危害整個系統(tǒng)的安全,。
什么是對抗性機(jī)器學(xué)習(xí)
對抗性機(jī)器學(xué)習(xí)并不是一種機(jī)器學(xué)習(xí),，而是攻擊者用來攻擊ML系統(tǒng)的一系列手段。對抗性機(jī)器學(xué)習(xí)利用了ML模型的漏洞和特殊性來實施攻擊,。比如,，對抗性機(jī)器學(xué)習(xí)可用于使ML交易算法做出錯誤的交易決策，使欺詐性操作更難被發(fā)現(xiàn),，并提供錯誤的操作建議,，以及操縱基于情緒分析的報告。
對抗性機(jī)器學(xué)習(xí)攻擊分為中毒攻擊,、逃避攻擊,、提取攻擊和推理攻擊等四種方式。
1.中毒攻擊
在中毒攻擊中,，攻擊者操縱訓(xùn)練數(shù)據(jù)集,。比如，故意使數(shù)據(jù)集有偏差,，讓機(jī)器以錯誤的方式學(xué)習(xí),。例如，你家裝有基于AI的安全攝像頭,。攻擊者可能每天凌晨3點路過你家,，讓他的狗穿過草坪,，從而觸發(fā)安全系統(tǒng),。最終，你關(guān)閉凌晨3點觸發(fā)的這些警報，以免被狗吵醒,。那個遛狗的人實際上在提供訓(xùn)練數(shù)據(jù),，讓安全系統(tǒng)知道每天凌晨3點發(fā)生的事是無害的。當(dāng)系統(tǒng)被訓(xùn)練以忽略凌晨3點發(fā)生的任何事情后,，攻擊者就趁機(jī)發(fā)起攻擊,。
2. 逃避攻擊
在逃避攻擊中，模型已經(jīng)過訓(xùn)練,，但攻擊者可以稍稍改變輸入以實施攻擊,。一個例子是停車標(biāo)志——當(dāng)攻擊者貼上讓車標(biāo)簽后，機(jī)器解釋為讓車標(biāo)志,，而不是停車標(biāo)志,。在上面遛狗例子中，竊賊可以穿上狗服闖入你家,。逃避攻擊就像是機(jī)器的視錯覺,。
3. 提取攻擊
在提取攻擊中，攻擊者獲得AI系統(tǒng)的副本,。有時只需觀察模型的輸入和輸出,，就可以提取模型，并試探一下模型,，觀察其反應(yīng),。如果可以多次試探模型，就能教自己的模型有同樣的行為方式,。
比如在2019年,，Proofpoint的電子郵件保護(hù)系統(tǒng)曝出漏洞，生成的郵件標(biāo)頭附有一個分?jǐn)?shù),，表明了郵件是垃圾郵件的可能性有多大,。攻擊者使用這些分?jǐn)?shù)，就可以構(gòu)建模仿的垃圾郵件檢測引擎,，以生成逃避檢測的垃圾郵件,。
如果一家公司使用商業(yè)AI產(chǎn)品，攻擊者也可以通過購買或使用服務(wù),，獲得模型的副本,。例如，攻擊者可以使用一些平臺,，針對防病毒引擎測試其惡意軟件,。在上面遛狗的例子中，攻擊者可以弄一副望遠(yuǎn)鏡觀察安全攝像頭是什么品牌,，然后買同一品牌的攝像頭,，弄清楚如何繞過防御,。
4. 推理攻擊
在推理攻擊中，攻擊者搞清楚用于訓(xùn)練系統(tǒng)的數(shù)據(jù)集,，然后利用數(shù)據(jù)中的漏洞或偏差實施攻擊,。如果能搞清楚訓(xùn)練數(shù)據(jù)，就可以使用常識或高明的手法來利用它,。仍以遛狗的例子為例,，攻擊者可能會監(jiān)視房子，以便摸清楚附近路人車輛情況,。當(dāng)攻擊者注意到每天凌晨3點有遛狗者經(jīng)過,，安全系統(tǒng)會忽視遛狗者，就有可能利用這一漏洞實施攻擊,。
將來,，攻擊者還可能同樣利用智能化的機(jī)器學(xué)習(xí)技術(shù)來攻擊正規(guī)的機(jī)器學(xué)習(xí)應(yīng)用。比如,，一種新型AI生成式對抗系統(tǒng),。這種系統(tǒng)常用于創(chuàng)建深度偽造（deep fake）內(nèi)容，即高度逼真的照片或視頻,，讓人誤以為真,。攻擊者常常將它們用于在線詐騙，但也可以運用同樣的原理生成無法檢測出來的惡意軟件,。
在生成式對抗網(wǎng)絡(luò)中,，一方稱為判別器，另一方稱為生成器,，它們相互攻擊,。比如，防病毒AI可能嘗試查明某個對象是不是惡意軟件,。生成惡意軟件的AI可能會嘗試創(chuàng)建第一個系統(tǒng)無法揪出來的惡意軟件,。通過兩個系統(tǒng)的反復(fù)對抗，最終結(jié)果可能是生成幾乎不可能被發(fā)現(xiàn)的惡意軟件,。
如何防御對抗性機(jī)器學(xué)習(xí)
網(wǎng)絡(luò)空間中廣泛存在的對抗使得機(jī)器學(xué)習(xí)的應(yīng)用面臨嚴(yán)峻挑戰(zhàn),，為了防御對抗性機(jī)器學(xué)習(xí)攻擊的威脅，安全研究人員已經(jīng)開始了對抗性機(jī)器學(xué)習(xí)的安全研究,，提高機(jī)器學(xué)習(xí)算法在實際應(yīng)用中的魯棒性,，保障機(jī)器學(xué)習(xí)相關(guān)算法的應(yīng)用安全。
研究機(jī)構(gòu)Gartner建議,，如果企業(yè)有AI和ML系統(tǒng)需要保護(hù),，應(yīng)采取針對性的安全措施。首先,，為了保護(hù)AI模型的完整性,，企業(yè)應(yīng)采用可信賴AI的原則,，并對模型進(jìn)行驗證檢查；其次,，為了保護(hù)AI訓(xùn)練數(shù)據(jù)的完整性，應(yīng)使用數(shù)據(jù)中毒檢測技術(shù),；此外,，很多傳統(tǒng)安全措施也可以被應(yīng)用到AI系統(tǒng)保護(hù)中。比如,，保護(hù)數(shù)據(jù)不被訪問或破壞的解決方還可以保護(hù)訓(xùn)練數(shù)據(jù)集不被篡改,。
MITRE公司以標(biāo)準(zhǔn)化的ATT&CK對抗性策略和技術(shù)框架而聞名，它也為AI系統(tǒng)創(chuàng)建了一套名為對抗性機(jī)器學(xué)習(xí)威脅矩陣（Adversarial Machine Learning Threat Matrix）的攻擊框架,，該框架后目前被稱為人工智能系統(tǒng)的對抗性威脅環(huán)境（Adversarial Threat Landscape for Artificial-Intelligence Systems,，縮寫ATLAS），涵蓋攻擊ML系統(tǒng)的12個階段,。
此外,，一些廠商已開始發(fā)布安全工具，幫助用戶保護(hù)AI系統(tǒng)并防御對抗性機(jī)器學(xué)習(xí),。微軟在2021年5月發(fā)布了Counterfit,，這款開源自動化工具用于對AI系統(tǒng)進(jìn)行安全測試。Counterfit起初是專門針對單個AI模型編寫的攻擊腳本庫,，后來變成了一款通用自動化工具,，用于大規(guī)模攻擊多個AI系統(tǒng)。該工具可用于使MITRE的ATLAS攻擊框架中的技術(shù)實現(xiàn)自動化,，但也可用于AI開發(fā)階段,，提早發(fā)現(xiàn)漏洞，以免漏洞進(jìn)入生產(chǎn)環(huán)境,。
IBM也有一款名為Adversarial Robustness Toolbox的開源對抗性機(jī)器學(xué)習(xí)防御工具,，它現(xiàn)在是Linux基金會旗下的一個項目。該項目支持所有流行的ML框架,，包括39個攻擊模塊,，分為逃避、中毒,、提取和推理四大類,。
針對機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)空間防御中可能遭受的攻擊，企業(yè)還應(yīng)該盡早引入機(jī)器學(xué)習(xí)攻擊者模型,，目的是科學(xué)評估其在特定威脅場景下的安全屬性,。同時組織應(yīng)充分了解對抗性機(jī)器學(xué)習(xí)算法如何在測試階段發(fā)動規(guī)避攻擊、在訓(xùn)練階段發(fā)動投毒攻擊,、在機(jī)器學(xué)習(xí)全階段發(fā)動隱私竊取的常見方法,，設(shè)計并部署在網(wǎng)絡(luò)空間實際對抗環(huán)境中,，能夠有效強(qiáng)化機(jī)器學(xué)習(xí)模型安全性的防御方法。
更多信息可以來這里獲取==>>電子技術(shù)應(yīng)用-AET<<
