根據(jù)Adversa的最新研究,，人工智能行業(yè)還沒有做好防御黑客對(duì)AI系統(tǒng)攻擊的準(zhǔn)備,。

　　近日,，微軟宣布開源了一種人工智能系統(tǒng)的安全測試工具——Counterfit,。微軟最初開發(fā)該工具來測試自己的AI系統(tǒng)的安全性,，在評(píng)估其漏洞之后,，微軟決定開源Counterfit,，以幫助組織驗(yàn)證他們使用的AI算法是否“健壯,、可靠且值得信賴”,。

　　Counterfit最初是為針對(duì)單個(gè)AI模型編寫的攻擊腳本的集合,，但Microsoft卻將其變成了自動(dòng)化工具，可以大規(guī)模攻擊多個(gè)AI系統(tǒng),。

　　“今天,，我們常規(guī)地將Counterfit用作我們的AI紅隊(duì)運(yùn)營的一部分。我們發(fā)現(xiàn),，自動(dòng)化MITRE的Adversarial ML威脅矩陣中的技術(shù)并將其與Microsoft自己的生產(chǎn)環(huán)境AI服務(wù)進(jìn)行重放以主動(dòng)掃描特定于AI的漏洞很有幫助,。微軟公司的Azure Trustworthy ML團(tuán)隊(duì)的Will Pearce和Ram Shankar Siva Kumar解釋說：”我們?cè)贏I開發(fā)階段就導(dǎo)入Counterfit，以在AI系統(tǒng)中的漏洞投入生產(chǎn)之前發(fā)現(xiàn)它們,?！?/p>

　　Counterfit是一種命令行工具，可以在云中或本地安裝和部署。該工具與環(huán)境無關(guān)：評(píng)估后的AI模型可以托管在本地或邊緣的云環(huán)境中,。

　　”該工具將其AI模型的內(nèi)部工作抽象化,，以便安全專業(yè)人員可以專注于安全評(píng)估。Counterfit使安全社區(qū)可以訪問已發(fā)布的攻擊算法,，并有助于提供一個(gè)可擴(kuò)展的接口,，通過該接口可以開發(fā)、管理和發(fā)起對(duì)AI模型的攻擊,?！?/p>

　　Counterfit還可以用于滲透測試和紅隊(duì)AI系統(tǒng)（通過使用預(yù)加載的已發(fā)布攻擊算法），掃描其中的漏洞并進(jìn)行日志記錄（記錄針對(duì)目標(biāo)模型的攻擊）,。

　　Counterfit的另一個(gè)優(yōu)點(diǎn)是可以在使用不同數(shù)據(jù)類型（文本,、圖像或通用輸入）的AI模型上運(yùn)行。

　　在開放源代碼之前,，Microsoft已要求大型組織,、中小企業(yè)和政府組織中的合作伙伴針對(duì)其環(huán)境中的ML模型對(duì)該工具進(jìn)行測試，以確保它可以滿足每個(gè)人的需求,。

　　MITRE在最近的報(bào)告中指出：”過去三年中,，包括谷歌、亞馬遜,、微軟和特斯拉等公司的機(jī)器學(xué)習(xí)系統(tǒng)都曾被欺騙,、繞過或誤導(dǎo)，此類攻擊將來只會(huì)越來越多,?！?/p>