什么是對(duì)抗性機(jī)器學(xué)習(xí) （AML）？AML 是對(duì)數(shù)據(jù)或代碼進(jìn)行有目的的操作，以導(dǎo)致機(jī)器學(xué)習(xí) （ML） 算法出現(xiàn)故障或出現(xiàn)錯(cuò)誤預(yù)測(cè),。AML 的一個(gè)流行例子來(lái)自 Google 的一個(gè)團(tuán)隊(duì),，他們?cè)?GoogLeNet 上進(jìn)行了一項(xiàng)實(shí)驗(yàn),，GoogLeNet 是一種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),，在 2014 年贏得了 ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn),。該程序可以更高度地預(yù)測(cè)圖像是否是長(zhǎng)臂猿,。這種類型的操作相對(duì)容易執(zhí)行,，只需在原始算法中插入幾位代碼即可,。

　　資料來(lái)源： 解釋和利用對(duì)抗性示例，Goodfellow 等人,，ICLR 2015,。

　　在論文“大規(guī)模對(duì)抗性機(jī)器學(xué)習(xí)”中，Alexey Kurakin,、Ian Goodfellow 和 Sam Bengio 強(qiáng)調(diào)機(jī)器學(xué)習(xí)模型通常容易受到對(duì)抗性操縱,，最重要的是，許多機(jī)器學(xué)習(xí)算法非常容易受到基于模型的小修改或輸入的攻擊,。AML 的核心是利用 ML 基礎(chǔ)設(shè)施的高度脆弱性來(lái)改變預(yù)測(cè),。AML 技術(shù)的列表越來(lái)越多，但其中大多數(shù)攻擊都有可能未被發(fā)現(xiàn),。一些研究人員正在關(guān)注更有效的方法來(lái)對(duì) ML 程序進(jìn)行 AML 攻擊或微調(diào)他們的技術(shù),。其他人則專注于提高其 ML 算法的魯棒性。例如,，當(dāng)算法必須針對(duì)“真實(shí)世界”數(shù)據(jù)執(zhí)行時(shí)，算法的性能指標(biāo)會(huì)降低,。研究人員有目的地使用一些 AML 技術(shù)來(lái)提高其 ML 算法的魯棒性,，以便模型可以處理它在現(xiàn)實(shí)世界中可能遇到的自然擾動(dòng)。一些研究致力于識(shí)別和防御 AML 攻擊,。例如,，DARPA 有一個(gè)名為“保證 AI 魯棒性反欺騙”的研究機(jī)構(gòu)（GARD ） 是一個(gè)框架，組織可以使用它來(lái)識(shí)別系統(tǒng)漏洞,、表征將增強(qiáng)系統(tǒng)健壯性的屬性,，并鼓勵(lì)創(chuàng)建有效的防御。與 ML 一樣,，AML 世界并不新鮮,，但由于技術(shù)進(jìn)步，AML 社區(qū)每天都有重大發(fā)現(xiàn),。這使美國(guó)國(guó)防部 （DoD） 處于有利地位,，可以利用 AML 社區(qū)已經(jīng)進(jìn)行的研究并創(chuàng)建 AI 紅隊(duì)。仍有一些挑戰(zhàn)必須首先解決,。

　　美國(guó)國(guó)防部正在積極努力縮小國(guó)防與工業(yè)之間人工智能 （AI） 和機(jī)器學(xué)習(xí)方面的技術(shù)差距,，因?yàn)樯虡I(yè)行業(yè)處于領(lǐng)先地位。美國(guó)人工智能國(guó)家安全委員會(huì)在其最近發(fā)布的報(bào)告中提出了三個(gè)重要觀點(diǎn),。 首先,，要讓軍方在人工智能和機(jī)器學(xué)習(xí)方面保持競(jìng)爭(zhēng)優(yōu)勢(shì),，美國(guó)國(guó)防部技術(shù)采購(gòu)流程和文化思維需要發(fā)生重大轉(zhuǎn)變。其次,，美國(guó)國(guó)防部必須到 2025 年“準(zhǔn)備好人工智能”,，但缺乏這樣做所需的數(shù)字勞動(dòng)力和技術(shù)人才。第三,，反洗錢是一種真正的威脅,，但決策者并未將其列為優(yōu)先事項(xiàng)。這三個(gè)發(fā)現(xiàn)是美國(guó)國(guó)防部應(yīng)考慮創(chuàng)建 AI 紅隊(duì)的關(guān)鍵,。

　　解決美國(guó)國(guó)防部 AI 和 ML 算法存在的漏洞將是 AI 紅隊(duì)的主要任務(wù),，但隨著團(tuán)隊(duì)的成熟，它可能還會(huì)提供其他功能,。首先,，該團(tuán)隊(duì)將負(fù)責(zé)評(píng)估、演示和推薦可提高美國(guó)國(guó)防部算法穩(wěn)健性的行動(dòng),。有了專門的 AI 紅隊(duì),，美國(guó)國(guó)防部將有一個(gè)中央團(tuán)隊(duì)來(lái)解決和評(píng)估 AI 和 ML 漏洞。在短期內(nèi),，這個(gè)團(tuán)隊(duì)很可能會(huì)嚴(yán)重依賴研究社區(qū)和行業(yè)合作伙伴,，但美國(guó)國(guó)防部必須從某個(gè)地方開(kāi)始。通過(guò)建立 AI 紅隊(duì),，它為 AML 合作伙伴關(guān)系提供了一個(gè)國(guó)防部聯(lián)絡(luò)點(diǎn),。這將包括全國(guó)的研究實(shí)驗(yàn)室、外國(guó)合作伙伴,、其他聯(lián)邦機(jī)構(gòu)和學(xué)術(shù)機(jī)構(gòu),。隨著研究和學(xué)術(shù)界在人工智能、機(jī)器學(xué)習(xí)和對(duì)抗性機(jī)器學(xué)習(xí)領(lǐng)域不斷取得驚人的飛躍,，美國(guó)國(guó)防部將在談判桌前占有一席之地,，分享想法、新 TTP 和項(xiàng)目合作伙伴,。此外,，美國(guó)國(guó)防部將能夠縮小其隊(duì)伍中的培訓(xùn)和專業(yè)知識(shí)差距。雖然該團(tuán)隊(duì)最初可能因缺乏技術(shù)專長(zhǎng)而陷入困境,，但他們的運(yùn)營(yíng)專長(zhǎng)仍然有助于了解 AML 攻擊可能造成的運(yùn)營(yíng)影響,。

　　在短期內(nèi)，國(guó)防部可能不得不依靠外包 ML 和 AI 人才,，但在專門處理 AML 問(wèn)題集的任務(wù)后,，由運(yùn)營(yíng)專家和經(jīng)驗(yàn)豐富的技術(shù)專業(yè)人員組成的聯(lián)合團(tuán)隊(duì)將迅速開(kāi)發(fā)必要的 AI 和 ML 技能集。不難看出未來(lái),，美國(guó)國(guó)防部人工智能紅隊(duì)的選擇將變得類似于申請(qǐng)空軍武器學(xué)?；虺跫?jí)密碼學(xué)職業(yè),。最后，重要的是該組織是由美國(guó)國(guó)防部領(lǐng)導(dǎo),、國(guó)防部賦予任務(wù),、國(guó)防部派出人員，以及國(guó)防部具有創(chuàng)建和執(zhí)行權(quán)力,，因?yàn)閼?zhàn)爭(zhēng)的某些部分不應(yīng)外包或承包,。通過(guò)建立人工智能紅隊(duì)，它為美國(guó)國(guó)防部提供了一支通過(guò)戰(zhàn)爭(zhēng)視角專注于人工智能,、機(jī)器學(xué)習(xí)和反洗錢的部門,。創(chuàng)造的工具和技術(shù)，培養(yǎng)的人才,，解決的問(wèn)題,，所創(chuàng)造的成果將受到國(guó)防領(lǐng)域的推動(dòng)。在 AI 和 ML 方面,，美國(guó)國(guó)防部讓行業(yè)處于領(lǐng)先地位,。當(dāng)談到反洗錢時(shí)，美國(guó)國(guó)防部必須得到作為國(guó)家安全的授權(quán),。

　　Rena DeHenre 是美國(guó)空軍的一名情報(bào)官員,。她最近在 MIT-Lincoln Labs 完成了研究獎(jiǎng)學(xué)金，她專注于 AML 及其在網(wǎng)絡(luò)領(lǐng)域的影響,。她現(xiàn)在是高級(jí)航空航天學(xué)院的一名學(xué)生,。