清華大學(xué)聯(lián)合阿里安全,、瑞萊智慧 RealAI 等頂尖團(tuán)隊(duì)發(fā)布首個(gè)公平,、全面的 AI 對(duì)抗攻防基準(zhǔn)平臺(tái),。AI 模型究竟是否安全,，攻擊和防御能力幾何,？只需提交至該平臺(tái)，就可見能力排行,。
從發(fā)展的角度來(lái)看,，人工智能正在從第一代的知識(shí)驅(qū)動(dòng)和第二代的數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)向第三代的多元驅(qū)動(dòng),，知識(shí)、數(shù)據(jù),、算法和算力成為四大因素,。安全可控也成為第三代人工智能的核心發(fā)展目標(biāo)，數(shù)據(jù)與算法安全成為學(xué)界和業(yè)界人士重點(diǎn)關(guān)注的研究主題之一,。其中,，在數(shù)據(jù)安全層面，數(shù)據(jù)泄露和投毒是造成數(shù)據(jù)安全風(fēng)險(xiǎn)的兩個(gè)重要根源,；在算法安全層面,，對(duì)抗樣本對(duì)人臉識(shí)別、身份認(rèn)證以及刷臉閘機(jī)等人工智能應(yīng)用的安全性構(gòu)成了巨大的挑戰(zhàn),。
近年來(lái),，我們更是看到了很多場(chǎng)景中 AI 算法被攻破的典型案例。自 2016 年以來(lái),，特斯拉 Model S,、Model X 和車輛搭載的 Autopilot 自動(dòng)輔助駕駛系統(tǒng)曾先后被騰訊科恩安全實(shí)驗(yàn)室攻破，高危安全漏洞和 AI 算法的缺陷使車輛處于危險(xiǎn)的狀態(tài),，并嚴(yán)重威脅人身和財(cái)產(chǎn)安全,；2021 年，19 款使用 2D 人臉識(shí)別技術(shù)的國(guó)產(chǎn)安卓手機(jī)被 RealAI 利用具備對(duì)抗攻擊能力的特制眼鏡成功解鎖,，由此引發(fā)了人們對(duì)人臉支付,、線上身份驗(yàn)證等的擔(dān)憂。
在 AI 模型和算法面臨種種挑戰(zhàn)的情況下,，如何準(zhǔn)確地探知各個(gè) AI 攻防模型的攻防能力變得愈加重要,。這時(shí)，如果出現(xiàn)一個(gè)平臺(tái)能夠?qū)?AI 模型和算法的攻防能力做出排名,，那么我們就能夠及時(shí)地調(diào)整改進(jìn),，并有的放矢地采取防范措施，也就可以降低技術(shù)落地過(guò)程中的安全風(fēng)險(xiǎn),。
在 2021 年北京智源大會(huì)上,，清華大學(xué)聯(lián)合阿里安全、瑞萊智慧 RealAI 發(fā)布了業(yè)內(nèi)最新的基于深度學(xué)習(xí)模型的對(duì)抗攻防基準(zhǔn)平臺(tái)（Adversarial Robustness Benchmark）,，此基準(zhǔn)可以更加公平,、全面地衡量不同 AI 攻防算法的效果，提供方便使用的魯棒性測(cè)試工具,，全面衡量 AI 攻防模型的攻防能力,。用戶可以通過(guò)提交模型的方式獲取攻防能力排名。
構(gòu)建公平,、全面 AI 對(duì)抗攻防基準(zhǔn)平臺(tái)的必要性
深入研究潛在針對(duì)機(jī)器學(xué)習(xí)模型的攻擊算法,，對(duì)提高機(jī)器學(xué)習(xí)安全性與可信賴性有重要意義,。以往，研究者在衡量模型的防御性能時(shí),，基本只在一種攻擊算法下進(jìn)行測(cè)試,，顯然不夠全面。攻擊算法是經(jīng)常變化的,，需要考慮模型在多種攻擊算法和更強(qiáng)攻擊下的防御能力，這樣才能比較系統(tǒng)地評(píng)估 AI 模型的防御能力,。
與此同時(shí),，業(yè)界此前提出的各種「攻擊算法排行榜」只包含一些零散的算法，測(cè)量攻擊算法的環(huán)境也只包含單一的防御算法,，用于評(píng)測(cè)的數(shù)據(jù)集也不多,，更沒(méi)有合適的統(tǒng)計(jì)和度量標(biāo)準(zhǔn)。
因此,，此次推出的 AI 對(duì)抗安全基準(zhǔn)基本上包含了目前主流的人工智能對(duì)抗攻防模型,，涵蓋了數(shù)十種典型的攻防算法。不同算法比測(cè)的過(guò)程中盡量采用了相同的實(shí)驗(yàn)設(shè)定和一致的度量標(biāo)準(zhǔn),，從而在最大限度上保證了比較的公平性,。
AI 算法的攻擊結(jié)果和防御結(jié)果排名示例，左為防御算法排名,，右為攻擊算法排名,。
基準(zhǔn)測(cè)試平臺(tái)網(wǎng)站：http://ml.cs.tsinghua.edu.cn/adv-bench
通過(guò)對(duì) AI 算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法的性能,，對(duì)于建立 AI 安全基準(zhǔn)具有重要學(xué)術(shù)意義,，可以更加公平、全面地衡量不同算法的效果,。
阿里巴巴安全部技術(shù)總監(jiān)薛暉表示,，「參與推進(jìn)這項(xiàng)研究工作，除了幫助 AI 模型進(jìn)行安全性的科學(xué)評(píng)估,，也是為了促進(jìn) AI 行業(yè)進(jìn)一步打造『強(qiáng)壯』的 AI,。
AI 攻防基準(zhǔn)平臺(tái)的發(fā)展及意義
近幾年來(lái)，關(guān)于 AI 對(duì)抗攻防的國(guó)際賽事不斷涌現(xiàn),，如生成對(duì)抗網(wǎng)絡(luò)之父 Ian Goodfellow 牽頭組織的 NIPS 2017 對(duì)抗樣本攻防競(jìng)賽,、2018 DEFCON CAAD CTF 對(duì)抗攻防賽等。其中,，在 NIPS 2017 對(duì)抗樣本攻防競(jìng)賽,，朱軍教授團(tuán)隊(duì)包攬全部三個(gè)項(xiàng)目的冠軍。
2020 年,，清華大學(xué)人工智能研究院研發(fā)并開源了 AI 對(duì)抗安全算法平臺(tái) ARES（Adversarial Robustness Evaluation for Safety）,。這是一個(gè)用于對(duì)抗機(jī)器學(xué)習(xí)研究的 Python 庫(kù),，致力于對(duì)圖像分類任務(wù)上不同模型的對(duì)抗魯棒性進(jìn)行準(zhǔn)確和全面的基準(zhǔn)測(cè)試。這個(gè)算法平臺(tái)也是本次發(fā)布的 AI 對(duì)抗魯棒測(cè)評(píng)基準(zhǔn)的主要依托,。
GitHub 項(xiàng)目地址：https://github.com/thu-ml/ares
論文地址：https://arxiv.org/pdf/1912.11852.pdf
在該基準(zhǔn)測(cè)試中,，研究者將 16 種防御模型（CIFAR-10 和 ImageNet 數(shù)據(jù)集上各占一半）和 15 種攻擊方法用于對(duì)抗魯棒性評(píng)估。下圖（上）為防御模型,，圖（下）為攻擊方法（其中 FGSM,、BIM 和 MIM 分別采用了白盒和基于遷移的攻擊）。該基準(zhǔn)測(cè)試匯集了當(dāng)前主流和代表性的對(duì)抗攻擊和防御算法,，論文也入選了 CVPR 2020 Oral,。
除了數(shù)十種典型的攻防算法之外，本次發(fā)布的 AI 安全排行榜也包括了剛剛結(jié)束的 CVPR 2021 人工智能攻防競(jìng)賽中誕生的排名前 5 代表隊(duì)的攻擊算法,。此次競(jìng)賽吸引到了全球 2000 多支代表隊(duì)提交最新算法,，選手基于 ARES 平臺(tái)提交攻擊算法，對(duì)已有對(duì)抗防御模型進(jìn)行準(zhǔn)確的魯棒性測(cè)試,，進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可信性,。
CVPR 2021 人工智能攻防競(jìng)賽中「賽道 1 防御模型白盒對(duì)抗攻擊」排名前 5 的隊(duì)伍。
因此,，基于前期研究成果以及 CVPR 2021 人工智能攻防競(jìng)賽中提交的算法,，清華大學(xué)聯(lián)合阿里安全、RealAI 發(fā)布了最新的 AI 對(duì)抗魯棒性測(cè)評(píng)基準(zhǔn)平臺(tái),。完整時(shí)間線如下：
RealAI 副總裁唐家渝表示：「該基準(zhǔn)評(píng)測(cè)平臺(tái)利用典型的攻防算法和 CVPR 2021 比賽積累的多個(gè)性能優(yōu)越的算法進(jìn)行互相評(píng)估,，代表當(dāng)前安全與穩(wěn)定性測(cè)量的國(guó)際標(biāo)準(zhǔn)?！?/p>
清華,、阿里安全和 RealAI 三方均強(qiáng)調(diào)，該基準(zhǔn)評(píng)測(cè)平臺(tái)不是專屬于某一家機(jī)構(gòu)或者公司搭建的平臺(tái),，需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面,、權(quán)威的 AI 安全評(píng)估平臺(tái)。因此,，三方將聯(lián)合不斷在排行榜中注入新的攻擊和防御算法,，并且歡迎學(xué)術(shù)界和產(chǎn)業(yè)界的團(tuán)隊(duì)通過(guò) ARES 平臺(tái)提交新的攻防模型。
該平臺(tái)的發(fā)布對(duì)工業(yè)界和學(xué)術(shù)界都能帶來(lái)正面的影響,，比如工業(yè)界可以使用該平臺(tái)評(píng)估目前 AI 服務(wù)的安全性,，發(fā)現(xiàn)模型的安全漏洞。同時(shí),，也可為學(xué)術(shù)界提供一個(gè)全面,、客觀、公平,、科學(xué)的行業(yè)標(biāo)準(zhǔn),，推動(dòng)整個(gè)學(xué)術(shù)界在 AI 對(duì)抗攻防領(lǐng)域的快速發(fā)展,。
