易于解釋的神經(jīng)元對(duì)于提升神經(jīng)網(wǎng)絡(luò)的性能來(lái)說(shuō)是必要的嗎,？Facebook 的研究者給出了出人意料的答案,。
AI 模型能「理解」什么,？為什么能理解這些東西,？回答這些問(wèn)題對(duì)于復(fù)現(xiàn)和改進(jìn) AI 系統(tǒng)至關(guān)重要,。但遺憾的是,，計(jì)算機(jī)科學(xué)家在解釋深度神經(jīng)網(wǎng)絡(luò)（DNN）方面的能力遠(yuǎn)遠(yuǎn)落后于我們利用這些網(wǎng)絡(luò)獲取有用成果的能力,。
理解 DNN 的一類(lèi)常見(jiàn)方法是聚焦于單個(gè)神經(jīng)元的屬性,，如找到一個(gè)能夠被貓的圖像而非其他類(lèi)型的圖像激活的神經(jīng)元,。我們把這種對(duì)于特定圖像類(lèi)型的偏好稱(chēng)之為「類(lèi)選擇性（class selectivity）」,。
選擇性的應(yīng)用非常廣泛，部分原因在于它直觀,、易懂,，而且這些類(lèi)型的神經(jīng)元其實(shí)會(huì)自然地出現(xiàn)于多種不同任務(wù)上訓(xùn)練的網(wǎng)絡(luò)中。例如,，為不同類(lèi)型圖像分類(lèi)任務(wù)訓(xùn)練的 DNN 包含針對(duì)拉布拉多尋回犬激活最強(qiáng)烈（有選擇性）的單個(gè)神經(jīng)元,。為了預(yù)測(cè)產(chǎn)品評(píng)論中單個(gè)字母而訓(xùn)練的神經(jīng)元包含對(duì)積極 / 消極情緒具有選擇性的神經(jīng)元。
但是,，要想讓 DNN 發(fā)揮作用,，這些易于解釋的神經(jīng)元真的是必要的嗎？這就好比通過(guò)汽車(chē)的排氣管來(lái)研究其推進(jìn)系統(tǒng),。盡管排氣管與車(chē)速有一定關(guān)系,，但推動(dòng)汽車(chē)前進(jìn)的并不是它。那么，類(lèi)選擇性到底是「引擎」還是「排氣管」的一部分,？
頗為意外的是,，F(xiàn)acebook 的研究者發(fā)現(xiàn)，有強(qiáng)烈的證據(jù)表明即使 DNN 的大部分神經(jīng)元沒(méi)有類(lèi)選擇性,，它也能運(yùn)轉(zhuǎn)良好,。他們還表示，其實(shí),，易于解釋的神經(jīng)元可能會(huì)損害 DNN 的功能并使其更容易受到任意扭曲的輸入的影響,。
為了研究這一問(wèn)題，研究者開(kāi)發(fā)了一種新的技術(shù)來(lái)直接控制 DNN 神經(jīng)元的類(lèi)選擇性,。他們的研究結(jié)果表明,，在理解 DNN 時(shí)過(guò)度依賴(lài)基于直覺(jué)的方法可能具有誤導(dǎo)性，如果這些方法沒(méi)有經(jīng)過(guò)嚴(yán)格的測(cè)試和驗(yàn)證,。要完全理解 AI 系統(tǒng),，我們必須尋找那些不僅依靠直覺(jué)，還經(jīng)歷過(guò)實(shí)驗(yàn)檢驗(yàn)的方法,。
Facebook 研究者的發(fā)現(xiàn)
盡管很多研究者已經(jīng)將類(lèi)選擇性當(dāng)做 DNN 可解釋性的一個(gè)工具進(jìn)行了廣泛的研究,，但令人意外的是，很少有人去研究易于解釋的神經(jīng)元對(duì)于 DNN 發(fā)揮最佳作用是否必要,。最近,，部分研究者已經(jīng)開(kāi)始了這一問(wèn)題的探索，但不同的研究給出了不同的結(jié)論,。
在此背景下,，F(xiàn)acebook AI 的研究者通過(guò)一種新的類(lèi)選擇性操縱方法來(lái)探索上述問(wèn)題。在訓(xùn)練一個(gè)圖像分類(lèi)網(wǎng)絡(luò)時(shí),，他們不僅指導(dǎo)網(wǎng)絡(luò)提高其分類(lèi)圖像的能力,，還添加了一個(gè)降低（或提高）神經(jīng)元中類(lèi)選擇性程度的激勵(lì),。
上圖顯示了操縱類(lèi)選擇性神經(jīng)元如何影響 DNN 正確分類(lèi)圖像的能力（在 Tiny ImageNet 上訓(xùn)練的 ResNet18）,。每個(gè)點(diǎn)代表一個(gè) DNN。點(diǎn)的顏色代表類(lèi)選擇性在 DNN 神經(jīng)元中被激勵(lì)的程度,。x 軸表示 DNN 神經(jīng)元間的平均類(lèi)選擇性,，y 軸表示 DNN 圖像分類(lèi)的準(zhǔn)確性?；疑狞c(diǎn)表示中立——既不鼓勵(lì)也不抑制類(lèi)選擇性——表示這種類(lèi)型 DNN 在自然狀態(tài)下的類(lèi)選擇性發(fā)生水平,，研究者將其作為一個(gè)比較分類(lèi)準(zhǔn)確率的基線(xiàn)。通過(guò)抑制類(lèi)選擇性（藍(lán)色點(diǎn)）,，我們可以將測(cè)試準(zhǔn)確率提高 2% 以上,。相比之下，激勵(lì)類(lèi)選擇性（紅色的點(diǎn)）會(huì)對(duì) DNN 的圖像分類(lèi)能力產(chǎn)生明顯的負(fù)面影響。
在具體操作上,，研究者通過(guò)在用于訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)中添加一個(gè)類(lèi)選擇性項(xiàng)來(lái)實(shí)現(xiàn)這一點(diǎn),。他們使用一個(gè)參數(shù)來(lái)控制類(lèi)選擇性對(duì)于網(wǎng)絡(luò)的重要性。通過(guò)這個(gè)參數(shù)可以激勵(lì)或抑制易于解釋的神經(jīng)元,，以及激勵(lì) / 抑制的程度,。這樣的話(huà)，研究者就相當(dāng)于掌握了一個(gè)旋鈕,，通過(guò)這個(gè)旋鈕可以操縱網(wǎng)絡(luò)中所有神經(jīng)元的類(lèi)選擇性,。他們借助這個(gè)旋鈕進(jìn)行了實(shí)驗(yàn)，以下是實(shí)驗(yàn)的結(jié)果：
1. 減少 DNN 的類(lèi)選擇性對(duì)于性能的影響非常小,，在某些情況下甚至?xí)?lái)性能的提升,。這些結(jié)果表明，盡管類(lèi)選擇性在多種任務(wù)和模型中普遍存在,，但它并不是 DNN 發(fā)揮作用所必需的,，有時(shí)甚至?xí)l(fā)揮負(fù)面作用；
2. 在增加類(lèi)選擇性時(shí),，可以發(fā)現(xiàn) DNN 性能顯著下降,。這一結(jié)果表明，類(lèi)選擇性的存在并不能保證 DNN 的良好運(yùn)行,；
3. 與學(xué)術(shù)環(huán)境相比,，部署到現(xiàn)實(shí)世界的 DNN 通常要處理更加嘈雜、有挑戰(zhàn)性的數(shù)據(jù),。研究者發(fā)現(xiàn),，減少類(lèi)選擇性之后，DNN 在處理有噪聲,、扭曲的數(shù)據(jù)時(shí)更加穩(wěn)健,。有趣的是，減少類(lèi)選擇性也使得 DNN 更容易受到針對(duì)性的攻擊（故意操縱圖像來(lái)欺騙 DNN）,。
Facebook 的研究者認(rèn)為,，我們之所以對(duì)這些結(jié)果感到驚訝，可以歸結(jié)為兩方面的原因,。首先,，由于類(lèi)選擇性天然地存在于多數(shù) DNN 中，它已經(jīng)被廣泛地用于理解 DNN 的性能,。本文中的研究也表明,，在沒(méi)有類(lèi)選擇性操縱的情況下，DNN 自然而然地學(xué)習(xí)盡可能多的類(lèi)選擇性,，而不會(huì)對(duì)性能產(chǎn)生負(fù)面影響,。這就引出了 Facebook 研究者希望在未來(lái)工作中回答的一個(gè)更深層次的問(wèn)題：如果類(lèi)選擇性對(duì)良好的表現(xiàn)來(lái)說(shuō)不是必需的,，為什么網(wǎng)絡(luò)要學(xué)習(xí)它呢？
研究意義
研究者希望,，他們提出的這個(gè)類(lèi)選擇性旋鈕能夠鼓勵(lì)其他研究者利用該技術(shù)進(jìn)一步研究類(lèi)選擇性在 DNN 中扮演的角色,。重要的是，他們開(kāi)發(fā)的理解復(fù)雜神經(jīng)網(wǎng)絡(luò)系統(tǒng)的方法是基于有意義的特征,。研究者表示,，如果能夠訓(xùn)練一個(gè)沒(méi)有貓神經(jīng)元也能很好地識(shí)別貓的 DNN，我們就不應(yīng)該試圖通過(guò)關(guān)注貓的神經(jīng)元來(lái)理解 DNN,。相比之下,，AI 研究者應(yīng)該更多地關(guān)注、分析大群神經(jīng)元是如何一起工作的,。
從更廣泛的意義上來(lái)說(shuō),，研究者認(rèn)為，他們的研究為將單個(gè)神經(jīng)元特性作為理解 DNN 性能關(guān)鍵的方法提了個(gè)醒,。在得出這些結(jié)論之后,，他們還考察了一些廣泛使用的可解釋性方法如何產(chǎn)生有誤導(dǎo)性的結(jié)果。
為了解決這些問(wèn)題,，他們發(fā)表了一篇立場(chǎng)論文來(lái)評(píng)估兩個(gè)個(gè)案研究,。