直覺(jué)有害！Facbook最新研究：易于解釋的神經(jīng)元會(huì )誤導DNN的學(xué)習

　　編譯|蔣寶尚

　　關(guān)于A(yíng)I是什么，學(xué)界和業(yè)界已經(jīng)給出了非常多的定義，但是對于A(yíng)I理解，探討尚不足。換句話(huà)說(shuō)，計算機科學(xué)家解釋深度神經(jīng)網(wǎng)絡(luò )（DNNs）的能力大大落后于我們利用其取得有用結果的能力。

　　當前理解深度神經(jīng)網(wǎng)絡(luò )的常見(jiàn)做法是在單個(gè)神經(jīng)元特性上“折騰”。例如，激活識別貓圖像的神經(jīng)元，而關(guān)閉其他神經(jīng)元的“控制變量法”。這種方法的學(xué)術(shù)術(shù)語(yǔ)叫做“類(lèi)選擇性”。

　　由于直觀(guān)和易理解，“類(lèi)選擇性”在學(xué)界廣泛應用。誠然，在訓練過(guò)程中，這類(lèi)可解釋的神經(jīng)元確實(shí)會(huì )“選擇性地”出現在各種不同任務(wù)網(wǎng)絡(luò )中。例如，預測產(chǎn)品評論的神經(jīng)網(wǎng)絡(luò )，選擇性地含有識別積極或消極情緒的神經(jīng)元。

　　那么，問(wèn)題來(lái)了！這些易于解釋的神經(jīng)元是深度神經(jīng)網(wǎng)絡(luò )發(fā)揮作用所必須的么？

　　答案是：否。

　　這就像研究汽車(chē)尾氣和理解汽車(chē)速度推動(dòng)力一樣，畢竟汽車(chē)尾氣和速度有關(guān)，但并不是汽車(chē)的動(dòng)力。顯然，在此例子中，“類(lèi)選擇”應該是發(fā)動(dòng)機還是尾氣？這是個(gè)疑問(wèn)句。

　　因此，在最新一篇論文中“SELECTIVITY CONSIDERED HARMFUL:EVALUATING THE CAUSAL IMPACT OF CLASS SELECTIVITY IN DNNS”，Facebook AI的研究人員經(jīng)過(guò)研究，用證據斷言：即使神經(jīng)元沒(méi)有“類(lèi)選擇性”，深度神經(jīng)網(wǎng)絡(luò )也能發(fā)揮作用。事實(shí)上，易于解釋的神經(jīng)元會(huì )損害深度神經(jīng)網(wǎng)絡(luò )的功能，甚至使網(wǎng)絡(luò )更容易受到隨機失真輸入的影響。

　　FB AI論文：類(lèi)選擇性的因果影響。地址：https://arxiv.org/pdf/2003.01262.pdf

　　具體而言，研究人員開(kāi)發(fā)了一種新的技術(shù)，在能夠直接控制DNN神經(jīng)元的類(lèi)別選擇性的情況下，得出了上述結論。

　　這個(gè)結論有助于證明，如果這些方法沒(méi)有經(jīng)過(guò)嚴格的測試和驗證的話(huà)，用過(guò)度依賴(lài)基于直覺(jué)的方法來(lái)理解深度神經(jīng)網(wǎng)絡(luò )會(huì )被誤導。

　　因此，為了充分理解人工智能系統，必須努力尋找不僅是直觀(guān)的，而且是以經(jīng)驗為基礎的方法。

　　發(fā)現了什么？

　　類(lèi)選擇雖然作為一種工具已經(jīng)廣泛應用于深度神經(jīng)網(wǎng)絡(luò )的可解釋性，但是易于解釋的神經(jīng)元對于深度神經(jīng)網(wǎng)絡(luò )的重要性的研究尚少。近期，雖然也有相關(guān)研究，但不同的研究報告得出了相互矛盾的結果，例如上述論文。

　　Facebook AI的研究員用一種操縱“類(lèi)選擇性”的新方法解決了這個(gè)問(wèn)題：當訓練網(wǎng)絡(luò )對圖像進(jìn)行分類(lèi)時(shí)，我們不僅指示網(wǎng)絡(luò )提高其分類(lèi)圖像的能力，還增加了減少(或增加)其神經(jīng)元中類(lèi)選擇性數量的約束。

　　如上圖所示，研究員展示了在深度神經(jīng)網(wǎng)絡(luò )中操縱神經(jīng)元的類(lèi)選擇性如何影響DNN正確分類(lèi)圖像的能力（特別是對于在小規模ImageNet上訓練的ResNet18）。上圖中的每個(gè)點(diǎn)代表一個(gè)DNN。圓點(diǎn)的顏色代表了阻止或者鼓勵DNN神經(jīng)元中類(lèi)選擇性的程度。X軸表示DNN中神經(jīng)元的平均類(lèi)別選擇性，y軸表示DNN對圖像分類(lèi)的精確度。

　　灰色點(diǎn)意味著(zhù)中性，代表此類(lèi)型中DNN中自然出現的類(lèi)選擇性水平，將其用作比較分類(lèi)精度的基線(xiàn)。

　　研究發(fā)現，通過(guò)不鼓勵類(lèi)選擇性(藍點(diǎn))，可以將測試準確率提高2%以上。相反，鼓勵類(lèi)選擇性(紅點(diǎn))會(huì )對DNN的圖像分類(lèi)能力產(chǎn)生迅速的負面影響。此外，研究員還放大了數據的一個(gè)子集，更好地說(shuō)明了減少和增加類(lèi)選擇性的效果。

　　綜上，研究員使用一個(gè)單一參數控制研究類(lèi)選擇性對網(wǎng)絡(luò )的重要性。改變這個(gè)參數可以改變鼓勵激活還是阻止激活容易解釋的神經(jīng)元，以及改變到什么程度。這提供了一個(gè)單一的旋鈕（single knob），可以用它來(lái)操縱網(wǎng)絡(luò )中所有神經(jīng)元的類(lèi)選擇性。用這個(gè)旋鈕做了實(shí)驗，發(fā)現：

　　1、當阻止激活DNNs的類(lèi)選擇性時(shí)，對性能的影響很小，在某些情況下甚至提高了性能。這些結果表明，盡管DNN在任務(wù)和模型中無(wú)處不在，但類(lèi)選擇性并不是DNN功能的重要組成部分，有時(shí)甚至會(huì )對DNN功能產(chǎn)生負面影響。

　　2、當我們增加DNNs中的類(lèi)選擇性時(shí)，我們發(fā)現對網(wǎng)絡(luò )性能有顯著(zhù)的負面影響。這表明，類(lèi)選擇性的存在并不能保證DNN將正常工作。

　　3、與研究環(huán)境相比，部署在現實(shí)世界中的DNN通常處理更多噪聲和更多失真的數據。例如，DNN在訓練過(guò)程中，可能會(huì )從維基百科上看到非常清晰的貓的圖像，而在現實(shí)世界中，DNN需要處理一張黑暗的、模糊的貓逃跑的圖像。此外，類(lèi)選擇性的降低使得DNN對諸如模糊和噪聲之類(lèi)的自然扭曲具有更強的魯棒性。有趣的是，降低類(lèi)選擇性也使DNN更容易受到有針對性的攻擊，在這些攻擊中，圖像被有目的地篡改從而欺騙DNN。

　　這些結論之所以出人意料，有兩個(gè)原因：一是類(lèi)選擇性已被廣泛用于理解DNN的功能，二是類(lèi)選擇性在大多數DNN中是自然存在的。

　　研究人員的發(fā)現還表明，在沒(méi)有類(lèi)選擇性操作的情況下，DNN自然會(huì )學(xué)習盡可能多的類(lèi)選擇性，而不會(huì )對性能產(chǎn)生負面影響。

　　這引出了一個(gè)更深層次的問(wèn)題，研究人員希望在未來(lái)的工作中回答這個(gè)問(wèn)題：如果對于良好的性能不是必需的，為什么網(wǎng)絡(luò )要學(xué)習類(lèi)選擇性？