為什么深度學(xué)習如此容易被愚弄？AI研究員正努力修復神經(jīng)網(wǎng)絡(luò )缺陷

　　來(lái)源：nature

　　編譯：張大筆茹、小七

　　假設一輛自動(dòng)駕駛汽車(chē)看到停車(chē)標志時(shí)并沒(méi)有減速，而是加速駛入了繁忙的十字路口，從而導致了交通事故。事故報告顯示，停車(chē)標志的表面粘了四個(gè)小的矩形標志。這說(shuō)明一些微小擾動(dòng)就能愚弄車(chē)載人工智能（AI），使其將“停止”一詞誤讀為“限速45”。

　　目前，此類(lèi)事件還未發(fā)生，但是人為擾動(dòng)可能影響AI是非?，F實(shí)的。研究人員已經(jīng)展示了如何通過(guò)粘貼紙來(lái)欺騙AI系統誤讀停車(chē)標志，或者通過(guò)在眼鏡或帽子上粘貼印刷圖案來(lái)欺騙人臉識別系統，又或者通過(guò)在音頻中插入白噪聲使語(yǔ)音識別系統產(chǎn)生錯誤判斷。

　　這只是一些攻擊AI中領(lǐng)先的模式識別技術(shù)——深度神經(jīng)網(wǎng)絡(luò )（DNN）的小示例。事實(shí)證明，這些方法在正確分類(lèi)各種輸入方面（包括圖像、語(yǔ)音和有關(guān)消費者偏好的數據）非常成功。從自動(dòng)電話(huà)系統到流媒體服務(wù)Netflix上的用戶(hù)推薦，這都是日常生活中的一部分。對輸入進(jìn)行人類(lèi)難以察覺(jué)的微小更改，就能使周?chē)詈玫纳窠?jīng)網(wǎng)絡(luò )發(fā)生混淆。

　　加利福尼亞大學(xué)伯克利分校計算機科學(xué)博士生Dan Hendrycks表示，在這種不完美的技術(shù)中，這些問(wèn)題比特殊的怪癖更麻煩。像許多科學(xué)家一樣，他一開(kāi)始也認為其是DNN的內在缺陷：在訓練領(lǐng)域能出色地完成任務(wù)，但是一旦進(jìn)入陌生領(lǐng)域，就會(huì )因為各種原因而失效。

　　這可能會(huì )導致嚴重的問(wèn)題。越來(lái)越多的深度學(xué)習系統從實(shí)驗室走向現實(shí)世界，從自動(dòng)駕駛汽車(chē)到犯罪測量和診斷疾病。但是，今年一項研究報告稱(chēng)，惡意添加到醫學(xué)掃描中的圖像可能會(huì )使DNN誤檢測癌癥。另一方面，黑客可以利用這些弱點(diǎn)黑掉一個(gè)在線(xiàn)AI系統，從而運行自己的代碼。

　　努力尋找問(wèn)題根源的過(guò)程中，研究人員發(fā)現了許多DNN失敗的原因。位于加利福尼亞山景城的Google的AI工程師Franois Chollet認為，“DNN的內在缺陷是沒(méi)有解決辦法的。要克服這些缺陷，研究人員需要開(kāi)發(fā)額外的功能來(lái)增強模式匹配DNN，例如，使AI能夠自己探索世界，自己寫(xiě)代碼并保留記憶?！耙恍?zhuān)家認為，這將是未來(lái)十年AI的研究方向。

　　現實(shí)檢驗

　　2011年，谷歌開(kāi)發(fā)了一個(gè)可以識別YouTube視頻中的貓的系統，隨后不久便出現了一波基于DNN的分類(lèi)系統。加州舊金山Uber AI Labs的高級研究經(jīng)理，懷俄明大學(xué)拉拉米分校的杰夫·克勞恩（Jeff Clune）表示，不明就里的人都在說(shuō)，“哇，這太神奇了，計算機終于可以理解世界了”。

　　但只有AI研究人員知道DNN實(shí)際上并不了解世界。它們只是由許多數字神經(jīng)元組成的，分布在許多上下相互連接的各層網(wǎng)絡(luò )中的，類(lèi)似大腦結構的松散模型。

　　其思想是，原始輸入進(jìn)入底層的特征（例如圖像中的像素）會(huì )觸發(fā)其中一些神經(jīng)元，然后根據簡(jiǎn)單的數學(xué)規則將信號傳遞到上一層的神經(jīng)元，每次調整神經(jīng)元的連接方式，訓練DNN網(wǎng)絡(luò )涉及到將其暴露于大量示例中，以便最終頂層可以提供所需的答案。例如，即使DNN之前從未看到過(guò)該圖片，也能始終將獅子的圖片輸出為獅子。

　　2013年，Google研究員Christian Szegedy和他的同事發(fā)布了一份名為“神經(jīng)網(wǎng)絡(luò )的有趣特性”的預印本，這是對神經(jīng)網(wǎng)絡(luò )在現實(shí)應用的第一次檢驗。以獅子的圖像為例，即使改變一些像素，例如在圖像里添加圖書(shū)館背景，DNN能確認它看到了不同的內容，但是依然能識別圖中的獅子。小組稱(chēng)篡改的圖像為“對抗樣本”。