對抗性數據需警惕 科學(xué)家已經(jīng)測試“欺騙”了一輛無(wú)人車(chē)

近年來(lái)，人工智能已經(jīng)取得了長(cháng)足的進(jìn)步，但正如許多人工智能使用者所表明的那樣，人工智能仍然容易出現一些人類(lèi)并不會(huì )犯的驚人錯誤。雖然這些錯誤有時(shí)可能是人工智能進(jìn)行學(xué)習時(shí)不可避免的后果，但越來(lái)越明顯的是，一個(gè)比我們意想中嚴重得多的問(wèn)題正帶來(lái)越來(lái)越大的風(fēng)險：對抗性數據。

對抗性數據描述了這樣一種情況，人類(lèi)用戶(hù)故意向算法提供已損壞的信息，損壞的數據打亂了機器學(xué)習過(guò)程，從而欺騙算法得出虛假的結論或不正確的預測。

作為一名生物醫學(xué)工程師，筆者認為對抗數據是一個(gè)值得關(guān)注的重要話(huà)題。最近，加州大學(xué)伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺騙”了一輛自動(dòng)駕駛汽車(chē)，讓它以為停車(chē)標志上的限速是每小時(shí)45英里。

這種性質(zhì)的惡意攻擊很容易導致致命的事故。同樣地，受損的算法數據可能導致錯誤的生物醫學(xué)研究，重則危及生命或影響醫學(xué)事業(yè)的創(chuàng )新發(fā)展。

直到最近，人們才意識到對抗性數據的威脅，我們不能再忽視它了。

對抗性數據是如何產(chǎn)生的呢？

有趣的是，即使不帶任何惡意，也可能產(chǎn)生對抗性數據的輸出。這在很大程度上是因為算法能夠“觀(guān)察”到我們人類(lèi)無(wú)法識別的數據中的東西。由于這種可見(jiàn)性，麻省理工學(xué)院最近的一個(gè)案例研究將對抗性描述為一種特性，而不是故障。

在這項研究中，研究人員將人工智能學(xué)習過(guò)程中的“魯棒性”和“非魯棒性”特征進(jìn)行了分離。魯棒特征通?？梢员蝗祟?lèi)感知到，而非魯棒特征只能被人工智能檢測到。研究人員嘗試用一種算法讓人工智能識別貓的圖片，結果顯示，系統通過(guò)觀(guān)察圖像中的真實(shí)模式，卻得出錯誤的結論。

錯誤識別發(fā)生的原因是，人工智能看到的是一組無(wú)法明顯感知的像素，使得它無(wú)法正確識別照片。這導致在識別算法的過(guò)程中，系統在無(wú)意中被訓練成使用誤導模式。

這些非魯棒性特征作為一種“干擾噪聲”，導致算法的結果存在缺陷。因此，黑客要想干擾人工智能，往往只需要引入一些非魯棒特性，這些特性不容易被人眼識別，但可以明顯地改變人工智能的輸出結果。

對抗性數據和黑暗人工智能的潛在后果

正如安全情報局的穆阿扎姆·汗所指出的，依賴(lài)于對抗性數據的攻擊主要有兩種類(lèi)型：“中毒攻擊”和“閃躲攻擊”。在中毒攻擊中，攻擊者提供了一些輸入示例，這些輸入示例使得決策邊界轉移向對攻擊者有利的方向；在閃躲攻擊中，攻擊者會(huì )使得程序模型對樣本進(jìn)行錯誤分類(lèi)。

例如，在筆者所熟悉的生物醫學(xué)環(huán)境中，對抗性數據的攻擊可能會(huì )導致算法錯誤地將有害或受污染的樣本標記為良性且清潔，這就可能導致錯誤的研究結果或不正確的醫療診斷。

讓人工智能學(xué)習算法也可以被用來(lái)驅動(dòng)專(zhuān)門(mén)為幫助黑客而設計的惡意人工智能程序。正如《惡意人工智能報告》所指出的，黑客可以利用人工智能為他們的各項破壞活動(dòng)提供便利，從而實(shí)現更廣泛的網(wǎng)絡(luò )攻擊。尤其，機器學(xué)習能夠繞過(guò)不安全的物聯(lián)網(wǎng)設備，讓黑客更容易竊取機密數據、違法操縱公司數據庫等等。本質(zhì)上，一個(gè)黑暗的人工智能工具可以通過(guò)對抗性數據來(lái)“感染”或操縱其他人工智能程序。中小型企業(yè)往往面臨更高的風(fēng)險，因為他們沒(méi)有先進(jìn)的網(wǎng)絡(luò )安全指標。

保護措施

盡管存在這些問(wèn)題，對抗性數據也可以被用于積極的方面。事實(shí)上，許多開(kāi)發(fā)人員已經(jīng)開(kāi)始使用對抗性數據來(lái)檢測自己的系統漏洞，從而使他們能夠在黑客利用漏洞之前實(shí)現安全升級。其他開(kāi)發(fā)人員正在使用機器學(xué)習來(lái)創(chuàng )建另一種人工智能系統，確保其能更擅長(cháng)識別和消除潛在的數據威脅。

正如喬·代沙爾特在一篇發(fā)表于“基因工程及生物技術(shù)新聞”的文章中所解釋的那樣，許多這些人工智能工具已經(jīng)能夠在計算機網(wǎng)絡(luò )上尋找可疑的活動(dòng)，分析時(shí)間通常為幾毫秒，并能夠在其造成任何損害之前消除禍端，這些罪魁禍首通常來(lái)自流氓文件或程序。

他補充說(shuō)，這種方法與傳統的信息技術(shù)安全不同，傳統的信息技術(shù)安全更關(guān)注于識別已知威脅的特定文件和程序，而不是研究這些文件和程序的行為。

當然，機器學(xué)習算法本身的改進(jìn)也可以減少對抗性數據帶來(lái)的一些風(fēng)險。然而，最重要的是，這些系統并不是完全獨立的。人工輸入和人工監督仍然是識別魯棒特征和非魯棒特征之間差異的關(guān)鍵，以確保錯誤的識別不會(huì )導致錯誤的結果。利用真實(shí)相關(guān)性的額外訓練可以進(jìn)一步降低人工智能的易受攻擊特性。

顯然，在不久的將來(lái)，對抗性數據將繼續對人類(lèi)世界構成挑戰。但在這樣一個(gè)時(shí)代，人工智能可以被用來(lái)幫助我們更好地理解人類(lèi)大腦、解決各種世界問(wèn)題。我們不能低估這種數據驅動(dòng)威脅的緊迫性。處理對抗性數據并采取措施對抗黑暗人工智能應該成為科技界的首要任務(wù)之一。