深度學(xué)習成人工智能安全軟肋 潛在風(fēng)險不容忽視

　　雖然人工智能正給人類(lèi)生活帶來(lái)翻天覆地的變化，但是，很多人并未考慮到人工智能也存在諸多安全隱患，尤其是其核心的深度學(xué)習技術(shù)更是面臨著(zhù)眾多潛在威脅。隨著(zhù)深度學(xué)習應用越來(lái)越廣泛，越來(lái)越多的安全問(wèn)題也開(kāi)始暴露出來(lái)。

　　日前，360安全研究院結合過(guò)去一年對深度學(xué)習系統安全性的詳細研究，出具了《AI安全風(fēng)險白皮書(shū)》，白皮書(shū)指出：深度學(xué)習框架中的軟件實(shí)現漏洞、對抗機器學(xué)習的惡意樣本生成、訓練數據的污染等可能導致人工智能所驅動(dòng)的識別系統出現混亂，形成漏判或者誤判，甚至導致系統崩潰或被劫持，并可以使智能設備變成僵尸攻擊工具。

　　圖1：谷歌AlphaGo圍棋功力驚艷全球

　　近年來(lái)，以谷歌AlphaGo為代表的人工智能技術(shù)驚艷了世人眼球。大家都為人工智能高超的運算能力和縝密的邏輯判斷所驚呆。不過(guò)，一個(gè)事實(shí)卻是：AlphaGo的深度學(xué)習技術(shù)只是在封閉的環(huán)境下工作，并不與外界直接交互，因此它面臨的安全威脅相對較小。此外，其他受到關(guān)注的應用往往假定處于善意的或封閉的場(chǎng)景，例如高準確率的語(yǔ)音識別中的輸入都是自然采集而成，圖片識別中的輸入也都來(lái)自正常拍攝的照片，這些討論沒(méi)有考慮認為惡意構造或合成的場(chǎng)景。

　　以人工智能中最典型的手寫(xiě)數字識別為例：基于MNIST數據集的手寫(xiě)數字識別應用是深度學(xué)習的一個(gè)非常典型例子，其算法層所討論的分類(lèi)結果只關(guān)心特定類(lèi)別的近似度和置信概率區間，沒(méi)有考慮輸入會(huì )導致程序崩潰甚至被攻擊者劫持控制流。這其中被忽略掉的輸出結果反映出算法和實(shí)現上考慮問(wèn)題的差距，也就是所謂的人工智能安全盲點(diǎn)。

　　圖2：深度學(xué)習算法與安全所考慮的不同輸出場(chǎng)景

　　目前，已開(kāi)發(fā)的深度學(xué)習軟件基本都實(shí)現在深度學(xué)習框架上。應用開(kāi)發(fā)人員可直接在框架上構建自己的神經(jīng)元網(wǎng)絡(luò )模型，并利用框架提供的接口對模型進(jìn)行訓練。但是，這種框架雖然簡(jiǎn)化了深度學(xué)習應用的設計和開(kāi)發(fā)難度，但是也因為系統的復雜程度而暗藏風(fēng)險。

　　一個(gè)頗為尷尬的事實(shí)就是，只要深度學(xué)習框架以及它所依賴(lài)的任一組件存在漏洞，建立在框架上的應用系統也會(huì )隨之遭到威脅。另外模塊往往來(lái)自不同的開(kāi)發(fā)者，對模塊間的接口經(jīng)常有不同的理解。當這種不一致導致安全問(wèn)題時(shí)，模塊開(kāi)發(fā)者甚至會(huì )認為是其他模塊調用不合規范而不是自己的問(wèn)題。

　　圖3：深度學(xué)習框架以及框架組件依賴(lài)

　　為了掌握深度學(xué)習軟件存在的安全隱患，360 Team Seri0us 團隊在一個(gè)月內發(fā)現了數十個(gè)深度學(xué)習框架及其依賴(lài)庫中的軟件漏洞，包含了幾乎所有常見(jiàn)的漏洞類(lèi)型，例如內存訪(fǎng)問(wèn)越界，空指針引用，整數溢出，除零異常等。這些漏洞一旦被不法分子利用，就可能導致深度學(xué)習應用面臨拒絕服務(wù)、控制流挾持、分類(lèi)逃逸以及潛在的數據污染攻擊等風(fēng)險。

　　因此，在推進(jìn)人工智能技術(shù)應用的同時(shí)，我們更要著(zhù)眼于解決其中存在的安全隱患，使技術(shù)更好地為人類(lèi)的服務(wù)。作為國內最大的互聯(lián)網(wǎng)安全公司，未來(lái)360將致力于幫助行業(yè)及廠(chǎng)商解決人工智能的安全問(wèn)題，提升整個(gè)人工智能行業(yè)的安全系數。