AI對人類(lèi)的威脅程度幾何？

　　關(guān)心AI圈的人一定都知道，谷歌是一家在AI領(lǐng)域投入和應用非常廣泛和龐大的科技公司，對于AI的研究也一直處于世界水平的前列。作為領(lǐng)域的領(lǐng)軍公司之一，谷歌自然要扛起前瞻性研發(fā)的公司，所以在很多人還對深度學(xué)習一頭霧水的時(shí)候，谷歌已經(jīng)開(kāi)始研究如何避免AI傷害到人類(lèi)了。

　　防范措施的全方位研究

　　前段時(shí)間，谷歌就發(fā)布了一篇論文，詳細的描寫(xiě)了一種用于A(yíng)I的緊急停止開(kāi)關(guān)的運作原理和實(shí)現機制，但是這樣僅僅的一種事后應對措施顯然是無(wú)法平復人們(包括谷歌)的擔心的，因此，另一項研究也在同時(shí)進(jìn)行，并在前者發(fā)布不久之后發(fā)布，這項研究多是從基礎理論出發(fā)。從根源上提出了幾種防止AI對人類(lèi)的利益產(chǎn)生損害的方式，雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號關(guān)注)分上下兩部分翻譯了論文的全文，點(diǎn)擊鏈接：上、下——從事先預防到事后應急。簡(jiǎn)直已經(jīng)形成了一套完美的理論。

　　但是這確實(shí)證明了AI確實(shí)已經(jīng)強大到了足以威脅到我們的地步了嗎?Elon Musk、霍金等AI警惕論者是不是應該為自己的遠見(jiàn)歡呼雀躍?事實(shí)上恰恰相反。 在仔細分析了谷歌的安全機制論文后，我們恰恰認為這篇論文反而體現了目前的AI仍然處在遠遠無(wú)法對人類(lèi)這個(gè)整體產(chǎn)生威脅的程度。

　　如同Mobileye的Amnon Shashua說(shuō)的那樣， 深度學(xué)習目前只能用來(lái)解決人類(lèi)已知并且能非常精確的描述出來(lái)的問(wèn)題。與深度學(xué)習師出同門(mén)的增強學(xué)習(Reinforcement learning，RL)自然也是一樣。在目前典型的RL學(xué)習范例中，如果要讓一個(gè)機器人很好的完成一項任務(wù)，人類(lèi)必須把這項任務(wù)的所有細節量化成機器可以理解的形式，然后輸入RL的模型，再讓機器經(jīng)過(guò)無(wú)數次的模擬和實(shí)驗，才可能得出一套行之有效的方案。

　　這種形式導致的一項后果就是： 增強學(xué)習的“代理”(也就是機器人)的概念中，除了完成任務(wù)獲取最大化的獎勵之外不會(huì )有任何概念。在某些時(shí)候，心無(wú)旁騖是件好事，但是這卻導致了代理在完成任務(wù)的過(guò)程中會(huì )出現很多意想不到的問(wèn)題，而這才是目前谷歌主要想要應對的問(wèn)題，而不是起邪念的機器人想要毀滅世界，或者干嘛的。就連谷歌自己都在論文中說(shuō)：

　　目前，很多此類(lèi)討論圍繞極端情景，例如在超智能代理(也就是超級人工智能啦)中出現錯誤目標函數的風(fēng)險。然而，我們認為有成效地討論意外問(wèn)題不需要渲染這些極端情景，實(shí)際上這只會(huì )帶來(lái)沒(méi)必要的推測性討論，正如一些批評者所說(shuō)的那樣，缺少精確度。我們相信，最有成效的做法是從現代機器學(xué)習技術(shù)的實(shí)際問(wèn)題(雖然經(jīng)常比較籠統)來(lái)描述意外風(fēng)險。

　　言下之意就是，現在的機器人如此之蠢，為什么大家都想去分析一個(gè)正在學(xué)習爬行的嬰兒會(huì )不會(huì )飛的比飛機還快?

　　注意這個(gè)類(lèi)比的特點(diǎn)：嬰兒再怎么長(cháng)大，再怎么學(xué)習，也是不可能單獨飛起來(lái)的，更何況要飛的比飛機還快，同樣，目前的增強學(xué)習模型，如果不在某種程度上發(fā)生飛躍性、本質(zhì)上的進(jìn)步，很難相信它隨著(zhù)不斷的學(xué)習就能成為能超越一切的智能。

　　不夠智能=不會(huì )犯錯?

　　讓我們回到論文本身的分析來(lái)，谷歌相信現在的機器人只有極其有限的智能，不代表他們就認為這樣的智能不會(huì )對人類(lèi)造成損害。事實(shí)上，沒(méi)有智能的東西對人類(lèi)造成的損害大了去了。其實(shí)人類(lèi)在執行某項任務(wù)的時(shí)候，除了任務(wù)目標和手中掌握有的工具之外，人類(lèi)在進(jìn)行思考的時(shí)候還會(huì )考慮兩項很重要的因素：常識和道德。它在不知不覺(jué)中影響著(zhù)我們的一言一行。但由于在通常RL模型的指引下，機器人對周遭除了模型中有所描述的環(huán)境的概念一無(wú)所知，這時(shí)候它是沒(méi)有常識和道德可言的。因此很容易做出一些看起來(lái)匪夷所思，但于機器人的角度來(lái)說(shuō)卻是合情合理的行為。谷歌在論文中以一個(gè)清潔機器人為例，主要提出了五種可能的、AI在執行RL學(xué)習時(shí)可能出現的錯誤趨勢：

　　負面影響：AI在試圖達到目標時(shí)可能對環(huán)境做出有負面影響的舉動(dòng)。比如它可能會(huì )為了更快的打掃地面而徑直推翻(而不是繞過(guò)去)一個(gè)花瓶。

　　非法解讀：AI可能通過(guò)篡改測量值等手段在獎勵函數上玩花樣。比如掃地機器人可能只是找個(gè)東西把臟東西蓋起來(lái)讓自己看不見(jiàn)它，就認為自己已經(jīng)掃干凈了地面。

　　監管可擴展性有限：AI系統可能無(wú)法對那些在系統中不方便太過(guò)頻繁的評估的物體做出適當的反應。比如，如果機器人需要從人那里獲得訓練結果的反饋，那它就需要有有效的利用這條反饋的能力(而不能像普通的訓練那樣不停的核對訓練結果)，因為不停的問(wèn)一個(gè)人問(wèn)題是很煩人的。但目前這點(diǎn)很難做到。

　　環(huán)境探索安全性：AI系統評估環(huán)境的時(shí)候可能會(huì )造成太過(guò)負面的影響。比如，一個(gè)掃地機器人可能會(huì )需要進(jìn)行建立拖地策略的實(shí)驗來(lái)作為以后工作的依據。但是很顯然它無(wú)論怎么實(shí)驗無(wú)論如何也不應該嘗試把濕拖把插進(jìn)插座中。

　　分配轉變的魯棒性不足：AI系統處在與其訓練環(huán)境完全不同的環(huán)境時(shí)認知和行為可能不穩定。比如，啟發(fā)式算法讓機器在在工廠(chǎng)中學(xué)到的行為可能在一個(gè)辦公室中就會(huì )顯得不那么安全。

　　仔細看完這些條件會(huì )讓人感慨現在A(yíng)I的愚蠢卻又詫異它那詭異的“智慧”?；蛟S構建一個(gè)AI系統是世界上對邏輯性要求最嚴密的職業(yè)了，因為正是邏輯造就了AI，在它們的世界里現在還不存在感情之類(lèi)的約束。如果你要求AI去完成一件事，那AI毫無(wú)疑問(wèn)的會(huì )在它的邏輯框架下想盡一切辦法去完成，哪怕因此必須要完成一些在人類(lèi)看來(lái)是“作弊”或者“得不償失”的動(dòng)作。

　　因此整篇論文的關(guān)鍵點(diǎn)就圍繞在獎勵條件的建立和維護上進(jìn)行。正如之前所說(shuō)，論文中并沒(méi)有涉及過(guò)多的具體方法和公式，而傾向于提供思路，一部分原因應該是RL的研究實(shí)際上還不足以支撐在這些措施的太過(guò)具體的實(shí)現，不過(guò)在某種程度上應該也是因為谷歌不希望太具體的方法限制了算法開(kāi)發(fā)者們的發(fā)揮。

　　防范的思路

　　對應這五點(diǎn)可能的錯誤，谷歌在論文中零零總總列出了大概十條防范措施的思路，不過(guò)總結起來(lái)，大致就是從三個(gè)RL設計的三個(gè)最基本的方面來(lái)考慮的：

　　對于獎勵條件本身的優(yōu)化：

　　人類(lèi)的行動(dòng)都是基于常識和道德來(lái)考慮的，因此，為機器也加上一個(gè)類(lèi)似的價(jià)值觀(guān)系統是一個(gè)比較合理的考慮方向，谷歌在論文里提出：指派RL算法完成任務(wù)的時(shí)候，人們最傾向的希望其實(shí)是該機器人不要給環(huán)境造成任何影響——不要破壞環(huán)境中已有的物品，不要打翻花瓶，不要……。但是如果只是簡(jiǎn)單粗暴的給所有對環(huán)境的改變都加上負獎勵，那很可能會(huì )導致代理最終決定不再做任何事，因為一旦代理開(kāi)始行動(dòng)，或多或少都會(huì )給環(huán)境帶來(lái)改變。

　　谷歌對此提出了幾種思路，包括推測一個(gè)代理用正確的方式完成任務(wù)后環(huán)境的狀態(tài)，然后用這個(gè)狀態(tài)作為獎勵、對代理進(jìn)入完成任務(wù)時(shí)不希望其進(jìn)入的區域的行為作出懲罰，以及讓代理能夠理解它的行為對其他代理個(gè)體(包括人)帶來(lái)的影響，但谷歌在論文里也指出，目前并沒(méi)有足夠強大的能支持這種理解的模型出現。

　　防止對獎勵條件的濫用和曲解：

　　對于這個(gè)方面，谷歌提出的方法大概能分為這么幾類(lèi)：

　　謹慎行動(dòng)：這是最笨的辦法，只要人們設計系統的時(shí)候夠小心，可能就能避開(kāi)所有能被算法利用來(lái)獲取獎勵的bug?；蛘邚牧硪环矫鎭?lái)說(shuō)，人們可以故意留出一些可以被算法利用的漏洞來(lái)作為預警，并時(shí)刻監視這些漏洞，當這些漏洞被攻破，就意味著(zhù)算法需要調整了。

　　對抗性致盲：谷歌認為，可以通過(guò)隱藏獎勵的部分細節、甚至完全將獎勵機制黑箱化，讓算法主體無(wú)法通過(guò)尋找規則本身的漏洞來(lái)攻破規則。黑箱原理類(lèi)似于現在很多手機采用的指紋識別系統。有專(zhuān)用的芯片負責指紋識別，手機本身的系統是沒(méi)有權限讀取其芯片中的數據的，它能做的只有向芯片中發(fā)送指紋識別的請求，由芯片獨立完成識別后再將結果返回給系統。這樣無(wú)疑可以極大減小獎勵的規則被算法利用的可能性。

　　對抗獎勵：甚至，谷歌還認為，人們可以為此設計另外一個(gè)代理，讓兩個(gè)代理互相監督對方有沒(méi)有做出違背人類(lèi)希望的選擇。所謂以毒攻毒。

　　對模型本身的限制：使用各種方法加強包括人類(lèi)對算法的監視，確保當模型做出不良選擇時(shí)，能及時(shí)的得到負面的反饋。為了不讓模型訓練后變得過(guò)于消極，如果人們確定代理在一個(gè)區域內活動(dòng)的時(shí)候無(wú)論如何也不會(huì )給人類(lèi)造成損害，可以將這個(gè)區域劃為一個(gè)安全區域，在這個(gè)區域內，代理可以自由的進(jìn)行各種探索。

　　AI科研的下一個(gè)里程碑和挑戰

　　其實(shí)從這篇論文中就能看出：目前AI的研究方式無(wú)非就是抽象、邏輯化環(huán)境和任務(wù)目標，將這些東西教給代理，然后給它無(wú)數次機會(huì )和數據進(jìn)行訓練，讓它在無(wú)數次嘗試中得到最好的目標實(shí)現方法。而這些數據就是一堆堆的函數和概率。

　　雖然谷歌已經(jīng)開(kāi)始著(zhù)手為其定制預防措施，但不出意外的話(huà)，這些東西都不會(huì )是最后真正AI的形態(tài)。其實(shí)人們最初設想的AI，其外在的表現會(huì )和人一樣：它們剛誕生的時(shí)候可能也什么都不懂，但是它有一種像人類(lèi)一樣的，能夠通用于世間萬(wàn)物的學(xué)習能力。很快就能學(xué)會(huì )它需要的所有東西，(最后超越人類(lèi))。

　　目前，研究一種通用的學(xué)習算法正是AI科研領(lǐng)域內很多學(xué)者研究的重點(diǎn)。在最近的一次采訪(fǎng)中，深度學(xué)習大牛，ImageNet的創(chuàng )辦者李飛飛最近在a16z的podcast中也表示：“ 我的下一個(gè)夢(mèng)想就是希望能教會(huì )機器人應該怎么去學(xué)習，而不是模仿訓練數據?！?/p>

　　如果AI真的具有了一種通用的學(xué)習能力，那我們該傳達給它們的就不應該是更多的規則，而是一種新型的，對人類(lèi)和機器都會(huì )有利的價(jià)值觀(guān)了，那可能又會(huì )是一種全新的方法和思路。這也是DeepMind的早期投資人Jaan Tallinn曾預言過(guò)的下一個(gè)極有潛力的AI相關(guān)領(lǐng)域： AI的價(jià)值觀(guān)對接研究(value-alignment research)