我們真的永遠也理解不了人工智能嗎？

　　這似乎支持了尤辛斯基的論斷：這些面部神經(jīng)元尋找的確實(shí)是面部圖像。但還有一個(gè)問(wèn)題：在生成這些圖像的過(guò)程中，該流程依賴(lài)了一種名為“自然圖像優(yōu)先”的統計學(xué)約束，因此其生成的圖像均會(huì )模仿真實(shí)物體照片的結構。而當他去除這些規則后，該工具包仍會(huì )選取被其標記為“信度最大”的圖片，但這些圖片看上去就像電視機失去信號時(shí)的“雪花”一樣。事實(shí)上，尤辛斯基指出，AlexNet傾向于選擇的大部分圖片在人眼看來(lái)都是一片亂糟糟的“雪花”。他承認道：“很容易弄清如何讓神經(jīng)網(wǎng)絡(luò )生成極端結果?！?/p>本文引用地址：http://dyxdggzs.com/article/201807/389720.htm

　　圖為深度神經(jīng)網(wǎng)絡(luò )中的單個(gè)神經(jīng)元(由綠框標出)對尤辛斯基的面部圖像做出反應，就像人腦的某個(gè)腦區(標為黃色)也會(huì )對面部圖像做出反應一樣

　　為避免這些問(wèn)題，弗吉尼亞理工大學(xué)電子與計算機工程助理教授杜魯夫·巴特拉采用了一種更高級的實(shí)驗方法對深度網(wǎng)絡(luò )進(jìn)行解讀。他沒(méi)有去試圖尋找網(wǎng)絡(luò )內部結構的規律，而是用一種眼動(dòng)追蹤技術(shù)分析神經(jīng)網(wǎng)絡(luò )的行為。在研究生阿比謝克·達斯和哈什·阿格拉瓦爾的帶領(lǐng)下，巴特拉的團隊向一個(gè)深度網(wǎng)絡(luò )就某張圖片提問(wèn)，如房間窗戶(hù)上是否有窗簾等等。不同于A(yíng)lexNet或類(lèi)似系統，達斯的網(wǎng)絡(luò )每次只關(guān)注圖片的一小部分，然后“掃視”圖片各處，直到該網(wǎng)絡(luò )認為已經(jīng)得到了足夠的信息、可以回答問(wèn)題為止。經(jīng)過(guò)充分訓練后，這一深度神經(jīng)網(wǎng)絡(luò )的表現已經(jīng)非常出色，精確度足以與人類(lèi)的最高水平媲美。

　　接下來(lái)，達斯、巴特拉和同事們還想了解該網(wǎng)絡(luò )是如何做出決策的。于是他們分析了該網(wǎng)絡(luò )在圖片上選取的觀(guān)察點(diǎn)。而結果令他們大吃一驚：在回答“圖中是否有窗簾”的問(wèn)題時(shí)，該網(wǎng)絡(luò )根本沒(méi)去尋找窗戶(hù)，而是先對圖片底部進(jìn)行觀(guān)察，如果發(fā)現了床鋪，就停下來(lái)不找了?？磥?lái)在用來(lái)訓練該網(wǎng)絡(luò )的數據集中，裝有窗簾的窗戶(hù)可能常出現在臥室里。

　　該方法雖然揭露了深度網(wǎng)絡(luò )的一些內部運行機制，但也凸顯了可解釋性帶來(lái)的挑戰。巴特拉指出：“機器捕捉到的并不是關(guān)于這個(gè)世界的真相，而是關(guān)于數據集的真相?！边@些機器嚴格按照訓練數據進(jìn)行了調整，因此很難總結出它們運作機制的普遍規則。更重要的是，你要是不懂它如何運作，就無(wú)法預知它會(huì )如何失靈。而從巴特拉的經(jīng)驗來(lái)看，當它們失靈的時(shí)候，“就會(huì )輸得一敗涂地?！?/p>

　　圖為“深度視覺(jué)化”工具包生成的“理想貓臉”。該程序先從類(lèi)似電視機沒(méi)信號時(shí)的“雪花”圖像開(kāi)始，對像素進(jìn)行逐個(gè)調整，直到AlexNet神經(jīng)網(wǎng)絡(luò )的面部神經(jīng)元產(chǎn)生最大響應為止

　　尤辛斯基和巴特拉等研究人員面臨的一些障礙對人腦科學(xué)家來(lái)說(shuō)也并不陌生。例如，對神經(jīng)成像的解讀就常常遭到質(zhì)疑。2014年，認知神經(jīng)科學(xué)家瑪莎·法拉在一篇領(lǐng)域評述中寫(xiě)道：“令人擔憂(yōu)的是……(功能性腦部)圖像更像是研究人員的創(chuàng )造發(fā)明、而非觀(guān)察結果?！边@一問(wèn)題在各種智能系統中也屢屢出現，說(shuō)明無(wú)論對人腦、還是對智能的研究而言，該問(wèn)題都會(huì )成為一大障礙。

　　追求可解釋性是否為一項愚蠢之舉呢?2015年，加州大學(xué)圣地亞哥分校的扎克利·立頓發(fā)表了一篇名為《模型可解釋性的迷思》的博文，批判性地探討了解讀神經(jīng)網(wǎng)絡(luò )背后的動(dòng)機、以及為大型數據集打造可解讀的機器學(xué)習模型的價(jià)值。在2016年國際機器學(xué)習大會(huì )(ICML)上，他還向馬里奧托夫與兩名同事組織的“人類(lèi)可解釋性”專(zhuān)題研討會(huì )提交了一篇與該話(huà)題相關(guān)的、頗具爭議性的論文。

　　立頓指出，許多學(xué)者并不贊同“可解釋性”這一概念。因此他認為，要么是人們對可解釋性的理解還不夠，要么是它有太多可能的含義。無(wú)論是哪種情況，追求可解釋性也許都無(wú)法滿(mǎn)足我們對“簡(jiǎn)單易懂的神經(jīng)網(wǎng)絡(luò )輸出”的渴求。立頓在博文中指出，當數據集過(guò)大時(shí)，研究人員完全可以抑制去解讀的沖動(dòng)，要相信“憑借經(jīng)驗也能成功”。他表示，該領(lǐng)域的目的之一，便是要“打造學(xué)習能力遠超人類(lèi)的模型”，如果太過(guò)注重可解釋性，就難以使這類(lèi)模型充分發(fā)揮潛力。

　　但這種能力既是特點(diǎn)也是缺陷：如果我們不明白網(wǎng)絡(luò )輸出是如何生成的，就無(wú)從知曉該網(wǎng)絡(luò )需要何種輸入。1996年，英國蘇塞克斯大學(xué)的艾德里安·湯普森采用與如今訓練深度網(wǎng)絡(luò )相似的技術(shù)、用軟件設計了一款電路。這一電路要執行的任務(wù)很簡(jiǎn)單：區分兩個(gè)音頻的音調。經(jīng)過(guò)成千上萬(wàn)次調整和重排后，該軟件終于找到了一種能近乎完美地完成任務(wù)的配置。

　　但湯普森驚訝地發(fā)現，該電路所用元件數量比任何人類(lèi)工程師的設計都要少，甚至有幾個(gè)元件根本沒(méi)有和其它元件相連。而要讓電路順利運作，這些元件應當不可或缺才對。

　　于是他對電路進(jìn)行了剖析。做了幾次實(shí)驗后，他發(fā)現該電路的相鄰元件間存在微弱的電磁干擾。未與電路相連的元件通過(guò)干擾鄰近電場(chǎng)、對整個(gè)電路造成了影響。人類(lèi)工程師通常會(huì )杜絕這類(lèi)干擾，因為干擾的結果難以預料。果不其然，若用另一組元件復制該電路布局，甚至只是改變環(huán)境溫度，同樣的電路便會(huì )徹底失靈。

　　該電路揭露了機器訓練的一大重要特征：它們總是盡可能緊湊簡(jiǎn)潔，與所在環(huán)境完美相容，但往往難以適應其它環(huán)境。它們能抓住工程師發(fā)現不了的規律，但不知道別處是否也有這一規律。機器學(xué)習研究人員想盡力避免這種名為“過(guò)擬合”的現象。但隨著(zhù)應用這些算法的情況愈發(fā)復雜多變，這一缺陷難免會(huì )暴露出來(lái)。

　　普林斯頓大學(xué)計算機科學(xué)教授桑吉夫·阿羅拉認為，這一問(wèn)題是人類(lèi)追求可解釋模型的主要動(dòng)機，希望有了可解釋模型后、能對網(wǎng)絡(luò )進(jìn)行干預和調整。距阿羅拉表示，有兩大問(wèn)題可體現缺乏可解釋性對機器性能造成的硬性限制。一是“組合性”：當一項任務(wù)同時(shí)涉及多項決策時(shí)(如圍棋或自動(dòng)駕駛汽車(chē))，神經(jīng)網(wǎng)絡(luò )便無(wú)法高效判定是哪個(gè)決策導致了任務(wù)失敗?！叭祟?lèi)在設計某樣東西時(shí)，會(huì )先弄清不同元件的作用，再將其組合在一起，因此能夠對不適合當前環(huán)境的元件進(jìn)行調整?！?/p>

　　二是阿羅拉所稱(chēng)的“域適應性”即將在某種情境中學(xué)到的知識靈活運用于其它情境的能力。人類(lèi)非常擅長(cháng)這項任務(wù)，但機器則會(huì )出現各種離奇錯誤。據阿羅拉描述，即使只對環(huán)境做了微調、人類(lèi)調整起來(lái)不費吹灰之力，計算機程序也會(huì )遭遇慘敗。例如，某個(gè)網(wǎng)絡(luò )經(jīng)過(guò)訓練后、能對維基百科等正式文本的語(yǔ)法進(jìn)行分析，但如果換成推特這樣的口語(yǔ)化表達，就會(huì )變得毫無(wú)招架之力。

　　按這樣來(lái)看，可解釋性似乎不可或缺。但我們真的理解它的意思嗎?著(zhù)名計算機科學(xué)家馬文·閔斯基用“手提箱詞匯”來(lái)形容這類(lèi)詞匯，包括“意識”、“情緒”等用來(lái)描述人類(lèi)智能的單詞。閔斯基指出，這些詞其實(shí)反映了多種多樣的內在機制，但都被鎖在“手提箱”中。一旦我們用這些詞代替了更根本性的概念、僅對這些詞匯進(jìn)行研究，我們的思維就會(huì )被語(yǔ)言所局限。那么在研究智能時(shí)，“可解釋性”會(huì )不會(huì )也是這樣一個(gè)“手提箱詞匯”呢?

　　雖然很多研究人員都持樂(lè )觀(guān)態(tài)度，認為理論學(xué)家遲早能打開(kāi)這個(gè)“手提箱”、發(fā)現某套主宰機器學(xué)習(或許也包括人類(lèi)學(xué)習)的統一法則或原理，就像牛頓的力學(xué)原理一樣。但也有人警告稱(chēng)，這種可能性微乎其微。紐約城市大學(xué)哲學(xué)教授馬西莫·皮戈里奇指出，神經(jīng)科學(xué)、乃至人工智能領(lǐng)域所謂的“理解”也許是一種“集群概念”，即可能有多個(gè)不同定義。如果該領(lǐng)域真的有“理解”之說(shuō)，也許相對于物理學(xué)、會(huì )更接近進(jìn)化生物學(xué)的情況。也就是說(shuō)，我們將發(fā)現的也許不是“基本力學(xué)原理”，而是“物種起源學(xué)說(shuō)”。

　　當然，這并不意味著(zhù)深度網(wǎng)絡(luò )將預示著(zhù)某種新型自主生命的出現。但深度網(wǎng)絡(luò )就像生命本身一樣費解。該領(lǐng)域采用的漸進(jìn)式實(shí)驗手段和事后解讀方式也許并不是在黑暗中苦苦等待理論之光時(shí)的絕望情緒，而是我們能夠盼來(lái)的唯一光芒?？山忉屝砸苍S會(huì )以碎片化的形式呈現出來(lái)，就像不同類(lèi)別的“物種”一樣，采用的分類(lèi)法則根據具體情境而定。

　　在國際機器學(xué)習大會(huì )的專(zhuān)題研討會(huì )結束時(shí)，部分發(fā)言人參加了一場(chǎng)討論會(huì )，試圖給“可解釋性”下一個(gè)定義。結果每個(gè)人都各執一詞。進(jìn)行了一系列討論后，大家似乎達成了一點(diǎn)共識：一個(gè)模型要能被解釋?zhuān)鸵邆洹昂?jiǎn)單性”。但在簡(jiǎn)單性的定義問(wèn)題上，大家又產(chǎn)生了分歧?！白詈?jiǎn)單”的模型究竟是指依賴(lài)最少特征的模型?還是程序規模最小的模型?還是有其它解釋?一直到研討會(huì )結束，大家都沒(méi)有達成共識。

　　正如馬里奧托夫說(shuō)的那樣：“簡(jiǎn)單性并不簡(jiǎn)單?！?/p>