Gary Marcus又來(lái)「整頓」AI圈：LeCun不可信，Nature審稿人沒(méi)用腦子

Gary Marcus 和 Yann LeCun 等人的一系列辯論能否讓「AI 的未來(lái)何去何從」這一命題越辯越明？

這個(gè)周末剛過(guò)，我們再次看到了 Gary Marcus 對 AI 圈的最新「整頓」成果。

「四天內關(guān)于人工智能和機器學(xué)習的三個(gè)令人費解的說(shuō)法、頂級期刊的統計錯誤，以及 Yann LeCun 的一些說(shuō)法，你都不應該相信?！?/span>

以下是 Gary Marcus 的原文內容：

一些事情即將發(fā)生。當《紐約時(shí)報》說(shuō)一場(chǎng)革命即將到來(lái)，但事實(shí)上并沒(méi)有發(fā)生時(shí)，我從不感到驚訝。這種情況已經(jīng)持續了很長(cháng)一段時(shí)間（實(shí)際上是幾十年）。

比如，想想 2011 年時(shí) John Markoff 是如何展望 IBM Watson 的。

「對 I.B.M. 來(lái)說(shuō)，這場(chǎng)較量不僅是一場(chǎng)廣為人知的宣傳和 100 萬(wàn)美元的獎勵，還證明了該公司已經(jīng)朝著(zhù)一個(gè)智能機器能夠理解并對人類(lèi)做出反應，甚至可能不可避免地取代人類(lèi)的世界邁出了一大步?！?/span>

但 11 年之后的今天，John Markoff 所描述的愿景并沒(méi)有發(fā)生。人們仍然缺乏對人工智能的理解，真正被 AI 取代的工作也是極少數。我所知道的每一輛卡車(chē)仍然在由人類(lèi)駕駛（除了一些在受限場(chǎng)景下進(jìn)行測試的卡車(chē)），目前還沒(méi)有放射科醫生被取代。Watson 本身近期也在被拆分出售。

《紐約時(shí)報》在 1958 年首次表示，神經(jīng)網(wǎng)絡(luò )即將解決人工智能問(wèn)題。當然，預測 AI 并不是《紐約時(shí)報》的強項。

但在過(guò)去的幾天里，我看到一大堆嚴肅的研究人員也在提出類(lèi)似的過(guò)度興奮的主張，他們本應該更了解這個(gè)領(lǐng)域的情況。

第一個(gè)例子來(lái)自斯坦福大學(xué)經(jīng)濟學(xué)家 Erik Brynjolfsson，是三個(gè)例子中最不令人反感的一個(gè)，但仍有些過(guò)頭。

我看過(guò)很多種不同類(lèi)型的狹義智能，一些智能在它們特定的領(lǐng)域能超越人類(lèi)。人類(lèi)智能（可能）比目前所有其他智能都更加廣泛，但仍然只是智能空間中一個(gè)非常狹窄的部分。

Brynjolfsson 認為，人類(lèi)智能是所有可能的智能空間中非常狹窄的一部分（這是喬姆斯基在我出生前就針對人類(lèi)語(yǔ)言提出的觀(guān)點(diǎn)），這個(gè)看法完全正確。毫無(wú)疑問(wèn)，比我們更聰明的智能是有可能存在的，而且還可能實(shí)現。

但是，且慢——他帖子里的 「probably」是怎么回事呢？他甚至把它放到了括號里。

任何一個(gè)正常的 5 歲孩子都可以用他們幾年前或多或少從零學(xué)到的母語(yǔ)進(jìn)行對話(huà)、爬上一個(gè)不熟悉的攀爬架、看懂一部新卡通的情節或口頭掌握一個(gè)新卡片游戲的規則，而不需要進(jìn)行成千上萬(wàn)次的嘗試。人類(lèi)孩童在不斷地學(xué)習新事物，而且通常是從少量的數據中學(xué)習。在人工智能的世界里，沒(méi)有任何東西可以與之相比。

他在帖子里加一個(gè)「probably」，就好像我們認為，在人工智能的世界里，人類(lèi)通用智能存在一個(gè)有潛力的競爭對手。事實(shí)上并沒(méi)有。這就好像我說(shuō)「塞雷娜 · 威廉姆斯可能（could probably）會(huì )打敗我」一樣。

與此同時(shí)，Yann LeCun 發(fā)布了一系列令人費解的推文，聲稱(chēng)他發(fā)明的 ConvNet（或其他什么東西）可以解決幾乎所有問(wèn)題，這不是真的，而且從表面上看與他自己幾周前告訴 ZDNet 的相矛盾。但是等等，還有更糟的。LeCun 繼續寫(xiě)了下面的話(huà)，這真的讓我摸不著(zhù)頭腦：

無(wú)論你是想增強人力還是取代人力，在 AI 領(lǐng)域取得進(jìn)展所要解決的問(wèn)題都是「完全」相同的。

我不同意他的看法。增強人的能力要簡(jiǎn)單得多，因為你不需要把整個(gè)問(wèn)題都解決掉。計算器可以增強會(huì )計的能力，但它不知道哪些錢(qián)是可扣除的，也不知道稅法中哪里可能存在漏洞。我們知道如何建造能做數學(xué)運算的機器（增強），但不知道如何制造能夠閱讀稅法代碼的機器（取代）。

我們再來(lái)看看放射學(xué)：

放射科醫師的工作不僅包括閱讀圖像（卷積網(wǎng)絡(luò )適用），而且（在某些情況下）包括推理患者的病史以及閱讀非結構化文本，這兩個(gè)問(wèn)題卷積網(wǎng)絡(luò )就不太適用了。

醫療 AI 領(lǐng)域以壓倒性多數和一致的方式支持我的論點(diǎn)：

說(shuō)得對！我們會(huì )閱讀臨床記錄、查看 lab value、與轉診醫生交流，然后在這些附加信息的背景下查看成像結果。

經(jīng)過(guò)一番思考，我們認為 LeCun 的說(shuō)法不正確。我們在醫學(xué)上建立輔助系統的原因是我們還無(wú)法解決診斷任務(wù)。我們只擅長(cháng)非常簡(jiǎn)單的高通量任務(wù)，而這些任務(wù)對放射科醫生來(lái)說(shuō)真的很容易。

我的收件箱里全都是爭論「AI 是否可以取代放射科醫生？還是只能看掃描結果」的內容，然而 AI 甚至還不能很好地看懂影像……

我已經(jīng)在醫學(xué)成像中用了五年的深度學(xué)習。我自己的公開(kāi)預測是：有朝一日，人工智能將完全取代放射科醫生。但是在此之前，我們將先實(shí)現移民火星的夢(mèng)想。

人工智能可以解決放射學(xué)某些方面的問(wèn)題，但這并不意味著(zhù)它可以解決所有方面的任何問(wèn)題。

正如 Una Health 聯(lián)合創(chuàng )始人兼首席醫療官 Matthew Fenech 所說(shuō)：「主張在一段不長(cháng)的時(shí)間里取代放射科醫生是從根本上誤解了他們的角色?！?/span>

但這些只是即興的推文。也許我們可以原諒他們倉促的表達。但更令我驚訝的是，《自然》雜志的一篇關(guān)于語(yǔ)言神經(jīng)科學(xué)的文章中出現了大量有利于深度學(xué)習的統計錯誤。

這篇文章（《Deep language algorithms predict semantic comprehension from brain activity（深度語(yǔ)言算法通過(guò)大腦活動(dòng)預測語(yǔ)義理解）》）由一些 MetaAI 的研究人員撰寫(xiě)：

表面上看，這個(gè)結果對于深度學(xué)習愛(ài)好者來(lái)說(shuō)是個(gè)好消息，揭示了深度學(xué)習和人腦之間的相關(guān)性。該研究的主要作者在推特上的同一系列帖子中聲稱(chēng)，GPT-2 的「內部工作」與人類(lèi)大腦之間存在「直接聯(lián)系」：

但細節很重要；我們看到的只是一種相關(guān)性，觀(guān)察到的相關(guān)性是良好的，但不是決定性的，R = 0.50。

這足夠發(fā)表文章了，但也意味著(zhù)還有很多未知的地方。當兩個(gè)變量像這般相關(guān)時(shí)，并不意味著(zhù) A 導致 B（反之亦然）。這甚至不意味著(zhù)他們步調一致。它類(lèi)似于身高和體重之間的相關(guān)性的大?。喝绻抑恢滥愕纳砀?，而對你一無(wú)所知，我可以對你的體重做出一個(gè)稍微有根據的猜測——可能很接近，但也可能相去甚遠，這些都是無(wú)法保證的。

這篇論文本身解決了這個(gè)問(wèn)題，但是當它這樣做時(shí)，它犯了一個(gè)大錯，再次將太多結果歸因于深度學(xué)習。他們是這樣說(shuō)的：（了解自己統計數據的人可能會(huì )立即發(fā)現錯誤）。

正如 Stats 101 告訴我們的，所解釋的變化量不是 R，而是 R 的平方。因此，如果你有 R = 0.5 的相關(guān)性，實(shí)際上「解釋」的（實(shí)際上只是「預測」）只有 25 % 的方差——這意味著(zhù)四分之三（而不是一半）的可變性仍未得到解釋。這是一個(gè)巨大的差異。（在一則私信中，我向作者 King 指出了錯誤，他和我意見(jiàn)一致，并承諾他會(huì )聯(lián)系期刊進(jìn)行更正。）

預測僅 25% 的方差意味著(zhù)允許進(jìn)行「推測」，但這肯定不意味著(zhù)你已經(jīng)確定了答案。最后，我們真正擁有的證據只是表明，對 GPT 很重要的東西對大腦也很重要（例如頻率和復雜性）。但我們還不能說(shuō)，兩個(gè)弱相關(guān)的東西實(shí)際上在以相同的方式運作。

現在事情就是這樣。但《自然》雜志的同行評審并沒(méi)有注意到這個(gè)點(diǎn)，這讓我感到震驚。它告訴我的是人們喜歡這個(gè)故事，卻并沒(méi)有仔細閱讀。（仔細閱讀是同行評審員的首要工作。）

當審稿人喜歡這個(gè)故事但沒(méi)有批判性地閱讀時(shí)，這表明他們是用心投****，而不是用大腦投****。

原文鏈接：https://garymarcus.substack.com/p/too-much-benefit-of-the-doubt?utm_source=twitter&sd=pf