麻省理工最新成果：AI 揭示人腦如何處理語(yǔ)言

作者 | 青蘋(píng)果

來(lái)源 | 數據實(shí)戰派

在過(guò)去的幾年里，AI 語(yǔ)言模型已經(jīng)可以非常出色的處理一些特定任務(wù)。其中，最值得注意的是，它們擅長(cháng)預測文本字符串中的下一個(gè)單詞。以搜索引擎和****應用為例，這項技術(shù)可以輔助它們進(jìn)行預測，以獲取你準備輸入的下一個(gè)單詞。

最新一代的預測語(yǔ)言模型似乎也學(xué)會(huì )了一些語(yǔ)言的潛在含義。讓人驚嘆的是，這些模型不僅可以預測下一個(gè)單詞，還可以執行似乎需要一定理解才能完成的任務(wù)，如問(wèn)答、文檔摘要和故事續寫(xiě)。

這些模型旨在優(yōu)化預測文本的特定功能，而非試圖模仿人類(lèi)大腦如何執行這項任務(wù)或理解語(yǔ)言。但 MIT 神經(jīng)科學(xué)家的一項新研究表明，這些模型的潛在功能類(lèi)似于人類(lèi)大腦中的語(yǔ)言處理中心的功能。

這篇論文寫(xiě)道：“我們的研究結果表明，預測性人工神經(jīng)網(wǎng)絡(luò )可作為預測語(yǔ)言處理如何在人類(lèi)神經(jīng)組織中實(shí)施的可行候選假設。這些網(wǎng)絡(luò )為一個(gè)有前途的研究方向奠定了關(guān)鍵基礎，即在集成逆向工程的良性循環(huán)中將自然語(yǔ)言處理的高性能模型與人類(lèi)語(yǔ)言理解的大規模神經(jīng)和行為測量相結合，包括測試模型預測神經(jīng)和行為的能力，剖析表現最佳的模型以了解哪些組件對高大腦預測性至關(guān)重要，利用這些知識開(kāi)發(fā)更好的模型，并收集新數據以挑戰和限制未來(lái)幾代神經(jīng)上合理的語(yǔ)言處理模型”。

在其他類(lèi)型的語(yǔ)言任務(wù)中，表現良好的計算機模型并未展示出與人類(lèi)大腦的這種相似性，這為人腦可能會(huì )使用下一個(gè)單詞預測來(lái)驅動(dòng)語(yǔ)言處理提供了證據。

認知神經(jīng)科學(xué)的 Walter A. Rosenblith 教授 Nancy Kanwisher 說(shuō)，“模型預測下一個(gè)單詞的能力越強，就越符合人類(lèi)的大腦”。他是 MIT 麥戈文腦科學(xué)研究所和大腦、心智和機器中心（CBMM, Brain Research and Center for Brains, Minds, and Machines）的成員，也是這項新研究的作者之一。

“令人驚訝的是，這些模型擬合得如此之好，這也有力地暗示出，也許人類(lèi)語(yǔ)言系統正在做的就是預測接下來(lái)會(huì )發(fā)生什么?！?/p>

該研究論文題為“The neural architecture of language: Integrative modeling converges on predictive processing”，已發(fā)表在 Proceedings of the National Academy of Sciences 上。

語(yǔ)言處理的人工神經(jīng)網(wǎng)絡(luò )模型與人類(lèi)語(yǔ)言處理的比較。實(shí)驗測試了不同模型的效果預測人類(lèi)神經(jīng)活動(dòng)（fMRI 和 ECoG）的測量值和語(yǔ)言理解過(guò)程中的行為。候選模型范圍從簡(jiǎn)單將模型嵌入到更復雜的循環(huán)和變壓器網(wǎng)絡(luò )中。刺激范圍從句子到段落再到故事，并且被輸入到模型，以及呈現給人類(lèi)參與者（視覺(jué)或聽(tīng)覺(jué)）。模型的內部表征在三個(gè)主要維度上進(jìn)行評估：預測人類(lèi)神經(jīng)表征的能力；以閱讀時(shí)間的形式預測人類(lèi)行為的能力；執行下一個(gè)詞預測等任務(wù)的計算能力。

做預測任務(wù)

這種新的、高性能的預測下一個(gè)單詞的模型屬于深度神經(jīng)網(wǎng)絡(luò )模型的范疇。這些網(wǎng)絡(luò )包含計算“節點(diǎn)”，它們形成不同強度的連接，以及以規定的方式在彼此之間傳遞信息的層。

在過(guò)去的十年里，科學(xué)家們用深度神經(jīng)網(wǎng)絡(luò )創(chuàng )建了視覺(jué)模型，可以像靈長(cháng)類(lèi)大腦一樣識別物體。MIT 的研究也表明，視覺(jué)物體識別模型的潛在功能與靈長(cháng)類(lèi)視覺(jué)皮層的組織相匹配，盡管這些計算機模型并不是專(zhuān)為模仿大腦而設計的。

在這項新研究中，MIT 研究團隊采用了類(lèi)似的方法，以比較人腦中的語(yǔ)言處理中心和語(yǔ)言處理模型。

他們分析了 43 種不同的語(yǔ)言模型，涵蓋一些對單詞進(jìn)行預測優(yōu)化的模型。其中包括 GPT-3（生成式預訓練 Transformer 3），它可以依據給出的提示，生成與人類(lèi)手動(dòng)生成相類(lèi)似的文本。而其他的模型則旨在執行不同的語(yǔ)言任務(wù)，比如在句子中填空。

由于每個(gè)模型都有一串單詞，研究人員測量了構成網(wǎng)絡(luò )節點(diǎn)的活動(dòng)。

然后者的然后，他們將這些模式與人類(lèi)大腦中的活動(dòng)進(jìn)行了比較，并對執行三種語(yǔ)言任務(wù)的受試者進(jìn)行了測量：聽(tīng)故事、一次讀一個(gè)句子，以及每次讀一個(gè)單詞的句子。這些人體數據集包括功能性磁共振成像（fMRI, functional magnetic resonance imaging）數據和接受癲癇腦手術(shù)患者的顱內皮層腦電圖測量。

結果表明，性能最好的單詞預測模型的活動(dòng)模式與人腦中的活動(dòng)模式非常相似。這些相同模型中的活動(dòng)與人類(lèi)行為指標高度相關(guān)，例如，人們閱讀文本的速度。

Schrimpf 說(shuō)，“我們發(fā)現，能夠很好地預測神經(jīng)反應的模型也傾向于以閱讀時(shí)間的形式最好地預測人類(lèi)的行為反應。然后通過(guò)下一個(gè)單詞預測的模型性能來(lái)解釋這兩個(gè)問(wèn)題。這個(gè)三角形真的把一切聯(lián)系在一起?！?/p>

改變游戲規則

預測模型（如 GPT-3）的關(guān)鍵計算特性之一，是一個(gè)稱(chēng)為正向單向預測 transformer 的元件。這種 transformer 能夠根據之前的序列預測接下來(lái)會(huì )發(fā)生什么。它的顯著(zhù)特征在于，可以基于文本中篇幅較大的上下文（數百個(gè)單詞）進(jìn)行預測，而不僅僅是最后幾個(gè)單詞。

Tenenbaum 說(shuō)，科學(xué)家還沒(méi)有發(fā)現任何與這種處理方式相對應的大腦回路或學(xué)習機制。不過(guò)，新的發(fā)現與先前提出的假設保持著(zhù)高度一致，即預測是語(yǔ)言處理的關(guān)鍵功能之一。

“語(yǔ)言處理的挑戰之一是它的實(shí)時(shí)性，”他強調到?！罢Z(yǔ)言輸入進(jìn)來(lái)后，你必須跟上它的節奏，并且能夠實(shí)時(shí)理解它的含義?！?/p>

研究人員現在計劃構建這些語(yǔ)言處理模型的變體，以了解其結構的微小變化是如何影響性能表現和適應人類(lèi)神經(jīng)數據的能力的。

“對我來(lái)說(shuō)，這個(gè)結果改變了游戲規則，” Fedorenko 說(shuō)道?！斑@完全改變了我的研究項目，因為我沒(méi)有預料到，在我有生之年，會(huì )得到這些計算清晰的模型。這些模型能夠捕捉到足夠多的大腦信息，這樣我們就可以真正利用它們來(lái)理解大腦的工作原理?！?/p>

研究人員還計劃嘗試將這些高性能語(yǔ)言模型與 Tenenbaum 實(shí)驗室先前開(kāi)發(fā)的一些計算機模型相結合，這些模型可以執行一些其他類(lèi)型的任務(wù)，比如，構建物理世界的感知表征等。

上圖為該研究的主要結論，包括特定的 ANN 語(yǔ)言模型可以預測人類(lèi)的神經(jīng)對語(yǔ)言輸入的高精度響應。

Tenenbaum 說(shuō)，“如果我們能夠理解這些語(yǔ)言模型的作用，以及它們如何與那些更像是做感知和思考的模型相聯(lián)系，那么，我們很可能會(huì )得到更多關(guān)于大腦如何工作的綜合性模型。這可能會(huì )讓我們構建出更完善的、性能更佳的 AI 模型。當然，我們也可以更多地了解大腦究竟如何工作，以及通用智能是如何出現的，以豐富過(guò)去的知識盲區?！?/p>

*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。