AI讀心重磅突破登Nature！大腦信號1秒被看穿，還能預測未來(lái)畫(huà)面

現在，AI不僅會(huì )讀腦，還會(huì )預測下一個(gè)畫(huà)面了！

利用AI，一個(gè)研究團隊「看見(jiàn)」了老鼠眼中的電影世界。

更神奇的是，這種機器學(xué)習算法，還能揭示大腦記錄數據中隱藏的結構，預測復雜的信息，比如老鼠會(huì )看到的東西。

給一段上世紀60年代黑白老電影中截取的視頻畫(huà)面：一個(gè)男子向汽車(chē)跑去，打開(kāi)了后備箱。

小鼠看過(guò)電影片段后，AI通過(guò)分析其腦部數據，竟把畫(huà)面重構出來(lái)了。

可以說(shuō)，幾乎與電影原作一致，是不是很神奇？

近日，來(lái)自瑞士洛桑聯(lián)邦理工學(xué)院的團隊在Nature上提出了一種名為CEBRA的最新算法，就把AI讀腦給實(shí)現了。

最最最重要的是，準確率超過(guò)了95%！

論文地址：https://www.nature.com/articles/s41586-023-06031-6

這一人工神經(jīng)網(wǎng)絡(luò )模型僅用了三步，首先分析和解釋行為/神經(jīng)數據，然后解碼來(lái)自視覺(jué)皮層的活動(dòng)，最后重建觀(guān)看的視頻。

CEBRA的意義在于，能夠對來(lái)自視覺(jué)皮層的視頻進(jìn)行快速、高精度的解碼，這對于理解人類(lèi)大腦活動(dòng)來(lái)說(shuō)，意義重大。

網(wǎng)友調侃，各地的思想犯罪指數，會(huì )怎么樣？

# CEBRA，從小鼠的大腦信號中預測電影

此前，這種「AI讀腦術(shù)」就曾在網(wǎng)上引發(fā)軒然大波。

一篇CVPR2023論文稱(chēng)，Stable Diffusion已經(jīng)能重建大腦視覺(jué)信號了。

AI看了一眼人腦信號后，立馬就給出下面這樣的結果。

而在這次的研究中，科學(xué)家們更進(jìn)了一步，新算法構建的人工神經(jīng)網(wǎng)絡(luò )模型，不僅能捕捉大腦動(dòng)態(tài)、準確地重構畫(huà)面，還能預測出小鼠能看到的東西。

另外，它還可以用來(lái)預測靈長(cháng)類(lèi)動(dòng)物手臂的運動(dòng)，重建老鼠在場(chǎng)地中自由奔跑的位置。

這種新型的機器學(xué)習算法名為CEBRA (與zebra同音) ，能夠學(xué)習神經(jīng)代碼中的隱藏結構。

為了了解小鼠視覺(jué)系統中的隱藏結構，CEBRA可以在一個(gè)初始的訓練階段后，直接從大腦信號中預測看不見(jiàn)的電影畫(huà)面，繪制大腦信號和電影特征。

具體來(lái)說(shuō)，CEBRA是基于對比學(xué)習實(shí)現的一種機器學(xué)習算法。

CEBRA提供了三種不同的模式：1 假設驅動(dòng)模式 2 發(fā)現驅動(dòng)模式 3 混合模式

它能夠學(xué)習將高維數據排列或嵌入到一個(gè)稱(chēng)為隱空間（latent space）的「低維空間」中。

這樣做就能夠實(shí)現，相似的數據點(diǎn)緊密相連，而差異大的數據點(diǎn)就會(huì )進(jìn)一步分離。

這種嵌入模式可用于推斷數據中的隱藏關(guān)系和結構。它使研究人員能夠同時(shí)考慮神經(jīng)數據和行為標簽，包括運動(dòng)，抽象標簽（如獎勵），或感官特征（如圖像顏色或紋理）。

# 老鼠「讀腦術(shù)」

怎樣將小鼠腦中的畫(huà)面重現呢？

研究者召集了50只小鼠，讓它們一起觀(guān)看一段30秒的電影片段，并將這個(gè)過(guò)程重復了9次。

在小鼠看電影時(shí)，研究者就會(huì )把探針插進(jìn)小鼠的大腦視覺(jué)皮層區域，收集它們的神經(jīng)元活動(dòng)信號。這個(gè)過(guò)程，也就是我們熟悉的腦機接口（BMI）。

這個(gè)過(guò)程中用到的探針有兩種：

一種是通過(guò)插入小鼠大腦視覺(jué)皮層區域的電極探針直接測量，另一種是通過(guò)光學(xué)探針在基因改造的小鼠中獲取。這些光學(xué)探針經(jīng)過(guò)改造，使激活的神經(jīng)元發(fā)出綠光。

然后，研究者通過(guò)CEBRA，將這些神經(jīng)信號與600幀電影片段聯(lián)系起來(lái)，建立起兩者之間的映射。

有了前面9次觀(guān)看的記憶鞏固加強后，研究人員又讓小鼠觀(guān)看第10次，并收集了這一次觀(guān)看時(shí)的大腦活動(dòng)數據。

將CEBRA應用于小鼠初級視覺(jué)皮層

基于這些大腦數據，研究人員測試了CEBRA在預測電影片段中畫(huà)面順序方面的能力。

結果發(fā)現，CEBRA能夠在1秒內以95%的準確率預測下一個(gè)畫(huà)面。

# 人類(lèi)大腦，終極目標

將行為動(dòng)作映射到神經(jīng)活動(dòng)，一直是神經(jīng)科學(xué)的一個(gè)基本目標。

但是，研究者們一直缺乏可以靈活利用聯(lián)合行為和神經(jīng)數據揭示神經(jīng)動(dòng)力學(xué)的非線(xiàn)性技術(shù)，而CEBRA算法，填補了這一空缺。

而且，CEBRA還可以用于空間映射，從而揭示復雜的運動(dòng)學(xué)特征，還能提供對來(lái)自視覺(jué)皮層的自然視頻的快速、高精度的解碼。

具體來(lái)說(shuō)，研究者提出了一個(gè)聯(lián)合訓練的潛在嵌入框架。

CEBRA利用用戶(hù)定義的標簽或僅限時(shí)間的標簽，獲得了一致的神經(jīng)活動(dòng)嵌入，可用于可視化數據和解碼之類(lèi)的下游任務(wù)。

這個(gè)算法基于的對比學(xué)習，正是利用相互對比的樣本（正樣本和負樣本）來(lái)找到共同屬性和區分屬性。

使用CEBRA實(shí)現一致且可解釋的嵌入

CEBRA的優(yōu)勢就在于它的靈活性，以及有限假設和檢驗假設的能力。

對于海馬體，可以假設這些神經(jīng)元代表空間，因此行為標簽可以是位置或速度（圖2a）。

另外，還可以有一個(gè)替代假設：海馬體不映射空間，而只是映射行進(jìn)方向或其他一些特征。

使用CEBRA的假設和發(fā)現驅動(dòng)分析

論文一作Steffen Schneider稱(chēng)，與其他算法相比，CEBRA在重建合成數據方面表現出色，這對比較算法至關(guān)重要。

它的優(yōu)勢還在于，能夠跨不同模式組合數據，比如電影特征和大腦數據。它還有助于限制細微差別，比如收集數據收集方式對導致數據變化。

從小鼠視覺(jué)皮層區域解碼自然視頻特征

「這項工作朝著(zhù)神經(jīng)技術(shù)實(shí)現高性能BMI所需的理論支持算法，又邁出了一步，」EPFL的Bertarelli綜合神經(jīng)科學(xué)主席兼該研究的PI Mackenzie Mathis說(shuō)。

研究者稱(chēng)，CEBRA在視覺(jué)皮層只有不到1%的神經(jīng)元的情況下表現良好。要知道小鼠的大腦大約有50萬(wàn)個(gè)神經(jīng)元組成。

CEBRA的最終目標，是揭示復雜系統中的結構。由于大腦是我們宇宙中最復雜的結構，它是CEBRA的終極測試空間。

CEBRA還可以讓我們了解大腦是如何處理信息的，并通過(guò)整合動(dòng)物，甚至其他物種的數據，為發(fā)現神經(jīng)科學(xué)的新原理提供一個(gè)平臺。

當然，CEBRA算法并不僅限于神經(jīng)科學(xué)研究，因為它可以應用于許多涉及時(shí)間或聯(lián)合信息的數據集，包括動(dòng)物行為和基因表達數據。因此，CEBRA潛在的臨床應用令人興奮。

# 網(wǎng)友質(zhì)疑：這能叫讀心術(shù)？

網(wǎng)友稱(chēng)，AI重現大腦畫(huà)面的研究，這不是首次。

在11年，UC伯克利的一項研究使用功能磁共振成像（fMRI）和計算模型，初步重建了大腦的「動(dòng)態(tài)視覺(jué)圖像」。

也就是說(shuō)，研究者重現了人類(lèi)大腦看過(guò)的片段，但幾乎是無(wú)法辨認。

不過(guò)，對于這項AI解析小鼠大腦信號、成功重構出觀(guān)看的電影片段，網(wǎng)友紛紛表示質(zhì)疑。

「我并非想貶低這項出色的工作，但這不是從老鼠看到的東西中創(chuàng )造視頻，而是匹配哪一幀視頻最符合模型解釋當前幀的內容，所以......它不是產(chǎn)生視頻數據，而是一個(gè)幀號，然后在屏幕上顯示該幀。這個(gè)區別很微妙，但很重要?！?/span>

同樣看過(guò)視頻后的網(wǎng)友指出了問(wèn)題——

「這個(gè)視頻有點(diǎn)誤導人。它并不像你看到所有這些擴散模型后所想的那樣，完全從頭開(kāi)始構建。這個(gè)特定的模型只看過(guò)這個(gè)視頻，并且只是將不同的幀映射到腦信號上。所以這并非是讀心術(shù)?！?/span>

「這個(gè)說(shuō)法是不準確的，并沒(méi)有視頻被生成。它只是在充分了解視頻的情況下，預測了正在觀(guān)看的視頻的時(shí)間戳?！?/span>

來(lái)源：腦機接口