大腦視覺(jué)信號被Stable Diffusion復現圖像！“人類(lèi)的謀略和謊言不存在了” | CVPR2023
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
“現在Stable Diffusion已經(jīng)能重建大腦視覺(jué)信號了！”
就在昨晚，一個(gè)聽(tīng)起來(lái)細思極恐的“AI讀腦術(shù)”研究，在網(wǎng)上掀起軒然大波：
這項研究聲稱(chēng)，只需用fMRI（功能磁共振成像技術(shù)，相比sMRI更關(guān)注功能性信息，如腦皮層激活情況等）掃描大腦特定部位獲取信號，AI就能重建出我們看到的圖像！
例如這是一系列人眼看到的圖像，包括戴著(zhù)蝴蝶結的小熊、飛機和白色鐘樓：
AI看了眼人腦信號后，立馬就給出這樣的結果，屬實(shí)把該抓的重點(diǎn)全都抓住了：
再發(fā)展一步，這不就約等于哈利波特里的讀心術(shù)了嗎？？
更有網(wǎng)友感到驚嘆：如果說(shuō)ChatGPT開(kāi)放API是件大事，那這簡(jiǎn)直稱(chēng)得上瘋狂。
所以，這究竟是怎么一回事？
用Stable Diffusion可視化人腦信號這項研究來(lái)自日本大阪大學(xué)，目前已經(jīng)被CVPR 2023收錄：
研究希望能從人類(lèi)大腦活動(dòng)中，重建高保真的真實(shí)感圖像，來(lái)理解大腦、并解讀計算機視覺(jué)模型和人類(lèi)視覺(jué)系統之間的聯(lián)系。
要知道，此前雖然有不少腦機接口研究，致力于從人類(lèi)大腦活動(dòng)中讀取并重建信號，如意念打字等。
然而，從人類(lèi)大腦活動(dòng)中重建視覺(jué)信號——具有真實(shí)感的圖像，仍然挑戰極大。
例如這是此前UC伯克利做過(guò)的一項類(lèi)似研究，復現一張人眼看到的飛機片段，但計算機重建出來(lái)的圖像卻幾乎看不出飛機的特征：
△圖源UC伯克利研究Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies這次，研究人員重建信號選用的AI模型，是這一年多在圖像生成領(lǐng)域地位飛升的擴散模型。
當然，更準確地說(shuō)是基于潛在擴散模型（LDM）——Stable Diffusion。
整體研究的思路，則是基于Stable Diffusion，打造一種以人腦活動(dòng)信號為條件的去噪過(guò)程的可視化技術(shù)。
它不需要在復雜的深度學(xué)習模型上進(jìn)行訓練或做精細的微調，只需要做好fMRI（功能磁共振成像技術(shù)）成像到Stable Diffusion中潛在表征的簡(jiǎn)單線(xiàn)性映射關(guān)系就行。
它的概覽框架是這樣的，看起來(lái)也非常簡(jiǎn)單：
僅由1個(gè)圖像編碼器、1個(gè)圖像****，外加1個(gè)語(yǔ)義****組成。
具體怎么work？
如下圖所示，第一部分為本研究用到的LDM示意圖。
其中ε代表圖像編碼器，D代表圖像****，而τ是一個(gè)文本編碼器（CLIP）。
重點(diǎn)是解碼分析，如下圖所示，模型依次從大腦早期（藍色）和較高（黃色）視覺(jué)皮層內的fMRI信號中，解碼出重建圖像（z）和相關(guān)文本c的潛在表征。
然后將這些潛在表征當作輸入，就可以得到模型最終復現出來(lái)的圖像Xzc。
最后還沒(méi)有完，如編碼分析示意圖，作者還構建了一個(gè)編碼模型，用來(lái)預測LDM不同組件（包括圖像z、文本c和zc）所對應的fMRI信號，它可以用來(lái)理解Stable Diffusion的內部過(guò)程。
可以看到，采用了zc的編碼模型在大腦后部視覺(jué)皮層產(chǎn)生的預測精確度是最高的。（zc是與c進(jìn)行交叉注意的反向擴散后，z再添加噪聲的潛在表征）
相比其它兩者，它生成的圖像既具有高語(yǔ)義保真度，分辨率也很高。
看完這項研究，已經(jīng)有網(wǎng)友想到了細思極恐的東西：
這個(gè)AI雖然只是復制了“眼睛”所看到的東西。
但是否會(huì )有一天，AI能直接從人腦的思維、甚至是記憶中重建出圖像或文字？
“語(yǔ)言的用處不再存在了”
于是有網(wǎng)友進(jìn)一步想到，如果能讀取記憶的話(huà)，那么目擊證人的證詞似乎也會(huì )變得更可靠了：
還別說(shuō)，就在去年真有一項研究基于GAN，通過(guò)fMRI收集到的大腦信號重建看到的人臉圖像：
不過(guò)，重建出來(lái)的效果似乎不怎么樣……
顯然，在人臉這種比較精細的圖像生成上，AI“讀腦術(shù)”還有很長(cháng)一段路要走。
對于這種大腦信號重建的研究，也有網(wǎng)友提出了質(zhì)疑。
例如，是否只是AI從訓練數據集中提取出了相似的數據？
對此有網(wǎng)友回復表示，論文中的訓練數據集和測試集是分開(kāi)的：
作者們也在項目主頁(yè)中表示，代碼很快會(huì )開(kāi)源?？梢韵绕诖幌聗
本研究?jì)H兩位作者。
一位是2021年才剛剛成為大阪大學(xué)助理教授的Yu Takagi，他主要從事計算神經(jīng)科學(xué)和人工智能的交叉研究。
最近，他同時(shí)在牛津大學(xué)人腦活動(dòng)中心和東京大學(xué)心理學(xué)系利用機器學(xué)習技術(shù)，來(lái)研究復雜決策任務(wù)中的動(dòng)態(tài)計算。
另一位是大阪大學(xué)教授Shinji Nishimoto，他也是日本腦信息通信融合研究中心的首席研究員。
研究方向為定量理解大腦中的視覺(jué)和認知處理，谷歌學(xué)術(shù)引用3000+次。
那么，你覺(jué)得這波AI重建圖像的效果如何？
來(lái)源：量子位
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
