讓癱瘓失語(yǔ)患者「說(shuō)話(huà)」，腦機接口首次從大腦活動(dòng)解碼完整句子，登上新英格蘭醫學(xué)雜志

Facebook 與加州大學(xué)舊金山分校（UCSF）Chang Lab 的腦機接口項目 Project Steno 取得了最新進(jìn)展，該研究通過(guò)解碼從運動(dòng)皮層發(fā)送到聲道的大腦信號，讓嚴重癱瘓的失語(yǔ)患者重新恢復交流能力。

近年來(lái)，腦機接口（BCI）研究吸引了越來(lái)越多科研機構和科技企業(yè)的興趣，也相繼出現了很多令人矚目的技術(shù)成果，如馬斯克腦機接口公司 Neuralink 先后在豬、猴子等體內植入腦機接口設備、斯坦福大學(xué)腦機接口設備讓癱瘓患者實(shí)現「意念寫(xiě)字」等。這些成果都為癱瘓患者重新與世界進(jìn)行交互提供了新的希望。

一直以來(lái)，Facebook 也致力于腦機接口的研究，并專(zhuān)注于研發(fā)頭戴式腦機接口設備。然而，Facebook 近日發(fā)表博客稱(chēng)其將停止研發(fā)頭戴式腦機接口技術(shù)，轉而專(zhuān)注一種不同的神經(jīng)接口方法，即由肌電圖驅動(dòng)的腕帶式設備。究其原因，該公司認為手腕式設備能在短期內進(jìn)入市場(chǎng)。不過(guò)，Facebook 仍然相信頭戴式腦機接口技術(shù)的長(cháng)期前景。

與此同時(shí)，Facebook 也宣布其與加州大學(xué)舊金山分校（UCSF）Chang Lab 的腦機接口項目 Project Steno 取得了最新的進(jìn)展。他們啟動(dòng)了一項名為「手臂和聲音的腦機接口修復」（Brain-Computer Interface Restoration of Arm and Voice）新研究，并將一位 36 歲、癱瘓在床且失語(yǔ)多年的男子作為受試者。研究者在這位受試者的大腦中控制聲道的區域植入一個(gè)電極陣列，當他試圖回答屏幕上顯示的問(wèn)題時(shí)，機器學(xué)習算法自動(dòng)識別出他腦中出現的單詞，轉換為實(shí)時(shí)的句子。

據了解，這是首次成功地從癱瘓失語(yǔ)患者言語(yǔ)皮質(zhì)的大腦活動(dòng)中直接解碼完整句子。

相關(guān)論文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》發(fā)表在了《新英格蘭醫學(xué)雜志》上。

論文地址：https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home

從大腦活動(dòng)中直接解碼完整句子

受試者在 16 年前因中風(fēng)癱瘓在床并且失語(yǔ)多年，他通常使用頭部運動(dòng)控制輔助計算機打字與他人交流。

受試者。

在實(shí)驗中，研究者在其大腦的感覺(jué)運動(dòng)皮層（sensorimotor cortex）區域植入一個(gè)硬膜下、高密度的多電極陣列，用于控制受試者的言語(yǔ)。

實(shí)驗中植入的多電極陣列。

研究者記錄了 22 個(gè)小時(shí)的皮質(zhì)活動(dòng)，同時(shí)受試者試圖從包含 50 個(gè)單詞的詞匯集中（其中包括水、家庭、好等日常生活中必不可少的詞匯）說(shuō)出單個(gè)單詞。在實(shí)現受試者說(shuō)出單詞的過(guò)程中，研究者使用深度學(xué)習算法來(lái)創(chuàng )建相應的計算模型，用于從記錄的皮質(zhì)活動(dòng)的模式中檢測和分類(lèi)單詞。

除了這些計算模型之外，他們還使用了一個(gè)自然語(yǔ)言模型，該模型在給定序列中前一個(gè)單詞的情況下生成下一個(gè)單詞的概率，以在受試者試圖說(shuō)出這些單詞時(shí)解碼完整的句子。如下圖所示，研究者用到了神經(jīng)信號處理、言語(yǔ)生成、單詞分類(lèi)和語(yǔ)言建模等技術(shù)。

原理示意圖如下所示，可以看到從受試者試圖回答（圖 A）到皮質(zhì)信號（圖 B）、神經(jīng)信號處理（圖 C）、言語(yǔ)生成（圖 D）、單詞分類(lèi)（圖 E）、語(yǔ)言建模（圖 F）和最后的解碼響應（圖 G），它們是一個(gè)完整的過(guò)程。

為了測試這一方法是否有效，研究者會(huì )通過(guò)屏幕顯示問(wèn)題，比如「你今天過(guò)得怎么樣」、「你想喝點(diǎn)水嗎」等，受試者相應地給出回答：「我很好」、「不，我不想喝水」等。

實(shí)驗結果顯示，這個(gè)腦機接口系統平均每分鐘可以實(shí)時(shí)解碼 15.2 個(gè)單詞，平均準確率為 74%。并且，每分鐘最多可以解碼 18 個(gè)單詞，準確率最高可以達到 93%。在事后分析中，研究者檢測到受試者試圖生成單個(gè)單詞的概率為 98%，并且在 81 周的研究期間，他們使用穩定皮質(zhì)信號分類(lèi)單詞的準確率達到了 47.1% 。

腦機接口技術(shù)仍需改進(jìn)

在 2019、2020 年，Chang Lab 就發(fā)表過(guò)早期的 Project Steno 項目研究，該項目表明電極陣列和預測模型可以創(chuàng )建相對快速和復雜的思維類(lèi)型系統。以前的打字方法都涉及用大腦植入物在屏幕上觸動(dòng)光標，盡管其他一些研究人員也嘗試過(guò)例如可視化手寫(xiě)字體這樣的方法，但都不理想。該實(shí)驗室的早期研究涉及解碼說(shuō)話(huà)人的大腦活動(dòng)，而最新的研究表明，即使受試者不 (或不能) 大聲說(shuō)話(huà)，它也能起作用。

此次研究中未使用的 Facebook Reality Labs 耳機。

UCSF 神經(jīng)外科主任 Eddie Chang 表示，下一步是改進(jìn)該系統，并讓更多的人進(jìn)行測試?！冈谟布矫?，我們需要構建具有更高數據分辨率的系統，以更快地記錄更多來(lái)自大腦的信息。在算法方面，我們需要有能夠將大腦中這些非常復雜的信號轉換成語(yǔ)言系統的能力，不是文本，而是真正的、可聽(tīng)得到的口語(yǔ)。最重要的是要大大擴大詞匯量?！?/p>

這項研究對于那些沒(méi)有可用鍵盤(pán)輸入和其他現有接口的人來(lái)說(shuō)很有價(jià)值，即使是有限的詞匯量，也能幫助他們進(jìn)行更好的交流。但這與 Facebook 在 2017 年設定的宏偉目標相去甚遠，該目標是研究一種非侵入性 BCI 系統，可以讓人每分鐘打 100 個(gè)字，這個(gè)速度相當于人在傳統鍵盤(pán)的打字速度。UCSF 最近的研究涉及植入技術(shù)，但還未到達這個(gè)數字（每分鐘打 100 個(gè)字），甚至是大多數人按手機鍵盤(pán)的速度也沒(méi)有到達。

此后，Facebook 在 2019 年收購了肌電圖 EMG 腕帶公司 CTRL-Labs，為其提供了 AR 和 VR 的替代控制選項?！肝覀內蕴幱卺尫磐蟛考‰妶D (EMG) 潛力的早期階段，但我們相信它將成為 AR 眼鏡的核心輸入，對 BCI 的了解將幫助我們更快地實(shí)現這一目標，」Facebook Reality Labs 研究主管 Sean Keller 說(shuō)。Facebook 不會(huì )完全放棄頭戴式大腦接口系統，而是計劃將該軟件技術(shù)開(kāi)源，并與外部研究人員共享硬件原型，同時(shí)停止研發(fā)頭戴式腦機接口技術(shù)，轉而專(zhuān)注一種不同的神經(jīng)接口方法。

參考鏈接：

https://www.sohu.com/a/477800341_114835

https://www.theverge.com/2021/7/14/22577095/facebook-bci-ucsf-chang-lab-brain-typing-research-update-project-steno-ar-vr

https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/