用意念「手寫(xiě)」字母，準確率高達99%，斯坦福腦機接口新突破登上Nature封面

來(lái)自斯坦福大學(xué)的研究者讓腦機接口的發(fā)展又進(jìn)了一步——首次破解了「與手寫(xiě)筆跡相關(guān)」的大腦活動(dòng)。癱瘓受試者借助一套皮質(zhì)內腦機接口系統，每分鐘可以打出 90 個(gè)字符，準確率為 94% 至 99%，可稱(chēng)得上是該領(lǐng)域的一大進(jìn)步。

利用腦機接口技術(shù)（ BCI）進(jìn)行意念操控，已經(jīng)不是什么新鮮事。腦機接口技術(shù)也正越來(lái)越多地給癱瘓患者帶來(lái)便利。此前，美國 BrainGate 團隊首次實(shí)現了人類(lèi)大腦信號與計算機之間的無(wú)線(xiàn)高帶寬傳輸，通過(guò)創(chuàng )建一套無(wú)線(xiàn)腦機接口設備，癱瘓患者不僅能夠借助思維打字，還能在家輕松瀏覽網(wǎng)絡(luò )內容。

以往，腦機接口的主要功能是恢復患者的 「運動(dòng)技能」，比如借助腦機接口設備操控機械臂抓取物品、移動(dòng)電腦光標、點(diǎn)擊字母輸入等。

近日，斯坦福大學(xué)的研究者實(shí)現了一項新的突破，首次破譯了「與手寫(xiě)筆跡相關(guān)」的大腦活動(dòng)，可以讓癱瘓患者不用手也能快速打字。具體來(lái)講，他們開(kāi)發(fā)了一套皮質(zhì)內腦機接口（intracortical BCI）系統，這套系統可以從運動(dòng)皮層的神經(jīng)活動(dòng)中解碼癱瘓患者想象中的手寫(xiě)動(dòng)作，并利用遞歸神經(jīng)網(wǎng)絡(luò )（RNN）解碼方法將這些手寫(xiě)動(dòng)作實(shí)時(shí)轉換為文本。

論文一作兼通訊作者為斯坦福大學(xué)霍華德 · 休斯醫學(xué)研究所的研究科學(xué)家 Frank Willett，相關(guān)論文登上了最新一期的 Nature 封面。

論文地址：https://www.nature.com/articles/s41586-021-03506-2

就實(shí)驗結果而言，借助于這套皮質(zhì)內腦機接口系統，研究受試者（因脊髓損失癱瘓）每分鐘可以打出約 90 個(gè)字符，是以往利用此類(lèi)腦機接口打字記錄的兩倍多，并且在線(xiàn)原始準確率達到了 94.1%，自動(dòng)更正后的離線(xiàn)準確率超過(guò)了 99%。

論文作者之一、斯坦福大學(xué)霍華德 · 休斯醫學(xué)研究院的研究員 Krishna Shenoy 表示：「隨著(zhù)進(jìn)一步的開(kāi)發(fā)，這項創(chuàng )新性研究可以使癱瘓患者不用手也能快速打字?！?/p>

加州大學(xué)伯克利分校的神經(jīng)工程師 Jose Carmena 也認為：「這項研究以及其他同類(lèi)研究在幫助各類(lèi)殘疾患者方面具有很大潛力。盡管研究結果只是初步的，但依然是該領(lǐng)域的重大進(jìn)步?！?/p>

腦機接口實(shí)現癱瘓患者「意念寫(xiě)字」

癱瘓患者可能會(huì )喪失移動(dòng)能力，但大腦中仍然存在關(guān)于走路、喝咖啡說(shuō)話(huà)等行為的神經(jīng)活動(dòng)。腦機接口方向的研究能夠幫助癱瘓患者或者截肢患者恢復失去的能力。具體的需求因患者的情況而定。例如，失去雙手的患者可以使用帶有語(yǔ)音識別功能的計算機或軟件。對于說(shuō)話(huà)困難的人，科學(xué)家們正在研究其他方法來(lái)幫助人們交流。

Shenoy 的團隊對與語(yǔ)音相關(guān)的神經(jīng)活動(dòng)進(jìn)行了解碼，希望能夠復現這些神經(jīng)活動(dòng)。他們還為植入傳感器的參與者設計了一種新的方法，以使他們能夠利用與肢體運動(dòng)相關(guān)的意念來(lái)移動(dòng)屏幕上的光標。

然而，沒(méi)有人嘗試過(guò)「手寫(xiě)文字」的行為。

因此，論文一作 Frank Willett 想探究是否有可能將筆置于紙張上來(lái)激發(fā)大腦信號。此外，該團隊與一位參與了 BrainGate2 臨床實(shí)驗的參與者進(jìn)行了合作。

Shenoy 團隊中的神經(jīng)外科醫生 Henderson 將兩個(gè)微小的傳感器植入到參與者大腦中控制手臂和手部的部位上，從而使患者能夠利用移動(dòng)手臂的意念來(lái)控制機械臂或屏幕上光標的移動(dòng)。

受試者的運動(dòng)前區平層被植入兩個(gè)腦機接口芯片，共計大約 200 個(gè)電極。

使用微型電極記錄大腦信號。圖源：BrainGate.org

在整個(gè)過(guò)程中，首先一位患有脊髓損傷的 65 歲受試者「想象著(zhù)用筆在紙上寫(xiě)字」：

接著(zhù)，受試者大腦中植入的電極檢測到「他試圖寫(xiě)字的活動(dòng)」：

最后，算法對每個(gè)字符對應的活動(dòng)模式進(jìn)行解碼，并將這些活動(dòng)模式轉換成可在屏幕上顯示的文本。

對受試者「試圖手寫(xiě)」行為的實(shí)時(shí)神經(jīng)解碼如下圖（左）所示，轉換為屏幕可顯示文本的關(guān)鍵技術(shù) RNN 的架構如圖（右）所示：

利用這種系統，受試者能夠復制語(yǔ)句或者回答問(wèn)題，并且速度和同齡人使用智能手機輸入的速度差不多。

Willett 表示：「這種名為『Brain-to-Text』的 BCI 的速度之所以這么快，是因為每個(gè)字母引發(fā)的神經(jīng)活動(dòng)模式都大不相同，從而使算法易于區分?！?/p>

未來(lái)設想

Shenoy 團隊設想利用手寫(xiě)文本輸入打造一個(gè)更全面的系統，該系統包括類(lèi)似智能手機界面中的點(diǎn)擊導航功能，甚至嘗試了語(yǔ)音解碼功能。他表示：「我們肯定會(huì )讓系統嘗試兩到三種模式，并在它們之間切換?！?/p>

接下來(lái)，團隊將與一位無(wú)法說(shuō)話(huà)的參與人員共同工作，比如患有肌萎縮性脊髓側索硬化癥（ALS）的人，這是一種退化性的神經(jīng)系統疾病，會(huì )導致患者的運動(dòng)及說(shuō)話(huà)能力喪失。Henderson 補充說(shuō)，新系統將幫助到那些因各種疾病癱瘓的人。

《潛水鐘與蝴蝶》的作者 Jean-Dominique Bauby 因中風(fēng)喪失了大多數行為能力，僅剩一只左眼能夠眨動(dòng)，但憑借著(zhù)頑強的意志力，以聽(tīng)讀眨眼的方式寫(xiě)出了生命中最后一本書(shū)。假如有了這套新系統，他是否可以留下更多的生命回憶？

「我的肉體沉重如潛水鐘，但內心渴望像蝴蝶般自由飛翔。除了我的眼睛外，還有兩樣東西沒(méi)有癱瘓：我的想象以及我的記憶。只有想象和記憶，才能令我擺脫潛水鐘的束縛?！?/p>

參考鏈接：

https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html

https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/