類(lèi)腦計算已為大時(shí)代做好準備

幾十年來(lái)，構建類(lèi)腦計算機硬件的努力一直在進(jìn)行，但該領(lǐng)域尚未出現突破時(shí)刻?，F在，領(lǐng)先的研究人員表示，開(kāi)始構建第一個(gè)可以解決實(shí)際問(wèn)題的大規模神經(jīng)形態(tài)設備的時(shí)機已經(jīng)成熟。

為人工智能的最新進(jìn)展提供動(dòng)力的神經(jīng)網(wǎng)絡(luò )大致受到大腦的啟發(fā)，展示了從生物學(xué)中汲取靈感的技術(shù)的潛力。但相似之處只是膚淺的，當今 AI 背后的算法和硬件的運行方式與生物神經(jīng)元完全不同。

神經(jīng)形態(tài)工程師希望，通過(guò)設計更忠實(shí)地復制大腦工作方式的技術(shù)，我們將能夠模仿其令人難以置信的計算能力和能源效率。這種方法的核心是使用脈沖神經(jīng)網(wǎng)絡(luò )，其中計算神經(jīng)元通過(guò)使用活動(dòng)峰值進(jìn)行通信來(lái)模擬它們的生物表親，而不是傳統神經(jīng)網(wǎng)絡(luò )中使用的數值。但是，盡管經(jīng)過(guò)了幾十年的研究，私營(yíng)部門(mén)的興趣日益濃厚，但大多數示范活動(dòng)仍然是小規模的，而且這項技術(shù)還沒(méi)有取得商業(yè)突破。

在 1 月份發(fā)表在《自然》雜志上的一篇論文中，該領(lǐng)域的一些領(lǐng)先研究人員認為，這種情況可能很快就會(huì )改變。他們認為，神經(jīng)形態(tài)計算已經(jīng)從學(xué)術(shù)原型成熟為能夠應對現實(shí)世界挑戰的生產(chǎn)就緒設備，現在已準備好向大規模系統飛躍。 與該論文的作者之一 Steve Furber 進(jìn)行了交談，他是 ARM 微處理器（現在為大多數手機提供支持的技術(shù)）的首席設計師，也是 SpiNNaker 神經(jīng)形態(tài)計算機架構的創(chuàng )建者。

史蒂夫·福伯 （Steve Furber） 談關(guān)于下列問(wèn)題：

    為什么神經(jīng)形態(tài)計算正處于關(guān)鍵時(shí)刻
    軟件與硬件
    打破研究孤島
    規模與生物學(xué)合理性
    憶阻器的影響

在論文中，您說(shuō)神經(jīng)形態(tài)計算正處于一個(gè)關(guān)鍵時(shí)刻。這是什么意思？

史蒂夫·福伯：我們已經(jīng)證明，該技術(shù)可以支持幾乎任意規模的脈沖神經(jīng)網(wǎng)絡(luò )，并且可以使用它們做一些有用的事情。當前的關(guān)鍵是，我們確實(shí)需要一些殺手級應用的演示。

SpiNNaker 項目始于 20 年前，專(zhuān)注于為腦科學(xué)做出貢獻，如果您想構建腦細胞功能模型，神經(jīng)形態(tài)學(xué)是一項顯而易見(jiàn)的技術(shù)。但在過(guò)去的 20 年里，重點(diǎn)已經(jīng)轉移到工程應用上。要在工程領(lǐng)域真正起飛，我們需要一些神經(jīng)形態(tài)優(yōu)勢的展示。

與此同時(shí)，在這 20 年里，基于一種完全不同的神經(jīng)網(wǎng)絡(luò )的主流 AI 出現了爆炸式增長(cháng)。這非常令人印象深刻，顯然產(chǎn)生了巨大的影響，但它開(kāi)始遇到一些嚴重的問(wèn)題，尤其是在大型語(yǔ)言模型 （LLM） 的能源需求方面?，F在人們期望神經(jīng)形態(tài)方法可能會(huì )通過(guò)顯著(zhù)減少那些不可持續的能源需求來(lái)做出貢獻。

我們即將擁有足以支持神經(jīng)形態(tài)形式的 LLM 的規模的神經(jīng)形態(tài)系統。我認為在較小的一端也有很多重要的應用程序開(kāi)發(fā)。特別靠近傳感器，使用基于事件的圖像傳感器和神經(jīng)形態(tài)處理系統可以提供非常低能耗的視覺(jué)系統，可以應用于安全和汽車(chē)等領(lǐng)域。

當您談到實(shí)現大規模神經(jīng)形態(tài)計算機時(shí)，這與已經(jīng)存在的系統相比如何？

Furber：已經(jīng)有很多例子，比如大型 Intel Loihi 2 系統 Hala Point。這是一個(gè)非常密集、大規模的系統。自 2016 年以來(lái)，我們一直在 [英國曼徹斯特大學(xué)] 上運行服務(wù)的 SpiNNaker 1 機器在系統中有五十萬(wàn)個(gè) ARM 內核，到 2018 年擴展到 100 萬(wàn)個(gè)。這是相當大的規模。我們在 SpiNNaker 2 [SpiNNcloud Systems，總部位于德國德累斯頓] 上的合作者開(kāi)始銷(xiāo)售 500 萬(wàn)個(gè)核心級別的系統，他們將能夠運行相當多的 LLM。

現在，神經(jīng)形態(tài)平臺需要進(jìn)化多少是一個(gè)有待回答的問(wèn)題。它們可以以相當簡(jiǎn)單的方式進(jìn)行轉換以使其運行，但這種簡(jiǎn)單的轉換不一定能獲得最佳的能源性能。

那么，硬件不是真正的問(wèn)題嗎，而是在它上面有效地構建一些東西嗎？

Furber：是的，我認為過(guò)去 20 年已經(jīng)見(jiàn)證了概念驗證硬件系統以所需的規模出現。而是弄清楚如何充分利用他們，這就是差距。其中一些只是復制為基于 GPU 的機器學(xué)習開(kāi)發(fā)的高效且有用的軟件堆棧。

可以在 neuromorphic 硬件上構建應用程序，但仍然非常困難。最大的缺失組件是類(lèi)似于 TensorFlow 和 PyTorch 的高級軟件設計工具，這些工具使構建大型模型變得簡(jiǎn)單明了，而不必深入到詳細描述每個(gè)神經(jīng)元的級別。

有相當多樣化的神經(jīng)形態(tài)技術(shù)，這有時(shí)會(huì )使不同群體之間的研究結果難以轉化。您如何打破這些孤島？

Furber：盡管硬件實(shí)現通常大不相同，但更高級別有很多共同點(diǎn)。所有神經(jīng)形態(tài)平臺都使用尖峰神經(jīng)元，神經(jīng)元本身也相似。在較低級別上，您有各種各樣的細節，但可以通過(guò)實(shí)現一個(gè)軟件層來(lái)彌合這些較低級別的硬件差異與較高級別的共性。

我們在這方面取得了一些進(jìn)展，因為在歐盟的 Human Brain Project 中，我們有一個(gè)小組一直在開(kāi)發(fā) PyNN 語(yǔ)言。它得到了 SpiNNaker（一個(gè)多核心神經(jīng)形態(tài)系統）和海德堡大學(xué)的 BrainScaleS 系統（一個(gè)模擬神經(jīng)模型）的支持。

但事實(shí)是，許多神經(jīng)形態(tài)系統都是在實(shí)驗室中開(kāi)發(fā)的，并且只由該實(shí)驗室內的其他人使用。因此，它們對追求共性沒(méi)有貢獻。英特爾一直在嘗試通過(guò)在 Loihi 系統上構建 Lava 軟件基礎設施并鼓勵其他人參與來(lái)做出貢獻。因此，有朝這個(gè)方向前進(jìn)的步伐，但遠未完成。

對于神經(jīng)形態(tài)技術(shù)的生物學(xué)合理性需要有多大，意見(jiàn)不一。該領(lǐng)域需要在這里達成一些共識嗎？

Furber：我認為硬件平臺和使用的神經(jīng)元模型的多樣性是研究領(lǐng)域的一個(gè)優(yōu)勢。多樣性是一種探索空間的機制，讓您有最好的機會(huì )找到開(kāi)發(fā)嚴肅的大規模應用程序的最佳答案。但是，一旦你這樣做了，是的，我認為你需要減少多樣性并更多地關(guān)注共性。因此，如果神經(jīng)形態(tài)即將從一個(gè)主要由研究驅動(dòng)的領(lǐng)域過(guò)渡到一個(gè)主要由應用驅動(dòng)的領(lǐng)域，那么我們預計會(huì )看到這種變化。

如果該領(lǐng)域想要實(shí)現規?；?，它是否必須犧牲一點(diǎn)生物學(xué)上的合理性？

Furber：生物保真度和工程可控性之間存在權衡。復制 LLM 中使用的極其簡(jiǎn)單的神經(jīng)模型不需要很高的生物保真度?，F在，可以說(shuō)，如果您可以整合更多的生物細節和功能，則可以將這些模型所需的神經(jīng)元數量減少一個(gè)重要因素。如果這是真的，那么最終整合這些更復雜的模型可能是值得的。但要證明情況確實(shí)如此，仍然是一個(gè)很大的研究問(wèn)題。

近年來(lái)，憶阻器（模擬神經(jīng)元某些功能的存儲設備）引起了人們的廣泛關(guān)注。這是否改變了人們接近神經(jīng)形態(tài)計算的方式？

Furber：我確實(shí)認為，正在開(kāi)發(fā)的技術(shù)有可能在非常低的水平上提高硬件效率方面產(chǎn)生變革性。但是，當我觀(guān)察英國的神經(jīng)形態(tài)研究格局時(shí)，其中很大一部分集中在新型設備技術(shù)上?？梢哉f(shuō)，人們對此的關(guān)注有點(diǎn)過(guò)分了，因為系統問(wèn)題總體上是相同的。

除非我們能夠在系統級問(wèn)題上取得進(jìn)展，否則支撐技術(shù)是什么并不重要，我們已經(jīng)有平臺可以支持系統級問(wèn)題的進(jìn)展。

該論文表明，大規模神經(jīng)形態(tài)計算的時(shí)機已經(jīng)成熟。近年來(lái)，有什么變化讓您對此持積極態(tài)度，還是更像是一種戰斗號召？

Furber：它有點(diǎn)介于兩者之間。有證據表明它正在發(fā)生，神經(jīng)形態(tài)領(lǐng)域有許多有趣的初創(chuàng )公司正在設法生存下來(lái)。因此，這證明擁有大量可用資金的人開(kāi)始準備在神經(jīng)形態(tài)技術(shù)上花錢(qián)。更廣泛的社區都相信 Neuromorphic 的時(shí)代即將到來(lái)。當然，主流機器學(xué)習在能源方面面臨的巨大問(wèn)題，這是一個(gè)迫切需要解決的問(wèn)題。一旦有令人信服的證明神經(jīng)形態(tài)學(xué)可以改變方程式，那么我認為我們將看到事情開(kāi)始轉變。