憶阻器或賦予AI芯片時(shí)間感知能力

“你有時(shí)間嗎？”隨著(zhù)密歇根大學(xué)（University of Michigan）最新的憶阻器發(fā)現，人工智能芯片可能很快就會(huì )注意到事件的順序。

密歇根大學(xué)的一個(gè)研究小組利用新的憶阻器技術(shù)創(chuàng )建了一個(gè)時(shí)間感知神經(jīng)網(wǎng)絡(luò )。雖然這項技術(shù)目前只是在小規模上實(shí)現，但其特性可能會(huì )導致人工智能的重大范式轉變。

與感知器等早期神經(jīng)網(wǎng)絡(luò )相比，現代人工智能模型遠遠超出了簡(jiǎn)單的模式識別。最新的部署，如 Copilot 或 GPT4，可以生成新的材料。然而，這種性能會(huì )消耗相當大的功率。

研究人員研究了人腦中的神經(jīng)元，以了解他們如何在憶阻器（神經(jīng)元的硬件模擬）中復制計時(shí)。神經(jīng)元通過(guò)一種稱(chēng)為“松弛時(shí)間”的東西來(lái)編碼有關(guān)一系列事件何時(shí)發(fā)生的信息。神經(jīng)元接收并發(fā)送一些電信號。神經(jīng)元只有在接收到一定的輸入信號閾值時(shí)才會(huì )發(fā)送自己的信號，并且必須在一定的時(shí)間范圍內達到這個(gè)閾值。如果時(shí)間過(guò)長(cháng)，神經(jīng)元就會(huì )放松并釋放電能。人類(lèi)可以理解事件發(fā)生的時(shí)間和順序，因為這些神經(jīng)元在我們的神經(jīng)網(wǎng)絡(luò )中以不同的速率放松。

到目前為止，憶阻器的工作原理與此不同。當一個(gè)憶阻器接觸到一個(gè)信號時(shí)，它的電阻會(huì )減小，允許更多的下一個(gè)信號通過(guò)。隨著(zhù)時(shí)間的推移，更多的放松會(huì )導致更高的電阻。然而，加州大學(xué)團隊的研究表明，基底材料的變化可以產(chǎn)生不同的弛豫時(shí)間，類(lèi)似于神經(jīng)元弛豫時(shí)間的自然變化，從而使憶阻器具有計時(shí)機制。

研究人員挖掘“原子世界的廚房水槽”

使用熵穩定氧化物 （ESO），UM 憶阻器表現出隨時(shí)間變化的弛豫時(shí)間，可以在159到278 ns之間進(jìn)行調節。依賴(lài)時(shí)間的神經(jīng)元激活可以在硬件中編程，從而在部署模型時(shí)不需要耗電的GPU。

UM小組使用釔、鋇、碳和氧（YBCO）襯底開(kāi)發(fā)了這種ESO，該襯底在-292°F以下具有超導特性。該項目的一位研究人員將這種熵穩定的氧化物稱(chēng)為“原子世界的廚房水槽”;也就是說(shuō)，研究人員添加的元素越多，它就越穩定。

經(jīng)過(guò)訓練后，該設備可以識別數字 0 到 9 的聲音（在許多情況下甚至在音頻輸入完成之前），同時(shí)與基于 GPU 的系統相比，始終保持更好的運行效率。未來(lái)，該團隊相信他們可以進(jìn)一步改進(jìn)用于制造設備的能源密集型過(guò)程。

在現代神經(jīng)網(wǎng)絡(luò )中，GPU 技術(shù)完成了大部分訓練和識別。GPU 從內存中提取已知權重，將它們用于乘法和累加，并將它們發(fā)送回內存。這可以重復任意次數，結果是模型輸出。這種方法非常適用于小型模型。隨著(zhù)模型變得越來(lái)越先進(jìn)，內存移動(dòng)的數量開(kāi)始凸顯馮·諾依曼架構的弱點(diǎn)。許多研究人員和開(kāi)發(fā)人員正在轉向內存計算或硬件支持的技術(shù)，以加快這種數據傳輸并降低能耗。

UM小組并不是第一個(gè)在人工智能和高級計算中使用憶阻器的團隊。以前的許多小組已經(jīng)探索了用于內存計算的新材料。然而，UM是第一個(gè)表現出時(shí)間依賴(lài)性行為的研究小組，這對于復制人腦的運作方式至關(guān)重要。

雖然 UM 小組對他們的可調 ESO 能否很快投入商用沒(méi)有任何誤解，但他們的研究標志著(zhù)向硬件支持的人工智能性能又邁進(jìn)了一步。

如果憶阻器件能夠利用現代半導體技術(shù)，它們對定制的人工智能硬件解決方案的影響可能是巨大的。UM團隊估計，在不改變時(shí)間常數的情況下，他們的新材料系統可以將人工智能芯片的能效提高到目前材料的六倍。

來(lái)源：EETOP