荷蘭研究人員開(kāi)發(fā)出新技術(shù)，通過(guò)AI芯片的片上訓練來(lái)降低功耗

7月22日消息，荷蘭埃因霍溫理工大學(xué)的研究人員開(kāi)發(fā)了一種能夠進(jìn)行片上訓練的設備，無(wú)需將訓練好的模型傳輸到芯片上，從而在未來(lái)開(kāi)辟了更節能的人工智能（AI）芯片。

據了解，該開(kāi)發(fā)使用神經(jīng)形態(tài)架構，但已適應主流人工智能框架，而不是脈沖網(wǎng)絡(luò )。訓練神經(jīng)形態(tài)網(wǎng)絡(luò )可能很乏味、耗時(shí)且能源效率低下，因為模型通常首先在計算機上訓練，然后傳輸到芯片上。

“在神經(jīng)形態(tài)芯片中，有憶阻器。這些電路設備可以'記住'過(guò)去有多少電荷流過(guò)它們?！盩U/e.機械工程系副教授Yoeri Van de Burgt說(shuō)，他與Evaline van Doremaele合作參與了該項目?！岸@正是以大腦神經(jīng)元如何存儲信息和相互通信為模型的設備所需要的?！?/p>

在計算機上完成訓練后，來(lái)自網(wǎng)絡(luò )的權重被映射到芯片硬件。另一種方法是在原位或硬件中進(jìn)行訓練，但當前設備需要逐個(gè)編程，然后進(jìn)行錯誤檢查。這是必需的，因為大多數憶阻器都是隨機的，如果不檢查設備，就不可能更新設備。

“這些方法在時(shí)間、能源和計算資源方面成本高昂。為了真正利用神經(jīng)形態(tài)芯片的能源效率，需要直接在神經(jīng)形態(tài)芯片上進(jìn)行訓練，“Van de Burgt說(shuō)。

對于研究人員來(lái)說(shuō)，主要的挑戰是將芯片上訓練所需的關(guān)鍵組件集成到單個(gè)神經(jīng)形態(tài)芯片上。

“例如，要解決的一項主要任務(wù)是包含電化學(xué)隨機存取存儲器（EC-RAM）組件，”Van de Burgt說(shuō)?！斑@些是模仿大腦中神經(jīng)元的電荷儲存和發(fā)射的組件。

研究人員制造了一個(gè)基于由有機材料制成的EC-RAM組件的兩層神經(jīng)網(wǎng)絡(luò )，并通過(guò)廣泛使用的訓練算法反向傳播和梯度下降的演變來(lái)測試硬件。

反向傳播算法的硬件實(shí)現使用原位隨機梯度下降逐步更新每一層，避免了存儲要求。該設計包括原位誤差計算和多層硬件實(shí)現的神經(jīng)網(wǎng)絡(luò )中的漸進(jìn)式反向傳播方法。與軟件中的傳統反向傳播相比，這具有相同的學(xué)習特性和分類(lèi)性能，研究人員表明，它可以擴展到大型和深度神經(jīng)網(wǎng)絡(luò )，從而實(shí)現人工智能系統的高效訓練。

“我們已經(jīng)證明這適用于小型兩層網(wǎng)絡(luò )，”van de Burgt說(shuō)?！敖酉聛?lái)，我們希望讓工業(yè)界和其他大型研究實(shí)驗室參與進(jìn)來(lái)，這樣我們就可以建立更大的硬件設備網(wǎng)絡(luò )，并用現實(shí)生活中的數據問(wèn)題來(lái)測試它們。

下一步將使研究人員能夠證明這些系統在訓練以及運行有用的神經(jīng)網(wǎng)絡(luò )和人工智能系統方面非常有效?！拔覀兿Ｍ麑⑦@項技術(shù)應用于幾個(gè)實(shí)際案例，”Van de Burgt說(shuō)?！拔业膲?mèng)想是讓這些技術(shù)在未來(lái)成為人工智能應用的常態(tài)。

編輯：芯智訊-林子