山東青年利用離子電流進(jìn)行儲層計算,預測誤差不到0.1,為低功耗硬件計算系統提供新視角
她叫闞韶華,山東淄博人,生于 1996 年,今年 25 歲。
近日,她的一作論文發(fā)表在 Advanced Science(IF 16.806)期刊,審稿人在各項評價(jià)中均給予 Top15% 的評價(jià)。
論文題為《通過(guò)電化學(xué)反應實(shí)現儲層計算的物理實(shí)現》(Physical Implementation of Reservoir Computing through Electrochemical Reaction)[1]。
“編輯還邀請我們參與制作封面(不過(guò)最后被選為了扉頁(yè)),把我的導師給激動(dòng)壞了,周末都來(lái)跟我一起早出晚歸地準備所需材料?!标R韶華說(shuō)。
據悉,其本科畢業(yè)于中北大學(xué)微電子科學(xué)與技術(shù)專(zhuān)業(yè),大三開(kāi)始的專(zhuān)業(yè)課讓她了解到“摩爾定律”即將失效的這一技術(shù)難題,其認為探索新的體系方案將是有趣的研究方向,因此來(lái)到日本大阪大學(xué)量子工程設計專(zhuān)業(yè)讀碩士,跟隨導師赤井恵(Megumi Akai-Kasaya)老師探索新型 AI 器件解決方案。
后來(lái)由于導師工作調動(dòng),闞韶華轉到北海道大學(xué)情報科學(xué)院讀博。2023 年博士畢業(yè)后,她打算回國找工作,并表示更想去企業(yè)工作。
從水中質(zhì)子運動(dòng),到 AI 新型芯片
此次論文的背景在于:當前,基于晶體管的半導體芯片尺寸和速度,都已幾乎接近物理極限。然而,AI 的發(fā)展使得人們對于計算規模和計算速度的需求,處于持續增長(cháng)狀態(tài)。
一種被叫做儲層計算(Reservoir Computing)的神經(jīng)網(wǎng)絡(luò ),是解決該困境的最有潛力的方法之一。
執行計算的部分俗稱(chēng)為“水庫”,它相當于傳統遞歸型神經(jīng)網(wǎng)絡(luò )的隱藏層,由大量隨機鏈接的動(dòng)態(tài)節點(diǎn)組成,節點(diǎn)之間的鏈接權重無(wú)需訓練和調整的,被“水庫”處理后的信息可直接用于學(xué)習過(guò)程,因此可節省大量計算負擔和訓練時(shí)間。
一些比較復雜的計算問(wèn)題比如天氣狀況、流體流動(dòng)、軟體材料的行為等,都可通過(guò)儲層計算了解它們的內在動(dòng)力學(xué)。
物理學(xué)中有一個(gè)非線(xiàn)性動(dòng)態(tài)系統的概念,它能用于“水庫”的構建中,雖然具有一些前提條件(比如系統不能是混沌的等),但自然界依然有許多物理系統都有可能利用其自身的非線(xiàn)性動(dòng)態(tài)特性來(lái)實(shí)現儲層計算,這一概念被稱(chēng)作物理儲層計算。
一直以來(lái),此概念都激發(fā)了物理學(xué)家們的諸多嘗試:比如利用原子陣列、電子自旋、量子動(dòng)力學(xué)等構建物理儲層。
多年來(lái),雖然取得了一定進(jìn)展,但依然存在不夠簡(jiǎn)明和通用等問(wèn)題,因此物理儲層的探索依然前路漫漫。
而此次闞韶華的工作,分兩方面對上述問(wèn)題做了研究:其一提出一套利用離子電流進(jìn)行儲層計算的獨特方案;其二她發(fā)現這套測試設備,能讓溶液依賴(lài)自身電化學(xué)響應和電極間的相互影響,進(jìn)而構成一個(gè)有效的物理儲層,同時(shí)具有強大的計算能力。
測試方案的實(shí)現過(guò)程如下:她先設計出一款微米級尺度的平面電極組,讓電極之間相互平行,每組電極的一邊是輸入電極組、另一邊是輸出電極組。
這時(shí),將溶液滴加在平面電極的表面,并在輸入電極上施加電壓,接著(zhù)利用一套多路數據采集系統,依次讀取各個(gè)輸出電極上的響應電流(期間要經(jīng)過(guò)十萬(wàn)至百萬(wàn)倍的放大)。
憑借這種系統設計,即使簡(jiǎn)單如純水,也可以在復雜的非線(xiàn)性問(wèn)題上表現十分出色。以氣動(dòng)人工肌肉為例,它是一種用于構建軟體機器人的柔性材料,由于存在高階的自由度、機械非線(xiàn)性和滯后性,其行為難以被控制和傳感。
但在該研究中,它的長(cháng)度變化卻能被物理儲層做出良好預測。隨著(zhù)闞韶華在實(shí)驗中加入多金屬氧酸鹽,溶液的電化學(xué)過(guò)程也得到豐富,每個(gè)輸出電極上的電流響應也更加動(dòng)態(tài)多樣,系統對周期性信號的處理能力也得以提高。
此外,她還發(fā)現水中的質(zhì)子運動(dòng),對這類(lèi)系統的計算能力發(fā)揮了關(guān)鍵作用,這一發(fā)現既有趣、又意想不到。
闞韶華表示,該研究是她碩士課題的延續。讀碩士時(shí),她第一次接觸到儲層計算,當時(shí)讀了很多論文,感覺(jué)大部分物理實(shí)現都像一個(gè)“黑匣子”,內部動(dòng)態(tài)和信息處理機制既不清晰、也不可控。
因此,她想建立一個(gè)簡(jiǎn)單可控的物理系統,并研究其作為儲層計算的效果。
期間,她使用一對反向并聯(lián)的二極管,通過(guò)外部控制讓其簡(jiǎn)單的響應電流產(chǎn)生一定的動(dòng)態(tài)變化,借此構建出一個(gè)非常簡(jiǎn)單的物理儲層計算系統。將該系統結合相關(guān)算法,只需幾十個(gè)節點(diǎn)就能實(shí)現對不同說(shuō)話(huà)者的 10 個(gè)孤立詞的識別,準確率達到 84% [2]。
這樣的結果無(wú)疑展示了儲層計算的巨大優(yōu)勢和開(kāi)發(fā)潛力,也說(shuō)明就連二極管這樣簡(jiǎn)單的電流電壓響應特性,都能被利用。
因此闞韶華認為,如果利用其他分子材料的電流電壓反應或許會(huì )有更大收獲,于是就有了本次研究的開(kāi)題。
一開(kāi)始,導師給她指定了多個(gè)材料,讓其逐一進(jìn)行實(shí)驗測試和計算。
“但我中途放棄了,因為我不是化學(xué)專(zhuān)業(yè)出身的,我感覺(jué)自己沒(méi)法從化學(xué)角度思考反應的過(guò)程,而且不確定因素實(shí)在太多,就連同一種材料得到的實(shí)驗數據都讓我有種完全無(wú)跡可尋的感覺(jué)。于是,我嘗試只使用純水測試,因為它不需要很復雜的化學(xué)知識來(lái)解釋?zhuān)Y果沒(méi)想到純水在一系列的基準測試上的表現竟然非常好,而且性能非常穩定?!标R韶華回憶稱(chēng)。
就這樣僅僅憑借純水,她探索并明確了影響該物理儲層的性能表現因素,以及測試電路中一些不可避免的干擾因素比如選擇開(kāi)關(guān)引起的泄漏電流,到底會(huì )帶來(lái)多大程度的影響。
慢慢地,物理儲層內部的細節被一點(diǎn)點(diǎn)明確,這時(shí)闞韶華認為可以添加導師要求的材料了,于是她加入極少量有著(zhù)“電子海綿”之稱(chēng)的多金屬氧酸鹽材料,其獨特的分子電子結構可以豐富電極上的電流響應。
結果發(fā)現,復雜多樣的法拉第電流有助于提高系統對周期性信號的處理能力。此外,這兩種溶液的共同特殊之處在于,采樣時(shí)間較早的材料、比采樣時(shí)間較晚的材料性能更佳,為此她又增加一組使用非質(zhì)子溶劑作為參照的測試。
結果發(fā)現,這會(huì )大大降低系統的計算性能,也說(shuō)明水中的質(zhì)子運動(dòng),對系統計算能力起著(zhù)核心作用。
有望在微米電極上,形成極短時(shí)間內的電流響應
闞韶華表示,該研究能為未來(lái)低功耗硬件計算系統的發(fā)展提供新視角。若干年內,有望實(shí)現僅在微米級電極上,即可利用溶液中的質(zhì)子移動(dòng)、或離子移動(dòng),形成極短時(shí)間內的電流響應,從而設計出更強大的計算系統,為日益重要的邊緣計算提供低成本、低功耗和高度集成的硬件設備。
不過(guò),當前系統仍有一定局限性,因此未來(lái)她計劃改進(jìn)測試電路,從而實(shí)現大規模的并行運算,以及把測試速度提高到微秒級別。
作為一名 95 后理工生,闞韶華有著(zhù)她細膩卻堅韌的一面。問(wèn)及研究中難忘的事,她說(shuō):“肯定是之前沒(méi)忍住在導師面前哭鼻子了吧,哈哈。一開(kāi)始我搭建的測試系統不能正常工作,推測問(wèn)題出在廠(chǎng)家新制作的電路板上,但導師把一塊原來(lái)能正常使用的舊板子給我測試時(shí)也失敗了,所以導師認為是我電路搭建或者測試代碼出了錯?!?/span>
于是,她用好長(cháng)時(shí)間全部重新來(lái)過(guò),還是覺(jué)得電路板有問(wèn)題,最后對著(zhù)廠(chǎng)家電路圖逐個(gè)把板子上的模塊進(jìn)行搭建和測試,并把問(wèn)題鎖定在位移寄存器上。
這時(shí),導師幫她聯(lián)系廠(chǎng)家后,得到的答復卻是他們測試該器件時(shí)能夠正常工作,當時(shí)闞韶華的心情有些崩潰,因為前后耗時(shí)遠超預期,而且她十分確定問(wèn)題出在哪里,但是沒(méi)有人遇到同類(lèi)問(wèn)題,導致導師也不太相信她的判斷。這時(shí)導師安慰她,說(shuō)要是不行就換一個(gè)同學(xué)來(lái)做。
提及此闞韶華說(shuō):“這時(shí),我實(shí)在憋不住淚水了。我回應導師說(shuō):‘在電路方面,組里其他人的經(jīng)驗都沒(méi)我豐富,很多人出問(wèn)題時(shí)還是我幫忙解決的,我不覺(jué)得如果我解決不了的問(wèn)題其他人就能解決?!缓笤较朐轿?,一路哭著(zhù)回住處?;厝ズ筮€是不希望把自己的課題交給別人,就在網(wǎng)上用中文、英語(yǔ)、日語(yǔ)分別搜索這個(gè)型號的位移寄存器在使用中會(huì )遇到的問(wèn)題,最后終于找到一些關(guān)于供電電壓的討論?!?/span>
第二天一早,她就去實(shí)驗室把該器件的供電電壓從廠(chǎng)家指定的 5V 降到了 3.3V,驚喜地發(fā)現一切都能正常工作。
“雖然直到現在,導師依舊不相信廠(chǎng)家給的使用建議會(huì )出錯(笑),但我的課題總算可以進(jìn)行下去了?!标R韶華表示。
-End-
參考:
1、Kan, S., Nakajima, K., Asai, T., & Akai‐Kasaya, M. (2021). Physical Implementation of Reservoir Computing through Electrochemical Reaction. Advanced Science, 2104076.
2、Kan, S., Nakajima, K., Takeshima, Y., Asai, T., Kuwahara, Y., & Akai-Kasaya, M. (2021). Simple reservoir computing capitalizing on the nonlinear response of materials: theory and physical implementations. Physical review applied, 15(2), 024030.
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。