東芝宣布時(shí)域神經(jīng)網(wǎng)絡(luò )技術(shù):讓低功率IoT設備也能深度學(xué)習

　　為了追求其在物聯(lián)網(wǎng)和大數據分析領(lǐng)域的未來(lái)，東芝公司正在開(kāi)發(fā)一種時(shí)域神經(jīng)網(wǎng)絡(luò )(TDNN/Time Domain Neural Network)，采用了超低功耗的神經(jīng)形態(tài)半導體電路，可用于執行深度學(xué)習的運算。TDNN 由大量使用了東芝自家的模擬技術(shù)的微型處理單元構成，這讓它和傳統的數字處理器不一樣。TDNN 在 11 月 8 日的 A-SSCC 2016(2016 年亞洲固態(tài)電路會(huì )議)上報告了出來(lái)——這是由 IEEE 贊助的一個(gè)在日本舉辦的國際性半導體電路技術(shù)會(huì )議。

　　深度學(xué)習需要大量的計算，所以通常需要在高功率的高性能處理上運行。但是，如果要將深度學(xué)習和物聯(lián)網(wǎng)邊緣設備(IoT edge device)(如傳感器和智能手機)結合起來(lái)，就需要非常高能效的 IC(集成電路)——它可以執行大量所需的運算，同時(shí)僅需消耗極少的能量。

　　圖 1：時(shí)域神經(jīng)網(wǎng)絡(luò )(Time Domain Neural Network)

　　在馮諾依曼型的計算機架構中，大部分能量都消耗在了將數據在片上或片外存儲設備與處理單元之間的傳遞之中。減少數據移動(dòng)的一種最有效的方式是使用大量處理單元，其中每一個(gè)都僅處理與其接近的一個(gè)數據。這些數據點(diǎn)在將輸入信號(比如貓的照片)轉換成輸出信號(比如識別照片中有貓)的過(guò)程中會(huì )有一個(gè)權重。數據點(diǎn)離目標輸出越近，其獲得的權重就越高。該權重是自動(dòng)化引導深度學(xué)習過(guò)程的一個(gè)參數。

　　生物大腦也有相似的架構。在生物大腦中，神經(jīng)元之間的耦合強度(權重數據)內建于突觸(處理單元)之中。在大腦里面，突觸是神經(jīng)元之間的連接，每一個(gè)都有不同的強度。這些強度(權重)決定了通過(guò)該連接的信號。突觸可以通過(guò)這種方式執行某種形式的計算處理。這種架構被稱(chēng)作是完全空間展開(kāi)架構(fully spatially unrolled architecture);它很有吸引力，但也有一個(gè)明顯的缺點(diǎn)——將其復制到芯片上需要大量的算術(shù)電路(arithmetic circuits)，而且會(huì )很快變大到難以承受的程度。

　　東芝的 TDNN 從 2013 年開(kāi)始開(kāi)發(fā)，使用了時(shí)域的模擬和數字混合的信號處理(TDAMS/time-domain analog and digital mixed signal processing)技術(shù)，可以實(shí)現處理單元的小型化。在 TDAMS 中，比如加法這樣的算術(shù)運算可以通過(guò)使用像模擬信號一樣的數字信號通過(guò)邏輯門(mén)的延遲時(shí)間來(lái)有效地執行。使用這項技術(shù)，用于深度學(xué)習的處理單元可以?xún)H有完全空間展開(kāi)架構的 3 個(gè)邏輯門(mén)和 1 bit 內存即可。東芝已經(jīng)制造出了一款用于概念驗證的芯片，其使用了 SRAM(靜態(tài)隨機存取存儲器)單元作為內存，并且已經(jīng)證明能夠用來(lái)識別手寫(xiě)數字。其每條指令的能量消耗是 20.6 fJ，僅有之前一場(chǎng)頂級會(huì )議上報道的成績(jì)的 1/6.

　　東芝計劃將 TDNN 開(kāi)發(fā)成一種電阻式隨機存取存儲器(ReRAM/resistive random access memory)，以進(jìn)一步提升能量和數據的效率。其目標是得到一款能夠在邊緣設備上實(shí)現高性能深度學(xué)習技術(shù)的 IC。