東芝憑借超低功率神經(jīng)形態(tài)處理器推進(jìn)了深度學(xué)習

　　東芝公司通過(guò)開(kāi)發(fā)“時(shí)域神經(jīng)網(wǎng)絡(luò )1”(TDNN)繼續履行其關(guān)于促進(jìn)物聯(lián)網(wǎng)和大數據分析的承諾，TDNN采用了超低功耗神經(jīng)形態(tài)半導體電路以執行深度學(xué)習處理。不同于傳統的數字處理器，TDNN包含有大量的采用了東芝原創(chuàng )模擬技術(shù)的微小處理單元。我們在11月8日于日本舉行的A-SSCC 2016(2016年亞洲固態(tài)電路會(huì )議)會(huì )議上對TDNN作了報告，A-SSCC是由IEEE主辦的半導體電路技術(shù)國際會(huì )議。

　　深度學(xué)習需要大量的計算，特別是在高性能處理器上執行計算，需要消耗大量的電能。但是若要讓傳感器和智能手機等IoT邊緣設備實(shí)現深度學(xué)習功能，這就需要使用既能執行大量所需操作而又只消耗超低電能的高效節能型IC。

　　對于馮·諾伊曼式2計算機結構，在從片上或片外存儲器裝置移動(dòng)數據到處理單元時(shí)將消耗大量電能。減少數據移動(dòng)的最有效方式是具備大量的處理單元，每個(gè)處理單元只專(zhuān)注于處理其附近的一個(gè)數據。這些數據點(diǎn)在輸入信號(例如：一只貓的圖像)轉換成輸出信號(例如：作為貓的形象的識別)的過(guò)程中會(huì )給定一個(gè)權重。數據點(diǎn)與期望的輸出越接近，給定的權重越大。該權重提供了一個(gè)自動(dòng)引導深度學(xué)習過(guò)程的參數。

　　大腦具有類(lèi)似的結構，其中神經(jīng)元之間的耦合強度(權重數據)被構建于突觸(處理單元)中。在這種情況下，突觸即是神經(jīng)元之間的連接，且每個(gè)連接具有不同的強度。該強度(權重)決定了通過(guò)連接的信號。突觸以這種方式執行了一種處理操作。這種結構可以稱(chēng)為完全空間鋪展架構，它非常具有吸引力，但也有一個(gè)明顯的缺點(diǎn)：將其復制到一個(gè)芯片上時(shí)需要大量的算術(shù)運算電路，這將使得電路變得太過(guò)龐大。

　　東芝的TDNN從2013年開(kāi)始開(kāi)發(fā)，采用了時(shí)域模擬和數字混合信號處理(TDAMS3)技術(shù)，它可實(shí)現處理單元的小型化。在TDAMS中，使用數字信號通過(guò)邏輯門(mén)的延遲時(shí)間作為模擬信號，可有效地執行如加法這樣的等算術(shù)運算。利用這一技術(shù)，深度學(xué)習的處理單元可僅由三個(gè)邏輯門(mén)和一個(gè)具有完全空間鋪展架構的1位存儲器組成。東芝已制造了采用SRAM(靜態(tài)隨機存取存儲器)單元作為存儲器的概念驗證型芯片，并已展示了對于手寫(xiě)數字的識別功能。每次操作的能耗為20.6fJ4，這僅相當于之前一場(chǎng)頂級會(huì )議5中所報道能耗的1/6。

　　東芝計劃開(kāi)發(fā)TDNN作為電阻式隨機存取存儲器(ReRAM)以進(jìn)一步提高能量和面積效率。其目標是應用于邊緣設備并實(shí)現高性能深度學(xué)習技術(shù)的IC。

　　1. TDNN：使用時(shí)域模擬和數字混合信號處理技術(shù)的神經(jīng)網(wǎng)絡(luò )。

　　2. 馮·諾伊曼式：標準的、使用最廣泛的計算機結構。該結構將數據從存儲設備加載到處理單元進(jìn)行處理。

　　3. TDAMS：一項模擬信號處理技術(shù)，即使用數字信號通過(guò)邏輯門(mén)的延遲時(shí)間作為模擬信號。 由東芝開(kāi)發(fā)。

　　(參考：http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)

　　4. 20.6fJ：相當于1秒內執行48.6萬(wàn)億次的操作，功耗為1W。

　　5. ISSCC 2016(國際固態(tài)電路會(huì )議2016)頁(yè)號24.2

　　1. TDNN：使用時(shí)域模擬和數字混合信號處理技術(shù)的神經(jīng)網(wǎng)絡(luò )。

　　2. 馮·諾伊曼式：標準的、使用最廣泛的計算機結構。該結構將數據從存儲設備加載到處理單元進(jìn)行處理。

　　3. TDAMS：一項模擬信號處理技術(shù)，即使用數字信號通過(guò)邏輯門(mén)的延遲時(shí)間作為模擬信號。 由東芝開(kāi)發(fā)。

　　(參考：http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)

　　4. 20.6fJ：相當于1秒內執行48.6萬(wàn)億次的操作，功耗為1W。

　　5. ISSCC 2016(國際固態(tài)電路會(huì )議2016)頁(yè)號24.2