英特爾：下一代DNN到來(lái)時(shí) 未來(lái)FPGA能將敗GPU

　　在最近的FPGA國際研討會(huì )(ISFPGA)上，英特爾加速器架構實(shí)驗室(AAL)的Eriko Nurvitadhi博士，發(fā)表題為《Can FPGAs beat GPUs in Accelerating Next-Generation Deep Neural Networks》的報告，分享了英特爾的最新研究。

　　這一研究，主要評估在DNN(深度神經(jīng)網(wǎng)絡(luò ))算法領(lǐng)域，兩代英特爾FPGA(Intel Arria10和Intel Stratix 10)，與NVIDIA TITAN X Pascal GPU相比性能如何。

　　△ 深度神經(jīng)網(wǎng)絡(luò )概述

　　英特爾表示在應用領(lǐng)域，FPGA在DNN研究中表現非常出色，可用于需要分析大量數據的AI、大數據或機器學(xué)習等領(lǐng)域。使用經(jīng)修剪或緊湊的數據類(lèi)型與全32位浮點(diǎn)數據(FP32)時(shí)，測試的Intel Stratix 10 FPGA的性能優(yōu)于GPU。

　　除了性能外，FPGA還具有強大的功能，因為它們具有適應性，通過(guò)重用現有的芯片可以輕松實(shí)現更改，從而讓團隊在六個(gè)月內從一個(gè)想法進(jìn)入原型。

　　而構建一個(gè)ASIC需要18個(gè)月。

　　FPGA重要性正在提升

　　△ FPGA非常適用于DNN

　　硬件：與高端GPU相比，FPGA具有卓越的能源效率(性能/瓦特)，但還有不被熟知的高峰值浮點(diǎn)性能。FPGA技術(shù)正在迅速發(fā)展。即將推出的英特爾Stratix 10 FPGA提供超過(guò)5，000個(gè)硬件浮點(diǎn)單元(DSP)，超過(guò)28MB的片上RAM(M20K)，與高帶寬內存等特性。

　　基于14nm工藝的英特爾Stratix 10在FP32吞吐量方面達到峰值9.2TFLOP/s。相比之下，最新的Titan X Pascal GPU的FP32吞吐量為11TFLOP/s。

　　新興的DNN算法：更深的網(wǎng)絡(luò )提高了精度，但是大大增加了參數和模型大小。這增加了對計算、帶寬和存儲的需求。因此，新興趨勢是采用緊湊型低精度數據類(lèi)型，遠低于32位。16位和8位數據類(lèi)型正在成為新常態(tài)，也得到DNN軟件框架(例如TensorFlow)的支持。

　　新興的低精度和稀疏DNN算法比傳統的密集FP32 DNN提供了數量級的算法效率改進(jìn)，但是它們引入了難以處理的不規則并行度和定制數據類(lèi)型。這時(shí)FPGA的優(yōu)勢就體現出來(lái)了。這種趨勢使未來(lái)FPGA成為運行DNN，AI和ML應用的可行平臺。

　　研究所用的硬件和方法

　　GPU：使用已知的庫(cuBLAS)或框架(Torch with cuDNN)

　　FPGA：使用Quartus Early Beta版本和PowerPlay

　　研究一：矩陣乘法(GEMM)測試

　　矩陣乘法(GEMM)測試的結果。GEMM是DNN中的關(guān)鍵操作，上述四個(gè)不同類(lèi)型的測試表明，除了在FP32 Dense GEMM測試中，Stratix 10與TITAN X仍有差距。另外三項測試中新一代英特爾FPGA的表現都優(yōu)于GPU。

　　研究二：使用三元ResNet DNNs測試

　　三進(jìn)制DNN最近提出約束神經(jīng)網(wǎng)絡(luò )權重為+1，0或-1。這允許稀疏的2位權重，并用符號位操作代替乘法。與許多其他低精度和稀疏的DNN不同，三元DNN可以提供與現有技術(shù)DNN(即ResNet)相當的精度。

　　上圖右半部分，顯示了英特爾Stratix 10 FPGA和TITAN X GPU的ResNet-50的性能和性能/功耗比。即使對于保守的性能估計，英特爾Stratix 10 FPGA已經(jīng)比實(shí)現了TITAN X GPU性能提高了約60%。在性能/功耗比方面，英特爾Stratix 10比TITAN X要好2.3倍到4.3倍。

　　結論

　　再說(shuō)一次，這個(gè)研究報告出自英特爾，這個(gè)研究團隊還指出，除了DNN之外，FPGA在其他不規則應用程序以及延遲敏感程序(如ADAS)等領(lǐng)域也有機會(huì )。