谷歌TPU研究論文：專(zhuān)注神經(jīng)網(wǎng)絡(luò )專(zhuān)用處理器

　　圖 2：TPU 芯片布局圖。陰影同圖 1。藍色的數據緩存占芯片的 37%。黃色的計算是 30%。綠色的I/O 是 10%。紅色的控制只有 2%。CPU 或 GPU 中的控制部分則要大很多(并且非常難以設計)。

　　圖3：TPU印制電路板?？梢圆迦敕?wù)器 SATA 盤(pán)的卡槽，但是該卡使用了 PCIe Gen3 x16 接口。

　　圖4：矩陣乘法單元的 systolic 數據流。軟件具有每次讀取 256B 輸入的錯覺(jué)，同時(shí)它們會(huì )立即更新 256 個(gè)累加器 RAM 中其中每一個(gè)的某個(gè)位置。

　　表2：谷歌 TPU 與英特爾 Haswell E5-2699 v3、英偉達Tesla K80 的性能對比。E5 有 18 個(gè)核，K80 有 13 個(gè) SMX 處理器。圖 10 已經(jīng)測量了功率。低功率 TPU 比高功率 GPU 能夠更好地匹配機架(rack)級密度。每個(gè) TPU 的 8 GiB DRAM 是權重內存(Weight Memory)。這里沒(méi)有使用 GPU Boost 模式。SECDEC 和非 Boost 模式把 K80 帶寬從 240 降至 160。非 Boost 模式和單裸片 vs 雙裸片性能把 K80 峰值 TOPS 從 8.7 降至 2.8(*TPU 壓模小于等于半個(gè) Haswell 壓模大小)。

　　圖5：TPU (die) roofline。 其脊點(diǎn)位于所獲權重內存每字節運行 1350 次的地方，距離右邊還比較遠。

　　表格3：TPU 在神經(jīng)網(wǎng)絡(luò )工作載荷中性能受到限制的因素，根據硬件性能計數器顯示的結果。1，4，5，6行，總共100%，以矩陣單元活動(dòng)的測量結果為基礎。2，3行進(jìn)一步分解為64K權重的部分，我們的計數器無(wú)法準確解釋矩陣單元何時(shí)會(huì )停頓在第6行中;7、8行展示了計數器結果，可能有兩個(gè)原因，包括RAW管道危害，PCIe輸入停止。9行(TOPS)是以產(chǎn)品代碼的測量結果為基礎的，其他列是以性能計數器的測量結果為基礎的，因此，他們并不是那么完美保持一致。這里并未包括頂部主服務(wù)器。MLP以及LSTM內存帶寬有限，但是CNN不是。CNN1的測試結果會(huì )在文中加以分析。

　　圖 9：GPU 服務(wù)器(藍條)對比 CPU、TPU 服務(wù)器(紅條)對比 CPU、TPU 服務(wù)器對比 GPU(橘黃)的相對性能表現/Watt(TDP)。TPU' 是改進(jìn)版的 TPU(Sec.7)。綠條顯示了對比 CPU 服務(wù)器的比例，淡紫色顯示了與 GPU 服務(wù)器的關(guān)系。整體包括了主服務(wù)器的能耗，但不包括增量(incremental)。GM 和 WM 分別是幾何學(xué)圖形與加權平均值。

　　圖10：CNN0 平臺的單位功耗對比，其中紅色和橙色線(xiàn)是 GPU 加 CPU 系統的功率。藍色是英特爾 E5-2699 v3 Haswell CPU 的功率，綠色是英偉達 Tesla K80 的功率，紫色為谷歌 TPU。每個(gè)服務(wù)器通常有多個(gè)芯片組，以上所有數字都已被整除成單芯片功率。

　　圖11：加權平均 TPU 性能作為度量單元，從 0.25 倍擴展到了 4 倍：內存帶寬，時(shí)鐘頻率+累加器，時(shí)鐘頻率，矩陣單元維度+累加器，以及矩陣單元維度。加權均值使得我們很難看出單個(gè) DNN 的貢獻，但是，MLP 以及 LSTM 提升了 3 倍到 4 倍的內存帶寬，但是，更高的時(shí)鐘頻率并沒(méi)帶來(lái)任何效果。對于 CNN 來(lái)說(shuō)，結果反之亦然;4 倍的時(shí)鐘率，2 倍的效果。但是，更快的內存并沒(méi)帶來(lái)什么好處。一個(gè)更大的矩陣乘法單元并不能對任何 DNN 有幫助。