從任務(wù)角度分析深度學(xué)習硬件發(fā)展趨勢

　　從微小器件到海量數據中心，格外強勁的硬件將能為深度學(xué)習領(lǐng)域內的一切提供助力。

　　2016 年 3 月份，谷歌 DeepMind 的計算機在多輪圍棋比賽中擊敗了世界圍棋冠軍李世乭。這一事件標志著(zhù)人工智能領(lǐng)域內的一個(gè)新里程碑。獲勝的 AlphaGo 借力于現在為大家所熟知的深度學(xué)習——一種人工神經(jīng)網(wǎng)絡(luò );在這種神經(jīng)網(wǎng)絡(luò )里有很多計算處理層，可以用來(lái)自動(dòng)尋找問(wèn)題的解決方案。

　　那時(shí)候人們還不知道谷歌正在悄然開(kāi)發(fā)為這一勝利提供助力的秘密武器——一種專(zhuān)用硬件，在谷歌用于擊敗世界冠軍李世石的計算機里已有這種特殊硬件。這種硬件被谷歌稱(chēng)為張量處理單元(TPU/Tensor Processing Unit)。

　　谷歌的一位硬件工程師 Norm Jouppi 在這場(chǎng)圍棋大戰的兩個(gè)月后宣布了張量處理單元的存在，并解釋說(shuō)谷歌的數據中心已經(jīng)使用這些新型加速器一年多了。谷歌還沒(méi)有公布這些集成板上到底有什么奧妙，但毫無(wú)疑問(wèn)的是，這代表著(zhù)加速深度學(xué)習計算上的一個(gè)日益流行的策略：使用專(zhuān)用集成電路(ASIC)。

　　來(lái)自深度學(xué)習軟件的收入很快就將超過(guò)十億美元(單位：十億美元;來(lái)源： Tractica)

　　企業(yè)(主要是微軟)追求的另一個(gè)戰術(shù)是使用現場(chǎng)可編程門(mén)陣列(FPGA)，其有可重配置的優(yōu)勢，可以根據計算需求進(jìn)行修改。而更常見(jiàn)的方法則是使用圖形處理單元(GPU)，這種計算設備可以并行地同時(shí)執行大量數學(xué)運算。最知名的 GPU 提供商英偉達(NVIDIA)近段時(shí)間以來(lái)的股價(jià)飛漲也正是得益于此。

　　事實(shí)上，GPU 在 2009 年的時(shí)候就已經(jīng)在驅動(dòng)人工神經(jīng)網(wǎng)絡(luò )了，那時(shí)候斯坦大學(xué)的一些研究者證明這種硬件使得深度神經(jīng)網(wǎng)絡(luò )的訓練時(shí)間很適宜。

　　「今天所有人都在做深度學(xué)習，」斯坦福大學(xué) Concurrent VLSI Architecture 研究組的領(lǐng)導者兼英偉達首席科學(xué)家 William Dally 說(shuō)。他說(shuō)這從他的角度來(lái)看是不足為奇的?！窯PU 幾乎和你想象的一樣美好?！?/p>

　　Dally 解釋說(shuō)有三個(gè)獨立的領(lǐng)域需要考慮。第一是他所說(shuō)的「數據中心中的訓練」。他認為任何深度學(xué)習系統的第一步都是：調節神經(jīng)元之間大約數百萬(wàn)個(gè)連接以使網(wǎng)絡(luò )能夠完成分配給它的任務(wù)。

　　已被英特爾收購的公司 Nervana Systems 在這種任務(wù)的硬件開(kāi)發(fā)上取得了領(lǐng)先。Nervana 計算機科學(xué)家 Scott Leishman 表示 Nervana Engine 是一款 ASIC 的深度學(xué)習加速器，其將在 2017 年初期到中期的時(shí)候投入生產(chǎn)。Leishman 指出另一個(gè)計算密集型任務(wù)——比特幣挖礦(bitcoin mining)，就曾經(jīng)從 CPU 實(shí)現轉向 GPU，然后轉向 FPGA 并最終轉向了 ASIC，因為定制的硬件能夠實(shí)現更優(yōu)的能量效率。他說(shuō)：「我認為同樣的情況正在深度學(xué)習領(lǐng)域發(fā)生?！?/p>

　　Dally 說(shuō)，深度學(xué)習硬件的第二個(gè)任務(wù)(大為異于第一個(gè)任務(wù))是「數據中心中的推理」?！竿评?inference)」這個(gè)詞在這里的意思是：用于之前任務(wù)的已訓練的基于云的人工神經(jīng)網(wǎng)絡(luò )在同樣的任務(wù)上能進(jìn)行持續運算。谷歌的神經(jīng)網(wǎng)絡(luò )每天都要執行天文數字級別的推理計算，以幫助用戶(hù)分類(lèi)圖片、翻譯語(yǔ)言和識別口語(yǔ)等等。盡管外界還不能百分之百確定，但可以推理谷歌的張量處理單元應該在為這些計算提供助力。

　　加滿(mǎn)油門(mén)：谷歌的 TPU 正在該公司的服務(wù)器里加速深度學(xué)習計算

　　訓練和推理常常需要運用不同的技能設置。通常對訓練的設置上，機器必須能夠實(shí)施精確度相對較高的計算，常使用 32 位的浮點(diǎn)計算。對于推理，則可以犧牲精確度以獲取更快的速度和更低的功耗?！高@是研究領(lǐng)域里一個(gè)很活躍的區域，」Leishman 說(shuō)道?！改隳苓_到的最低限度是多少?」

　　雖然 Dally 謝絕泄露英偉達的特別計劃，但他指出英偉達的 GPU 正在完成升級。英偉達的早期版本——Maxwell 的架構能夠進(jìn)行雙精度(64 位)和單精度(32 位)的計算，而目前的 Pascal 架構則增加了處理 16 位運算的能力，支持雙倍輸入且效率也是之前單精度計算的兩倍。所以不難想象英偉達最終將會(huì )推出能進(jìn)行 8 位運算的 GPU，這樣的 GPU 將是在云端進(jìn)行推理運算的理想硬件，因為對云端推理來(lái)說(shuō)能源效率是控制成本的關(guān)鍵因素。

　　Dally 補充說(shuō)：「三個(gè)支撐深度學(xué)習關(guān)鍵任務(wù)的最后一個(gè)任務(wù)就是在嵌入式設備里進(jìn)行推理，」比如智能手機、相機和平板電腦。對于這些應用，關(guān)鍵是實(shí)現低能耗的專(zhuān)用集成電路(ASIC)。在即將來(lái)到的一年，深度學(xué)習軟件將會(huì )越來(lái)越多的實(shí)現手機端應用，比如目前已有的手機端應用——惡意軟件檢測以及圖片中的文字翻譯。

　　除此之外，無(wú)人機生產(chǎn)商大疆(DJI)已經(jīng)開(kāi)始在其幽靈 4(Phantom 4)無(wú)人機中使用與專(zhuān)用集成電路的深度學(xué)習相類(lèi)似的器件，大疆所使用的器件是一個(gè)由加州廠(chǎng)商 Movidius 制造的特殊視覺(jué)處理芯片，這個(gè)芯片用來(lái)識別障礙物。(Movidius 同時(shí)也是英特爾最近收購的另一家神經(jīng)網(wǎng)絡(luò )相關(guān)的公司)。與此同時(shí)高通(Qualcomm)在其 Snapdragon 820 處理器里放置了一個(gè)特殊的電路系統來(lái)更好地執行深度學(xué)習運算。

　　雖然目前有很多因素促使硬件設計來(lái)加速深度神經(jīng)網(wǎng)絡(luò )的計算，但巨大的風(fēng)險依然并存：如果神經(jīng)網(wǎng)絡(luò )的進(jìn)步太快，所設計來(lái)運行過(guò)往的神經(jīng)網(wǎng)絡(luò )的芯片在出廠(chǎng)時(shí)就會(huì )過(guò)時(shí)?！杆惴ㄕ苑浅？斓乃俣雀淖?，」Dally 說(shuō)?！杆袕氖聵嫿ㄟ@些硬件的人都在試圖贏(yíng)得這場(chǎng)賭注?！?/p>