深度學(xué)習的發(fā)展會(huì )帶給硬件架構怎樣的影響？

　　2019 ISSCC 大會(huì )于2月17—21日在美國舊金山開(kāi)幕，Facebook 首席 AI 科學(xué)家 Yann LeCun 在會(huì )上發(fā)表了主題演講「深度學(xué)習硬件：過(guò)去、現在和未來(lái)」，詳細介紹了深度學(xué)習研究的發(fā)展將如何影響未來(lái)硬件架構。

　　如今，只要在網(wǎng)絡(luò )上搜索“深度學(xué)習”算法，都會(huì )顯示很多相關(guān)的信息，在過(guò)去的數十年里，人工智能已經(jīng)越來(lái)越成功地應用于生物識別、語(yǔ)音識別、視頻識別、翻譯等。國內更是誕生了諸如曠視科技、商湯科技、極鏈科技Video++、依圖科技等優(yōu)秀人工智能初創(chuàng )企業(yè)。設計人員將大量高度并行的計算加載到硬件上，尤其是最初為快速圖像渲染而開(kāi)發(fā)的圖形處理單元(GPU)。這些芯片特別適合于計算密集型“訓練”階段，該階段使用許多經(jīng)過(guò)驗證的例子來(lái)調整系統參數。在“推理”階段，其中部署深度學(xué)習處理的輸入，需要更大的存儲器訪(fǎng)問(wèn)和快速響應，目前已經(jīng)可以使用GPU實(shí)現。

　　深度學(xué)習與GPU

　　為了快速應對增長(cháng)的需求，許多公司都正在開(kāi)發(fā)能夠直接賦予深度學(xué)習能力的硬件，迫切的需要進(jìn)行推理以及培訓。近年來(lái)隨著(zhù)深度學(xué)習的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò )(Convolutional Neural Network)被廣泛使用，特別是在圖像識別場(chǎng)景中的應用。為了滿(mǎn)足更多場(chǎng)景應用，需要有一種能夠根據實(shí)際場(chǎng)景需求替換不同CNN網(wǎng)絡(luò )模型的系統框架。在過(guò)去的20年里，視頻、游戲等產(chǎn)業(yè)推動(dòng)了GPU的進(jìn)步，其繪制圖形所需的矩陣正是深度學(xué)習所需的計算類(lèi)型。

　　GPU技術(shù)的進(jìn)步則是推動(dòng)了神經(jīng)網(wǎng)絡(luò )的發(fā)展，因為在沒(méi)有GPU的情況下訓練深度學(xué)習模型在大多數情況下會(huì )非常緩慢。許多人把生產(chǎn)中深度學(xué)習的想法想的過(guò)于復雜，我們可以在生產(chǎn)中使用CPU和選擇的網(wǎng)絡(luò )服務(wù)器進(jìn)行深入學(xué)習。生產(chǎn)中進(jìn)行訓練是非常罕見(jiàn)的。即使你想每天更新你的模型權重，也不需要在生產(chǎn)中進(jìn)行訓練。這意味著(zhù)你只是在生產(chǎn)過(guò)程中進(jìn)行“推理”，比“培訓”更快更容易。你可以使用任何你喜歡的Web服務(wù)器，并將其設置為簡(jiǎn)單的API調用。如果能夠有效地批量處理數據，GPU只會(huì )提供更快的速度。

　　GPU在處理圖形的時(shí)候，從最初的設計就能夠執行并行指令，從一個(gè)GPU核心收到一組多邊形數據，到完成所有處理并輸出圖像可以做到完全獨立。由于最初GPU就采用了大量的執行單元，這些執行單元可以輕松的加載并行處理，而不像CPU那樣的單線(xiàn)程處理。另外，現代的GPU也可以在每個(gè)指令周期執行更多的單一指令。所以GPU比CPU更適合深度學(xué)習的大量矩陣、卷積運算的需求。深度學(xué)習的應用與其原先的應用需求頗為類(lèi)似。GPU廠(chǎng)家順理成章的在深度學(xué)習，找到了新增長(cháng)點(diǎn)。

　　深度學(xué)習發(fā)展是否出現“瓶頸”

　　我們之所以使用GPU加速深度學(xué)習，是因為深度學(xué)習所要計算的數據量異常龐大，用傳統的計算方式需要漫長(cháng)的時(shí)間。但如果未來(lái)深度學(xué)習的數據量有所下降，或者說(shuō)我們不能提供給深度學(xué)習所需要的足夠數據量，是否就意味著(zhù)深度學(xué)習也要進(jìn)入“瓶頸”了呢?

　　做深度神經(jīng)網(wǎng)絡(luò )訓練需要大量模型，然后才能實(shí)現數學(xué)上的收斂。深度學(xué)習要真正接近成人的智力，它所需要的神經(jīng)網(wǎng)絡(luò )規模非常龐大，它所需要的數據量，會(huì )比我們做語(yǔ)言識別、圖像處理要多得多。假設說(shuō)，我們發(fā)現我們沒(méi)有辦法提供這樣的數據，則很有可能出現瓶頸。

　　目前，深度學(xué)習還在蓬勃發(fā)展往上的階段。比如我們現階段主要做得比較成熟的語(yǔ)音、圖像、視頻方面，整個(gè)的數據量還是在不斷的增多的，網(wǎng)絡(luò )規模也在不斷的變復雜?？梢哉f(shuō)深度學(xué)習是GPU計算發(fā)展的關(guān)鍵，誰(shuí)能找到最適合深度學(xué)習的模式，誰(shuí)就是勝利者。

　　結語(yǔ)：

　　深度學(xué)習經(jīng)過(guò)這么長(cháng)時(shí)間的發(fā)展，在網(wǎng)絡(luò )的種類(lèi)、復雜程度和處理的信息量上都發(fā)生了天翻地覆的變化。當前，網(wǎng)絡(luò )種類(lèi)上，從早期的 AlexNet 和 GoogleNet 到現在各企業(yè)推出的 GAN以及各種深度強化學(xué)習的網(wǎng)絡(luò )，它們各自網(wǎng)絡(luò )結構都有不同，開(kāi)發(fā)者在適應最新的網(wǎng)絡(luò )上常常會(huì )遇到一些麻煩。處理的信息量也在成倍地增長(cháng)，算力需求越來(lái)越高的情況下，也將對搭載處理單元的硬件有著(zhù)更高的要求。