2016人工智能技術(shù)發(fā)展進(jìn)程梳理

　　Intel人工智能布局

　　Intel收購Nervana

　　8月9日，Intel宣布收購創(chuàng )業(yè)公司Nervana Systems。Nervana的IP和加速深度學(xué)習算法經(jīng)驗可幫助Intel在人工智能領(lǐng)域獲得一席之地。

　　Nervana提供基于云的服務(wù)用于深度學(xué)習，使用獨立開(kāi)發(fā)的、使用匯編級別優(yōu)化的、支持多GPU的Neon軟件，在卷積計算時(shí)采用了Winograd算法，數據載入也做了很多優(yōu)化。該公司宣稱(chēng)，訓練模型時(shí)，Neon比使用最普遍的Caffe快2倍。不僅如此，Nervana準備推出深度學(xué)習定制芯片Nervana Engine，相比GPU在訓練方面可以提升10倍性能。與Tesla P100類(lèi)似，該芯片也利用16-bit半精度浮點(diǎn)計算單元和大容量高帶寬內存(HBM，計劃為32GB，是競品P100的兩倍)，摒棄了大量深度學(xué)習不需要的通用計算單元。

　　在硬件基礎上，Nervana于11月份推出了Intel Nervana Graph平臺(簡(jiǎn)稱(chēng)ngraph)。該框架由三部分組成：一個(gè)用于創(chuàng )建計算圖的API、用于處理常見(jiàn)深度學(xué)習工作流的前端API(目前支持TensorFlow和Neon)、用于在 CPU/GPU/Nervana Engine上編譯執行計算圖的轉換器API。

　　與此同時(shí)宣布成立Intel Nervana人工智能委員會(huì )，加拿大蒙特利爾大學(xué)Yoshua Bengio教授擔任創(chuàng )始會(huì )員。

　　圖7 Nervana Engine芯片架構

　　8月17日，在Intel開(kāi)發(fā)者峰會(huì )(IDF)上，Intel透露了面向深度學(xué)習應用的新Xeon Phi處理器，名為Knights Mill(縮寫(xiě)為 KNM)。它不是Knights Landing和Knights Hill的競品，而是定位在神經(jīng)網(wǎng)絡(luò )云服務(wù)中與NVIDIA Tesla GPU一較高下。

　　圖8 ngraph框架

　　9月6日，Intel收購計算機視覺(jué)創(chuàng )業(yè)公司Movidius。

　　Movidius是人工智能芯片廠(chǎng)商，提供低能耗計算機視覺(jué)芯片組。Google眼鏡內配置了Movidius計算機視覺(jué)芯片。Movidius芯片可以應用在可穿戴設備、無(wú)人機和機器人中，完成目標識別和深度測量等任務(wù)。除了Google之外Movidius與國內聯(lián)想和大疆等公司簽訂了協(xié)議。Movidius的Myriad 2系列圖形處理器已經(jīng)被聯(lián)想用來(lái)開(kāi)發(fā)下一代虛擬現實(shí)產(chǎn)品。

　　9月8日，Intel FPGA技術(shù)大會(huì )(IFTD)杭州站宣布了Xeon-FPGA集成芯片項目。這是Intel并購Altera后最大的整合舉動(dòng)，Intel將推出CPU+FPGA架構的硬件平臺，該平臺預計于2017年量產(chǎn)，屆時(shí)，一片Skylake架構的Xeon CPU和一片Stratix10的FPGA將“合二為一”，通過(guò)QPI Cache一致性互聯(lián)使FPGA獲得高帶寬、低延遲的數據通路。在這種形態(tài)中，FPGA本身就成為了CPU的一部分，甚至CPU上的軟件無(wú)需“感知”到FPGA的存在，直接調用mkl庫就可以利用 FPGA來(lái)加速某些計算密集的任務(wù)。

　　Xeon-FPGA樣機已經(jīng)在世界七大云廠(chǎng)商(Amazon、Google、微軟、Facebook、百度、阿里、騰訊)試用，用于加速各自業(yè)務(wù)熱點(diǎn)和基礎設施，包括機器學(xué)習、搜索算法、數據庫、存儲、壓縮、加密、高速網(wǎng)絡(luò )互連等。

　　除了上面CPU+FPGA集成的解決方案，Altera也有基于PCIe加速卡的解決方案。

　　圖9 Xeon-FPGA集成芯片架構

　　11月8日ISDF大會(huì )上宣布，預計明年將銷(xiāo)售深度學(xué)習預測加速器(DLIA，Deep Learning Inference Accelerator)。該加速器為軟硬件集成的解決方案，用于加速卷積神經(jīng)網(wǎng)絡(luò )的預測(即前向計算)。軟件基于Intel MKL-DNN軟件庫和Caffe框架，便于二次開(kāi)發(fā)，基于PCIe的FPGA加速卡提供硬件加速。該產(chǎn)品將直接同Google TPU、NVIDIA Tesla P4/M4展開(kāi)競爭。

　　小結： Intel在人工智能領(lǐng)域的動(dòng)作之大(All in AI)，品類(lèi)之全(面向訓練、預測，面向服務(wù)器、嵌入式)，涉獵之廣(Xeon Phi，FPGA，ASIC)令人為之一振。冰凍三尺非一日之寒，AI硬件和上層軟件的推廣與普及還有很長(cháng)一段路要走。

　　NVIDIA人工智能布局

　　NVIDIA財報顯示，深度學(xué)習用戶(hù)目前占據數據中心銷(xiāo)售額一半，而HPC占三分之一，剩下的為虛擬化(例如虛擬桌面)。這也驅動(dòng)NVIDIA在硬件架構和軟件庫方面不斷加強深度學(xué)習性能，典型例子是在Maxwell處理器中最大化單精度性能，而在Pascal架構中增加了半精度運算單元。與HPC不同，深度學(xué)習軟件能夠利用較低精度實(shí)現較高吞吐。

　　Pascal架構

　　在4月5日GTC(GPU Technology Conference)2016大會(huì )上，NVIDIA發(fā)布了16nm FinFET制程超級核彈帕斯卡(Pascal)顯卡，最讓人驚嘆的還是一款定位于深度學(xué)習的超級計算機DGX-1。DGX-1擁有8顆帕斯卡架構GP100核心的Tesla P100 GPU，以及7TB的SSD，兩顆16核心的Xeon E5-2698 v3以及512GB的DDR4內存，半精度浮點(diǎn)處理能力170TFLOPS，功耗3.2kW。售價(jià)129000美元，現已面市。

　　9月13日，NVIDIA在GTC中國北京站發(fā)布了Tesla P4和P40。這兩個(gè)處理器也基于最新的Pascal架構，是去年發(fā)布的M4和M40的升級版，包括了面向深度學(xué)習預測計算的功能單元，丟掉了64位雙精度浮點(diǎn)計算單元，取而代之的是8-bit整數算法單元。詳細參數如下。

　　圖10 DGX-1外觀(guān)

　　Tesla P4為半高半長(cháng)卡，功耗只有50~75W，便于安裝到已有的Web Server提供高效的預測服務(wù)。同時(shí)，P4包括一個(gè)視頻解碼引擎和兩個(gè)視頻編碼引擎，對基于視頻的預測服務(wù)更為適合。

　　Tesla P40與P4用途稍有不同，絕對性能高，適合訓練+預測，使用GoogLeNet評估時(shí)相比上一代M40有8倍性能提升。

　　圖11 Tesla P4/P40參數對比

　　Tesla P100仍然是最合適訓練的GPU，自帶NVLink多GPU快速互聯(lián)接口和HBM2。這些特性是P40和P4不具備的，因為面向預測的GPU不需要這些。

　　Pascal家族從P100到P4，相對三年前的Kepler架構提速達到40~60倍。

　　在硬件之外，NVIDIA軟件方面也不遺余力。

　　圖12 NVIDIA Pascal架構軟硬件加速情況

　　cuDNN

　　NVIDIA CUDA深度神經(jīng)網(wǎng)絡(luò )庫(cuDNN)是一個(gè)GPU上的深度神經(jīng)網(wǎng)絡(luò )原語(yǔ)加速庫。cuDNN提供高度優(yōu)化的標準功能(例如卷積、下采樣、歸一化、激活層、LSTM的前向和后向計算)實(shí)現。目前cuDNN支持絕大多數廣泛使用的深度學(xué)習框架如Caffe、TensorFlow、Theano、Torch和CNTK等。對使用頻率高的計算，如VGG模型中的3x3卷積做了特別優(yōu)化。支持Windows/Linux/MacOS系統，支持Pascal/Maxwell/Kepler硬件架構，支持嵌入式平臺Tegra K1/X1。在Pascal架構上使用FP16實(shí)現，以減少內存占用并提升計算性能。

　　TensorRT

　　TensorRT是一個(gè)提供更快響應時(shí)間的神經(jīng)網(wǎng)絡(luò )預測引擎，適合深度學(xué)習應用產(chǎn)品上線(xiàn)部署。開(kāi)發(fā)者可以使用TensorRT實(shí)現高效預測，利用INT8或FP16優(yōu)化過(guò)的低精度計算，可以顯著(zhù)降低延遲。

　　圖13 TensorRT的使用方式

　　DeepStream SDK支持深度學(xué)習視頻分析，在送入預測引擎之前做解碼、預處理。

　　這兩個(gè)軟件庫都是與Pascal GPU一起使用的。

　　小結： NVIDIA是最早在A(yíng)I發(fā)力的硬件廠(chǎng)商，但從未停止在軟件上的開(kāi)發(fā)和探索，不斷向上發(fā)展，蠶食、擴充自己在A(yíng)I的地盤(pán)，目前已經(jīng)涵蓋服務(wù)器/嵌入式平臺，面向多個(gè)專(zhuān)用領(lǐng)域(自動(dòng)駕駛、醫療健康、超算)，具備極強的爆發(fā)力(從今年NVIDIA股票也能看出這一點(diǎn))。