英特爾醞釀已久的“殺手锏”，神經(jīng)網(wǎng)絡(luò )處理器威力有多驚人

　　雖然Carey Kloss口風(fēng)很緊，但關(guān)于Nervana神經(jīng)網(wǎng)絡(luò )處理器，科技行者還是在與他的聊天中，拿到以下犀利信息：

　　1、Lake Crest和Spring Crest的主要區別

　　Lake Crest作為第一代處理器，在GEMM(矩陣運算)和卷積神經(jīng)上都實(shí)現了非常好的計算利用率。這不僅僅是指96%吞吐量的利用率，而是在沒(méi)有充分定制化的情況下，Nervana也在大多數情況下實(shí)現GEMM高于80%的計算利用率。當開(kāi)發(fā)下一代芯片時(shí)，如果能夠保持高計算利用率，新的產(chǎn)品在性能上有3到4倍的性能提升。

　　2、Lake Crest計算利用率達到96%，為什么到Spring Crest不升反而降了?

　　這是一個(gè)市場(chǎng)策略，把利用率適當下降。有些情況確實(shí)可以實(shí)現98%，在沒(méi)有資源沖突時(shí)，每個(gè)硅芯片都完全運行的情況下，可以達到99%甚至100%計算利用率。但英特爾想展示的是大多數情況下能能實(shí)現的利用率，所以適當調整了。

　　3、為什么Nervana芯片的發(fā)布節奏一再延期?

　　分為兩個(gè)階段，Nervana在2014年成立之初就開(kāi)始研發(fā)Lake Crest，，當時(shí)整個(gè)團隊大概45人，正在構建一個(gè)最大的Die(硅芯片)，我們開(kāi)發(fā)了Neon(深度學(xué)習軟件)，還構建了云棧，這些都是小團隊所完成的。但這也是挑戰所在，小團隊成長(cháng)會(huì )有陣痛，Nervana花了很長(cháng)時(shí)間才把第一批產(chǎn)品拿出來(lái)，直到去年芯片才真正問(wèn)世。關(guān)于Spring Crest為何選擇2019年年底推出，因為需要集成更多的Die(硅芯片)，獲得更快的處理速度，但需要一定的時(shí)間去制造硅片，也需要硅片變成新的神經(jīng)網(wǎng)絡(luò )處理器，這是延遲的原因。目前來(lái)看，Spring Crest正處于合理的節奏中，已具備明年取得成功的所有要素。

　　4、延遲給英特爾帶來(lái)了哪些不利影響?

　　Carey Kloss并不認為英特爾會(huì )在神經(jīng)網(wǎng)絡(luò )處理器上處于劣勢，因為英特爾的反應速度相對較快，比如逐步轉向bfloat是一個(gè)重要因素，它是業(yè)內廣泛采用的針對神經(jīng)網(wǎng)絡(luò )的一種數值型數據格式，很受市場(chǎng)歡迎，未來(lái)英特爾將在人工智能產(chǎn)品線(xiàn)上擴大對bfloat16的支持，包括至強處理器和FPGA。

　　5、拿nGraph與CUDA相比：沒(méi)在怕的

　　拋開(kāi)硬件層面，英特爾還在軟件部署上加足馬力。目前，英特爾AIPG事業(yè)部正在開(kāi)發(fā)名為nGraph的軟件，該軟件是一個(gè)框架中立的深度神經(jīng)網(wǎng)絡(luò )(DNN)模型編譯器。英特爾正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度學(xué)習框架集成在nGraph之上。

　　同樣是一個(gè)平臺概念，很多人喜歡拿GPU代表企業(yè)英偉達與英特爾做比較，事實(shí)上，Carey Kloss就直言了nGraph與競爭對手CUDA平臺的區別。

　　“nGraph與CUDA還是不一樣的。CUDA你可以理解為 nGraph的底面，我們稱(chēng)之為變壓器。nGraph通過(guò)一個(gè)固定的API接收來(lái)自TensorFlow，Caffe或MXNet的輸入，然后通過(guò)圖形編譯器進(jìn)行性能優(yōu)化，排除一些不需要的東西，然后將其發(fā)送給CPU的MKL-DNN。所以CPU仍然使用MKL-DNN，即使在nGraph中也是如此?！安浑y看出，英特爾也有意把芯片開(kāi)發(fā)放在統一平臺上，將nGraph打造成為開(kāi)發(fā)基于所有英特爾芯片的AI應用程序的接口做統一。

　　相比于新一代Nervana NNP-L1000還處于研發(fā)階段，英特爾另一款專(zhuān)注于計算機視覺(jué)的芯片VPU實(shí)際已經(jīng)商用。關(guān)于這款芯片，英特爾又寄托了怎樣的市場(chǎng)期望，來(lái)看另一位同樣在畫(huà)框外的大神的解答。

　　Movidius VPU：可能是計算機視覺(jué)領(lǐng)域的殺手級應用，包括Windows 10

　　Gary Brown是英特爾Movidius營(yíng)銷(xiāo)主管，他的主要工作是將Movidius研發(fā)的產(chǎn)品買(mǎi)到一個(gè)好市場(chǎng)，把買(mǎi)賣(mài)做大。他對科技行者說(shuō)，“任何與計算機視覺(jué)和攝像頭有關(guān)的東西都能夠用到Movidius”。

　　英特爾Movidius營(yíng)銷(xiāo)主管Gary Brown

　　在Movidius研發(fā)的芯片被稱(chēng)作視覺(jué)處理單元VPU，是一種兼具計算機視覺(jué)和智能攝像頭處理器的芯片，所做的處理分為三類(lèi)：第一類(lèi)是ISP(圖像信號)處理，第二類(lèi)是基于攝像頭捕捉技術(shù)的處理，第三類(lèi)是計算機視覺(jué)和深度學(xué)習。據Gary Brown透露，目前VPU在VR產(chǎn)品、機器人技術(shù)、智能家居、工業(yè)攝像頭和AI攝像頭、監控和安保領(lǐng)域“生意”了得。

　　之所以廣受歡迎，無(wú)疑是VPU所具備的兩點(diǎn)優(yōu)勢：一是能直接在本地攝像頭上運行神經(jīng)網(wǎng)絡(luò )，與把數據傳送到云端再發(fā)送回本地相比，延遲更低、用電量更少、時(shí)間更短，也意味著(zhù)更低的帶寬和成本;另外一點(diǎn)則是節能技術(shù)，用前端算法降低功耗，就可以關(guān)閉大部分芯片，只運作小部分最優(yōu)化的面部檢測功能，而當一張臉出現時(shí)，其他芯片則被啟動(dòng)，這樣能一直保持面部監控系統開(kāi)啟，對于家用攝像頭續航6個(gè)月沒(méi)問(wèn)題。目前，Movidius還在最新產(chǎn)品Myriad X的VPU中加入神經(jīng)計算引擎，能將芯片在深度神經(jīng)網(wǎng)絡(luò )中的性能提升10倍。

　　“抓拍神器”谷歌 Clips相機是VPU的另一個(gè)典型應用。這塊體積小巧甚至連屏幕都沒(méi)有的相機卻可以“自動(dòng)”記錄下畫(huà)面，實(shí)際上背后正是VPU在發(fā)揮作用。以AI驅動(dòng)攝像頭，聽(tīng)上去很酷，但這還只是VPU應用的“冰山一角”。因為英特爾對VPU還寄希望于更大的“生意”，遠遠超出了硬件范疇，十分重視與軟件巨頭微軟Windows 10的合作。

　　“Windows 10可能即將成為Movidius VPU巨大市場(chǎng)之一?！盙ary Brown變得興奮起了，“微軟最近為Windows 10研發(fā)出新的API，叫做Windows ML，代表機器學(xué)習，大家可以為Windows 10寫(xiě)應用，將機器學(xué)習轉移到Movidius VPU，開(kāi)發(fā)人員能夠運用Windows ML進(jìn)行應用開(kāi)發(fā)，比如視覺(jué)應用、視頻會(huì )議應用、智能助手進(jìn)行圖片搜索，通過(guò)圖像識別功能搜索有趣的事情?！币簿褪钦f(shuō)，如果在Windows 10系統中運用了Windows ML，就意味著(zhù)無(wú)需一定要在CPU上運行機器學(xué)習了。

　　Gary Brown還表示，目前也有PC廠(chǎng)商和他洽談將VPU直接放入電腦的新模塊，但名字不方便透露。

　　除了芯片在市場(chǎng)“聲名遠揚”， 讓人出乎意料的是Movidius的另一個(gè)強項竟然是軟件。因為“Movidius團隊很多成員屬于開(kāi)發(fā)組，硬件只是我們產(chǎn)品的一部分，而軟件開(kāi)發(fā)者工具包包含庫、驅動(dòng)、開(kāi)源和對應固件，也是Movidius產(chǎn)品線(xiàn)之一”，Gary Brown還表示，英特爾新版本的軟件開(kāi)發(fā)者工具叫OpenVINO，該工具包能夠幫助開(kāi)發(fā)者在云端(例如TensorFlow， MXNet和Caffe等熱門(mén)框架)創(chuàng )建和培訓AI模型，并將其部署到各種產(chǎn)品中，像Movidius與?？低暤暮献骶褪遣捎眠@種模式。

　　目前Movidius的客戶(hù)有75%集中在物聯(lián)網(wǎng)領(lǐng)域，這并不稀奇。如果對Movidius稍有了解，會(huì )知道其實(shí)這家計算機視覺(jué)初創(chuàng )公司最早由英特爾物聯(lián)網(wǎng)部門(mén)在一年半前負責收購，為了輸出更全面的AI能力，現在英特爾內部各部門(mén)之間都有著(zhù)蛛網(wǎng)般交織的關(guān)系，包括AI在物聯(lián)網(wǎng)的滲透，這也是英特爾最重要的業(yè)務(wù)之一，如何打這張“組合牌”?又一位大牛登場(chǎng)了。

　　英特爾AI x IoT：重點(diǎn)放在“智能”物體，不只是計算能力

　　Jonathon Ballon是英特爾物聯(lián)網(wǎng)事業(yè)部副總裁，擅長(cháng)歸納的他，開(kāi)場(chǎng)就拋出了大會(huì )關(guān)于物聯(lián)網(wǎng)內容的三條總結：

　　物聯(lián)網(wǎng)沒(méi)有一個(gè)萬(wàn)能的架構，根據不同的場(chǎng)景有許多種架構;

　　不是所有的人工智能都發(fā)生在數據中心端或云端，人工智能運行在分布式計算架構中：從云端、網(wǎng)絡(luò )到邊緣設備;

　　英特爾在軟件工具方面做了很大投資，英特爾相信軟件是硬件平臺實(shí)現差異性的重要因素，nGraph和OpenVINO這兩個(gè)工具的互補性，能夠讓異構架構發(fā)揮出最佳性能。

　　英特爾物聯(lián)網(wǎng)事業(yè)部副總裁Jonathon Ballon

　　言簡(jiǎn)意賅，正如Jonathon Ballon所言，物聯(lián)網(wǎng)沒(méi)有一個(gè)萬(wàn)能的架構，但要如何一擊即中?英特爾似乎有獨特的思考與門(mén)路。

　　“我們重點(diǎn)放在智能物體上，不只是計算能力?！盝onathon Ballon進(jìn)一步解釋?zhuān)耙慌_帶有芯片的設備，具有計算能力，這叫做計算設備，但這并不意味著(zhù)它是智能的。當把計算設備連上網(wǎng)絡(luò )，把數據分離出來(lái)，這時(shí)這個(gè)設備稱(chēng)為物聯(lián)網(wǎng)設備，但它還不一定是智能設備。物聯(lián)網(wǎng)設備和智能設備之間的區別是：后者有學(xué)習能力，這就是人工智能能夠發(fā)揮巨大作用的地方?！?/p>