英特爾首個(gè)神經(jīng)網(wǎng)絡(luò )處理器揭開(kāi)面紗，幕后推手是這位42歲的冒險家

　　要了解計算機神經(jīng)系統科學(xué)家Naveen Rao，只要看看他的手就行了。

　　這位42歲的Dr.在滑雪、滑板、騎自行車(chē)、輪滑溜冰、駕駛賽車(chē)、摔跤和打籃球的生涯中，弄傷了全部的十個(gè)手指。

　　他是一個(gè)冒險者，不斷挑戰身體和精神上的極限。在科學(xué)研究方面，他試圖通過(guò)創(chuàng )造受到人腦結構和行為啟發(fā)的芯片和軟件，加速計算機行業(yè)進(jìn)入人工智能的新時(shí)代。

　　讓Rao有別于其他正在嘗試同樣事情的人的是這樣一個(gè)事實(shí)，英特爾去年以4億美元的價(jià)格收購了他在圣地亞哥創(chuàng )辦的公司：Nervana。

　　這是一個(gè)認證標志。英特爾是電腦芯片行業(yè)的巨頭，每年的銷(xiāo)售額約600億美元。但同時(shí)，它也是一個(gè)年邁的巨人，英特爾將在明年迎來(lái)50歲生日。這家公司曾錯失向移動(dòng)計算轉變的最佳時(shí)機，而如今是時(shí)候重振旗鼓了。

　　現在，英特爾正在努力捕捉業(yè)界下一波新興浪潮：人工智能。更確切地說(shuō)，是人工智能中被稱(chēng)為深度學(xué)習的那一部分。

　　為AI“量身定制”專(zhuān)用芯片

　　深度學(xué)習是一個(gè)新的、更具市場(chǎng)推廣意義的術(shù)語(yǔ)，而這個(gè)概念已經(jīng)存在了幾十年來(lái)，之前被稱(chēng)為神經(jīng)網(wǎng)絡(luò )。神經(jīng)網(wǎng)絡(luò )不像傳統計算機那樣以串行方式運行計算，而是模仿人腦中神經(jīng)簇的行為——發(fā)射信號并扼制它們，將數據排列成與人類(lèi)記憶大致相似的模式。

　　為什么深度學(xué)習會(huì )突然興起?大概是依賴(lài)智能手機、無(wú)人機、監控攝像頭等各種設備上安裝的傳感器，可以從世界各地創(chuàng )造大量的數據，然后將這些數據引導到更強大的計算機硬件上。這種組合使得神經(jīng)網(wǎng)絡(luò )的方法被廣泛應用。

　　因此，IDC半導體分析師Mario Morales認為，計算機行業(yè)正在改變，“比英特爾或其他任何人期待的都要更快”。專(zhuān)家稱(chēng)，人工智能現在是一塊重要的增長(cháng)業(yè)務(wù)，將為提供最好的硬件和軟件的公司賺取數十億美元。

　　英特爾首個(gè)神經(jīng)網(wǎng)絡(luò )處理器揭開(kāi)面紗，幕后推手是這位42歲的冒險家Naveen Rao 他是一位計算機架構師，也是一位神經(jīng)科學(xué)家

　　這就是Rao發(fā)揮作用的地方。他的工作是幫助英特爾中央處理器“進(jìn)化”，也就是CPU——這一統治半導體行業(yè)數十年的產(chǎn)品。CPU是自20世紀70年代個(gè)人電腦革命開(kāi)始以來(lái)，每臺臺式機和筆記本電腦的核心。此前兩家公司統治了這個(gè)領(lǐng)域：一是微軟與其操作系統軟件，另一個(gè)是英特爾與其“Intel Inside”中央處理器。

　　深度學(xué)習軟件在CPU上運行，但效率不高。CPU本質(zhì)上是通用設備，而并非專(zhuān)門(mén)針對深度學(xué)習的專(zhuān)業(yè)芯片，這就必然帶來(lái)一些天生的不足。打一個(gè)比方，用眾核芯片和GPU跑深度學(xué)習，就類(lèi)似于用轎車(chē)去拉貨，受轎車(chē)自身特點(diǎn)的限制，貨物運輸能力與真正大馬力、高負載的貨車(chē)有一定差距。

　　反之，處理雜亂無(wú)章的海量數據、操控復雜的機器需要“量身定制”的計算機硬件，即專(zhuān)用芯片。這正是Rao和Nervana正在嘗試的東西。如果他們成功了，英特爾也將會(huì )收獲果實(shí)。

　　沉迷“神經(jīng)網(wǎng)絡(luò )”的 Naveen Rao

　　穿著(zhù)T恤和藍色牛仔褲的Rao有著(zhù)運動(dòng)員般的優(yōu)美體形。他是印度移民的孩子，在肯塔基州東部一個(gè)名叫Whitesburg的小鎮里長(cháng)大。在20世紀70年代末期，他的醫生父親驅車(chē)開(kāi)上40分鐘的路程，將Rao和他的兄弟帶到一個(gè)無(wú)線(xiàn)電小木屋，在一臺落地式電腦上用Basic進(jìn)行編程。“我們家里那個(gè)時(shí)候還沒(méi)有電腦。”Rao說(shuō)。

　　Rao在農村度過(guò)了他的童年，他喜歡戶(hù)外玩耍和《龍與地下城》以及Asimov、Heinlein和Tolkien的小說(shuō)。在此之后，Rao進(jìn)入了杜克大學(xué)(Duke University)。在那里，他被神經(jīng)網(wǎng)絡(luò )所吸引，因為他了解到人眼是如何在視覺(jué)物體上發(fā)現邊緣的。當時(shí)的邊緣檢測技術(shù)是計算機視覺(jué)領(lǐng)域的一個(gè)前沿問(wèn)題，有很多解決方案，包括神經(jīng)網(wǎng)絡(luò )。

　　他最初在硅谷Sun Microsystems從事計算機芯片的研發(fā)工作，卻仍然被神經(jīng)學(xué)所吸引。于是，他決定辭去電腦工程師這項工作，然后重返校園。他在神經(jīng)科學(xué)先驅John Donoghue的領(lǐng)導下獲得了Brown University (布朗大學(xué))的博士學(xué)位。

　　畢業(yè)后，他前往位于圣迭戈西部的芯片制造商高通(Qualcomm)，帶領(lǐng)團隊進(jìn)行神經(jīng)網(wǎng)絡(luò )研究，旨在打造一個(gè)生物學(xué)啟發(fā)下的人工神經(jīng)網(wǎng)絡(luò )。(這個(gè)項目后來(lái)變成了 Zeroth AI，一個(gè)幫助公司用高通芯片打造深度學(xué)習系統的軟件平臺。)

　　Rao說(shuō)，高通正在做有趣的工作。不過(guò)，當公司拒絕將他的研究轉化為產(chǎn)品時(shí)，他決定成立自己的公司。在2014年，他創(chuàng )立了Nervana。不久之后，大公司就開(kāi)始對它感興趣了。

　　Rao表示，當英特爾發(fā)現另一家大型科技公司正在四處嗅探時(shí)，就迅速出手了。對于Rao來(lái)說(shuō)這很好。最重要的是，他找到了一家在芯片制造方面表現優(yōu)異的公司。“The best at that is Intel”，他說(shuō)。

　　分析師們贊同這一觀(guān)點(diǎn)。“他們擁有世界上最好的制造工廠(chǎng)。” Linley集團創(chuàng )始人及長(cháng)期擔任半導體行業(yè)分析師的Linley Gwennap表示，“和英特爾一起，你可以使用英特爾的名義進(jìn)入市場(chǎng)，并利用英特爾的資源。”

　　絕地反擊：英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器

　　英特爾和Nervana正在提供一系列軟件工具，開(kāi)發(fā)人員可以用來(lái)編寫(xiě)深度學(xué)習程序。同樣重要的是，Nervana正在制作一款名為“Lake Crest”的神經(jīng)網(wǎng)絡(luò )計算機芯片——將由英特爾在年底前發(fā)布。

　　英特爾首個(gè)神經(jīng)網(wǎng)絡(luò )處理器揭開(kāi)面紗，幕后推手是這位42歲的冒險家英特爾 Nervana 神經(jīng)網(wǎng)絡(luò )處理器(NNP)系列芯片

　　關(guān)于這款芯片有了最新進(jìn)展。

　　在10月17日召開(kāi)的WSJ D.Live大會(huì )上，英特爾正式發(fā)布了專(zhuān)為機器學(xué)習而設計的英特爾 Nervana 神經(jīng)網(wǎng)絡(luò )處理器(NNP)系列芯片，它是業(yè)內第一個(gè)面向神經(jīng)網(wǎng)絡(luò )處理的芯片。

　　英特爾CEO科再奇隨后在官方博客發(fā)布公告稱(chēng)：

　　當我們將新一代AI硬件推向市場(chǎng)時(shí)，我們很高興Facebook能夠提供密切合作并共享其技術(shù)見(jiàn)解。

　　這款英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器將為各行各業(yè)帶來(lái)人工智能計算革命。利用英特爾Nervana技術(shù)，企業(yè)將能夠開(kāi)發(fā)全新的人工智能應用，以處理海量數據并讓客戶(hù)獲得更好的洞察，實(shí)現業(yè)務(wù)變革。

　　我們有更多英特爾Nervana產(chǎn)品正在推進(jìn)中，這些產(chǎn)品將提供更高的性能，并為AI模型提供更高可擴展性能力， 這讓我們即將超越去年設定的目標——即到2020年實(shí)現100倍的人工智能性能提升。

　　現任英特爾副總裁、人工智能產(chǎn)品部門(mén)總經(jīng)理Naveen Rao在一篇博客文章(文末附全文)中詳細介紹了這款新的芯片，他指出，經(jīng)過(guò)三年時(shí)間的開(kāi)發(fā)，這個(gè)全新的Nervana神經(jīng)網(wǎng)絡(luò )處理器(Nervana Neural Network Processor)家族代號為“Lake Crest”，將大大提升深度學(xué)習的速度和計算效率。

　　很少有人否認人工智能和機器學(xué)習的重要性，這已經(jīng)成為當今發(fā)展最快的技術(shù)趨勢之一。英偉達因為它的GPU芯片成為人工智能和機器學(xué)習的工作標準，從而在最近幾年迅速聲名鵲起。

　　英特爾也決定投身于這一趨勢前沿，將其作為鞏固在數據中心領(lǐng)域優(yōu)勢的戰略之一。這也解釋了為什么英特爾在過(guò)去18個(gè)月一直強調自己FPGA加速器的能力，這種加速器用于為英特爾專(zhuān)用計算芯片加速深度學(xué)習工作負載。

　　但是很多FPGA就會(huì )被Nervana神經(jīng)網(wǎng)絡(luò )處理器擠到一邊，后者提供了許多相同的速度和性能優(yōu)勢。這是因為這些芯片采用了一種新的內存架構，Rao稱(chēng)這個(gè)架構設計旨在最大限度提高處理速度。與以往的芯片不同，Nervana系列不帶有一個(gè)管理緩存層，而是采用軟件來(lái)管理片上內存，以確定分配給不同的操作。

　　Rao表示，這個(gè)功能讓Nervana芯片能夠“實(shí)現新一代面向深度學(xué)習的計算密度和性能”。他解釋說(shuō)，這個(gè)芯片具有一個(gè)簡(jiǎn)單的技巧就是所謂的“大規模雙向數據傳輸”，這使得多個(gè)處理器可以作為一個(gè)大型虛擬芯片，可以容納更大的AI模型，比以前更快地提供更好的洞察。

　　這個(gè)“家伙”可以幫住英特爾捕捉AI大潮嗎?

　　英特爾正在掀起收購狂潮。在2016年，它收購了Movidius，一家硅谷公司，該公司專(zhuān)門(mén)為包括無(wú)人機在內的消費設備制造智能視覺(jué)芯片。今年早些時(shí)候，它又豪擲153億美元收購了Mobileye，這是一家為無(wú)人駕駛汽車(chē)生產(chǎn)攝像頭、芯片和軟件系統的以色列廠(chǎng)商。

　　它還與一家專(zhuān)門(mén)進(jìn)行針對特定應用芯片定制的公司合作，并購買(mǎi)了另一家生產(chǎn)可以根據當前工作對其“固件”進(jìn)行重新編程的芯片的公司。

　　英特爾需要將所有這些融合在一起。當英特爾收購Nervana時(shí)，它認為這家小公司是其進(jìn)軍人工智能的“基礎”。它讓Rao負責英特爾所有的人工智能工作，直接向英特爾的首席執行官科再奇匯報。

　　但是，在文化和技術(shù)執行方面，合并將是非常復雜微妙的一件事。分析師Gwennap表示，英特爾在初創(chuàng )企業(yè)收購方面表現不佳(a poor record)。他指出，在蘋(píng)果推出iPhone之前，英特爾曾經(jīng)有一個(gè)無(wú)線(xiàn)設備芯片部門(mén)，該公司在2006年將其賣(mài)給了Marvell Technology Group。

　　為了嘗試糾正錯誤，英特爾在2010年收購了英飛凌科技公司的無(wú)線(xiàn)部門(mén)，但文化沖突和技術(shù)上的分歧讓英特爾脫離了手機游戲。諸如ARM Holdings(現在是SoftBank的一部分)之類(lèi)比較靈活的公司輕松獲得了移動(dòng)芯片業(yè)務(wù)。

　　DFJ Venture Capital(Nervana的早期投資者)的Steve Jurvetson認為，如果英特爾將讓Rao放手去做，他有可能幫助英特爾推動(dòng)文化變革。Jurvetson表示：

　　“Rao是一位多才多藝的人，他整合來(lái)自多個(gè)學(xué)科的思想的能力非常出色。”

　　“他有一種溫暖的教授般的氣度。”

　　“他喜歡教別人，并討論他們想法的可行性。但如果他認為某件事不是個(gè)好主意，他可不會(huì )裹足不前。”

　　Rao坦言，他遇到了一些來(lái)自英特爾“老警衛”的阻力，但是他相信這家公司已經(jīng)拋棄了“英特爾永遠知道什么是最好的”這種觀(guān)念。他表示，收購Nervana “并不是五年前的英特爾會(huì )做的事情。”

　　“ 這是一個(gè)開(kāi)放的文化。我可以說(shuō)，‘嗨，伙計們，你們沒(méi)明白。’”Rao說(shuō)， 有時(shí)候，他會(huì )發(fā)現自己在會(huì )議中拍桌子。但他表示自己有信心，科再奇會(huì )支持他。

　　英特爾首個(gè)神經(jīng)網(wǎng)絡(luò )處理器揭開(kāi)面紗，幕后推手是這位42歲的冒險家Naveen Rao 現任英特爾副總裁兼人工智能產(chǎn)品部總經(jīng)理

　　附：Naveen Rao撰文

　　解讀英特爾神經(jīng)網(wǎng)絡(luò )處理器四大關(guān)鍵技術(shù)特征

　　正如英特爾首席執行官科再奇今天早些時(shí)候在華爾街日報的D.Live活動(dòng)中討論的那樣，英特爾將很快會(huì )出貨世界上第一批從頭至尾專(zhuān)為人工智能打造的系列處理器——英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器系列(以前稱(chēng)為“Lake Crest”)。

　　這個(gè)處理器系列的研發(fā)已經(jīng)有3年多的時(shí)間，作為開(kāi)發(fā)團隊的代表，我想分享一下這一世界第一款神經(jīng)網(wǎng)絡(luò )處理器背后的動(dòng)機和設計的初衷。

　　深度學(xué)習的計算需求要求對圍繞支持AI計算的硬件有一些新的思維。為此，我們設計了一個(gè)名為“英特爾Nervana神經(jīng)網(wǎng)絡(luò )處理器(英特爾Nervana NNP)”的深度學(xué)習新芯片。

　　英特爾Nervana NNP是專(zhuān)為深度學(xué)習設計的架構。這種新架構的目標是提供深度學(xué)習所需的靈活性，以支持所有深度學(xué)習元語(yǔ)(primitives)，同時(shí)使核心硬件組件盡可能高效。

　　我們設計了英特爾Nervana NNP，使我們免受現有硬件的限制，因為這些硬件并不是明確設計為AI的。

　　1、新的內存架構旨在最大限度地提高硅計算的利用率

　　矩陣乘法和卷積是深度學(xué)習核心的一些重要原語(yǔ)。這些計算與通用的工作負載不同，因為操作和數據移動(dòng)在很大程度上是先天知道的。因此，英特爾Nervana NNP沒(méi)有標準的緩存層次結構，片上存儲器是由軟件直接管理的。更好的內存管理使芯片能夠在每個(gè)裸片上實(shí)現大量計算的高水平利用，這意味著(zhù)深度學(xué)習模型訓練可以更快地完成。

　　2、實(shí)現AI模型可擴展性的新水平

　　采用高速片上和片外互連設計，Intel Nervana NNP可實(shí)現大量雙向數據傳輸。一個(gè)具體的設計目標是實(shí)現真正的模型并行性，其中神經(jīng)網(wǎng)絡(luò )參數分布在多個(gè)芯片上。這使得多個(gè)芯片充當一個(gè)可以容納更大型號的大型虛擬芯片，從而允許客戶(hù)從其數據中獲取更多洞察力。

　　3、高度數值并行性：Flexpoint

　　單個(gè)芯片上的神經(jīng)網(wǎng)絡(luò )計算主要受電源和存儲器帶寬的限制。為了實(shí)現神經(jīng)網(wǎng)絡(luò )工作負載的更高的吞吐量，除了上述內存創(chuàng )新之外，我們還發(fā)明了一種名為Flexpoint的新數字格式。 Flexpoint允許將標量計算實(shí)現為定點(diǎn)乘法和加法，同時(shí)允許使用共享指數的較大動(dòng)態(tài)范圍。由于每個(gè)電路較小，這導致了芯片上的并行性的大幅度增加，同時(shí)降低了每次計算的功率。

　　4、性能

　　當下的AI革命實(shí)際上是計算上的演進(jìn)。自集成電路的發(fā)明以來(lái)，英特爾一直是推進(jìn)計算極限的核心。我們擁有行業(yè)和研究方面的早期合作伙伴，他們正在與我們一起走在這個(gè)旅程中，共同促成第一個(gè)商業(yè)神經(jīng)網(wǎng)絡(luò )處理器，并對各行各業(yè)都產(chǎn)生積極的影響。我們有一個(gè)產(chǎn)品路線(xiàn)圖，能讓我們超過(guò)了我們去年設定的目標，在2020年，將深度學(xué)習訓練的性能提升100倍。