英特爾：GPU 已過(guò)時(shí)，Nvidia 的人工智能之路會(huì )越來(lái)越難

　　剛剛上任的英特爾人工智能事業(yè)部(AIPG)首席技術(shù)長(cháng) Amir Khosrowshahi 表示，目前所使用 GPU 等級太低了，半導體產(chǎn)業(yè)需要構建全新的神經(jīng)網(wǎng)絡(luò )架構。

　　在出任這個(gè)新職位之前，Khosrowshahi 是 Nervana System(下簡(jiǎn)稱(chēng) Nervana) 的聯(lián)合創(chuàng )始人兼首席技術(shù)長(cháng)，Nervana 于 2016 年 8 月被英特爾收購，但并未對外披露具體的收購金額。 Nervana 利用最先進(jìn)的技術(shù)來(lái)使用 GPU，而且還自行研發(fā)替代了標準的 Nvidia 匯編程序，從而讓 Nervana 能夠生成「次優(yōu)」的架構體系。 在英特爾大力部署人工智能戰略的大背景下，該公司所能提供的技術(shù)迅速成為了發(fā)展的核心力量。

　　Khosrowshahi 本周四向 ZDNet 透露：「早在 Nervana 成立之初我們就著(zhù)手研發(fā)自己的匯編程序，當時(shí)只是為了我們自己的研發(fā)需求，不過(guò)后來(lái)我們發(fā)現它要比 Nvidia 官方的庫存快兩到三倍，所以我們就將其開(kāi)源了。 」

　　Nervana 并不僅僅在軟件方面發(fā)力，而且還創(chuàng )建了自己的目標向神經(jīng)網(wǎng)絡(luò )訓練。

　　他說(shuō)道：「神經(jīng)網(wǎng)絡(luò )是預先設定好操作的系列整合。 它并不像人類(lèi)和系統之間的互動(dòng)，而是被描述為數據流的系列指令集。 」

　　Khosrowshahi 表示，在執行圖形渲染過(guò)程中輔助圖形處理單元的部分功能是沒(méi)有必要的，比如大容量暫存、頂點(diǎn)著(zhù)色處理、 渲染和紋理等。 他表示：「GPU 中的大部分電路在部署機器學(xué)習之后是沒(méi)有必要的... 這些東西會(huì )隨著(zhù)時(shí)間的推移而不斷積累，最終產(chǎn)生了非常多無(wú)用的東西。 」

　　他進(jìn)一步解釋?zhuān)骸笇δ銇?lái)說(shuō)并不需要的電路，在 GPU 芯片中不僅占據了很大一片空間，而且從能源利用率上考慮也產(chǎn)生了相當高的成本。 神經(jīng)網(wǎng)絡(luò )則相當簡(jiǎn)單，利用小巧的矩陣乘法和非線(xiàn)性就能直接創(chuàng )建半導體來(lái)實(shí)現 GPU 的功能，而且你所創(chuàng )建的半導體非常忠誠于神經(jīng)網(wǎng)絡(luò )架構，顯然這是 GPU 所無(wú)法給予的。 」在設計思路上，CPU 有復雜的控制邏輯和諸多優(yōu)化電路，相比之下計算能力只是 CPU 很小的一部分;而 GPU 采用了數量眾多的計算單元和超長(cháng)的流水線(xiàn)，但只有非常簡(jiǎn)單的控制邏輯并省去了快取，因而在需要大量計算的機器學(xué)習方面表現更好，而TPU則是專(zhuān)為機器學(xué)習的矩陣乘法設計和優(yōu)化，因而在機器學(xué)習方面比 GPU 更勝一籌。

　　Khosrowshahi 給出的答案：就是目前尚在開(kāi)發(fā)中的 Lake Crest，這是英特爾今年會(huì )針對部分客戶(hù)提供離散加速器。 但伴隨著(zhù)時(shí)間的推移，它將會(huì )成為 Xeon 處理器的最佳伙伴。

　　Khosrowshahi 解釋?zhuān)骸高@是一個(gè)張量(tensor)處理器，能夠處理帶矩陣運算的指令。 因此指令集是矩陣 1 和矩陣 2 的相乘，不僅透過(guò)查詢(xún)表運行而且這些大型的指令都是高級別的。 」

　　「GPU 主要依靠一個(gè)個(gè)寄存器(Register)，當訪(fǎng)問(wèn)(或者跳轉到)某個(gè)寄存器，所執行的是元素和元素之間的相乘，這個(gè)級別是相當的低了。 」

　　Khosrowshahi 表示，最近幾年 Nvidia 已經(jīng)努力讓他們的 GPU 對神經(jīng)網(wǎng)絡(luò )更加友善，但是他們的 AI 芯片依然承擔了大量圖形功能。 他表示：「如果只是依靠自己來(lái)推動(dòng)芯片方面的改進(jìn)，我認為未來(lái) Nvidia 的進(jìn)化將會(huì )變得越來(lái)越困難。 」

　　與之對應的，英特爾則通過(guò)收購的方式來(lái)推進(jìn)人工智能。

　　Khosrowshahi 說(shuō)：「芯片產(chǎn)業(yè)的挑戰是即將迎來(lái)顛覆性的全新架構：而現在英特爾所做的事情就是將其收入麾下。 他們想要獲得 FPGAs(現場(chǎng)可程序邏輯門(mén)數組)，所以他們收購了 Altera。 這真的是一個(gè)非?？犰欧浅Ｉ窠?jīng)網(wǎng)絡(luò )的架構。 」

　　此外 Khosrowshahi 還糾正了很多人對神經(jīng)網(wǎng)絡(luò )的錯誤想法，他表示并不是將神經(jīng)網(wǎng)絡(luò )蝕刻到半導體上，大部分的功能依然通過(guò)軟件方面來(lái)形成。

　　他說(shuō)道：「神經(jīng)網(wǎng)絡(luò )大部分都體現在軟件方面。 所以即使是 Lake Crest，指令并不是『神經(jīng)網(wǎng)絡(luò )，執行這項任務(wù)』，而是透過(guò)矩陣和矩陣的相乘。 芯片外層部分就是一些我們所熟知的神經(jīng)網(wǎng)絡(luò )，在經(jīng)過(guò)培訓之后能夠根據用戶(hù)需求來(lái)執行各種任務(wù)或者搜尋某種參數，當你擁有神經(jīng)網(wǎng)絡(luò )之后你就能做任何可以完成的事情。 」

　　英特爾的其中一個(gè)人工智能架構將會(huì )對抗 Google 的定制 TPU。 在 4 月 5 日搜尋龍頭 Google 表示， TPU 的平均運轉速度要比標準的 GPU/CPU 組合(比如 Intel 的 Haswell 處理器和 Nvidia 的 K80 GPU)快 15~30 倍。 在數據中心計算功耗時(shí)，TPU 還提供 30-80 倍的 TeraOps/瓦特(如果未來(lái)使用更快的儲存裝置，這一數字可能還會(huì )提高)。

　　同樣在今年 4 月 5 日，IBM 和 Nvidia 還宣布 Big Blue 在今年 5 月開(kāi)始向特斯拉 P100S 提供 IBM Cloud 服務(wù)。