Habana攜超強AI芯片入局，向CPU、GPU大鱷亮劍

      初創(chuàng )公司以色列Habana Labs從隱身變?yōu)楦哒{，近日在京舉辦新聞發(fā)布會(huì )，首席商務(wù)官Eitan Medina介紹了兩款AI芯片及解決方案，分別用于推理和訓練，適合數據中心、自動(dòng)駕駛等應用，競爭目標直指用AI領(lǐng)域最高性能的CPU和英偉達GPU，號稱(chēng)性能同比高三四倍，延遲更低，且擴展性超強，集成度更高。

照片：Habana首席商務(wù)官Eitan Medina

      Habana的AI芯片推出周期為9個(gè)月，2018年9月宣布推理芯片Goya，2019年6月宣布訓練處理器Gaudi。

      該公司盡管2016年成立，已有兩輪投資，第二輪投資由Intel等參與，現在有約1.2億美元資金，主要用于招募眾多優(yōu)秀的DSP、處理器人才。公司已有一百余人，大部分為開(kāi)發(fā)人員。公司開(kāi)始做軟件和算法，積累兩年后，于2018年9月推出第一代芯片Goya。兩代芯片皆采用16 nm工藝，在臺積電流片。

      1  Goya：高性能的AI推理處理器

      Goya有基于PCIe的卡，用于服務(wù)器的推理和預測。通過(guò)和CPU、英偉達GPU相比，Goya性能有3倍的優(yōu)勢，功耗和延遲也很低，可以實(shí)時(shí)處理圖片。

      迄今，Goya仍是市場(chǎng)上最強性能的產(chǎn)品。3片Goya卡相當于8片Tesla（特斯拉）V100 GPU，169個(gè)CPU服務(wù)器。

      那么，為何Habana的芯片性能領(lǐng)先？通常有兩種方式可以保證領(lǐng)先，一種是架構，另一種靠工藝。Goya屬于前者，依靠架構。首先，不像GPU，Goya是完全針對AI和全可編程設計的，并且有Tensor（張量）處理核心（TPC）。

      AI的性能主要體現在兩方面：計算能力和延遲。batch size直接影響了處理器性能。在數據中心中，GPU的batch size要定得很大，否則會(huì )影響性能。為了實(shí)現大的batch size，需要把很大數量的數據讀到內存中，這帶來(lái)了延遲。Goya可以用較小的batch size，甚至一張圖片即可，因此延遲低，這特別適合自動(dòng)駕駛這類(lèi)實(shí)時(shí)性強的應用。

      推理的一個(gè)重要指標是精度。在整形化（quantization）方面，Goya由于很強的算法團隊，2018年在國際學(xué)報上曾發(fā)布了四篇論文。

      在生態(tài)方面，很多客戶(hù)過(guò)去是在GPU和CPU上做的算法，現在轉到Goya也很容易，Habana公司有軟件堆棧（SynapseAI），支持客戶(hù)在不同處理器（GPU、CPU、FPGA等）上的訓練，然后在Goya上運行。

      很多人不相信Habana這家小公司，但實(shí)際上Goya產(chǎn)品非常成熟，有很多客戶(hù)采用，例如facebook開(kāi)源了Glow，并在官網(wǎng)上認可了Goya，因為Goya為Glow機器學(xué)習編譯器實(shí)現后端開(kāi)源。另外，Goya把驅動(dòng)提供給了Linux，獲得了Linux的支持。

      盡管現在很多客戶(hù)在用CPU和GPU，但是正在尋找更好的處理器，因此Goya還可以給客戶(hù)提供定制化的產(chǎn)品，因此要給客戶(hù)最大權限的開(kāi)放。

      總之，Goya讓客戶(hù)在CPU和GPU上實(shí)現AI的推理和預測工作，可以容易地移植到Goya上。過(guò)去90%的推理和預測是在CPU和GPU上做的，現在有了專(zhuān)用的AI推理處理器。

      2  Gaudi：處理能力強大4倍的AI訓練處理器

      Gaudi性能是最新的英偉達GPU的4倍，且在很小的batch size情況下實(shí)現的。

      支持RDMA是AI訓練芯片的下一代發(fā)展方向。為此，AI訓練處理器的領(lǐng)頭羊——英偉達已于2019年3月收購了Habana的老鄉——以色列Mellanox公司，以獲得RDMA技術(shù)，使之可以運行在以太網(wǎng)環(huán)境中。Gaudi更進(jìn)一步，集成了RDMA over Converged Ethernet（即RoCE v2）功能，從而讓AI系統能夠使用標準以太網(wǎng)擴展至任何規模。不僅如此，Gaudi的獨特之處是集成了10個(gè)RDMA，而英偉達需要外接一個(gè)PCIe switch（如下圖）。

      Gaudi有芯片、卡（子卡和PCIe卡）及系統方案，通過(guò)PCIe，可以做垂直及橫向擴展，使性能倍增。例如，Habana推出了一款名為HLS-1的8-Gaudi系統，與英偉達DCX-1（注：英偉達已出DCX-2）比較，基于Gaudi的HLS-1系統在擴展性、總線(xiàn)效率等方面最高的。

      應用案例，可以16個(gè)Gaudi芯片并用；或通過(guò)數據并行化和層級化處理提高處理效率，因此可以建立1千片Gaudi芯片的系統。在A(yíng)I中，除了數據的并行化處理之外，還有模型的并行化處理，把大模型分成多個(gè)小模型，挑戰是之間的通訊，由于Gaudi有很多通訊接口，因此保證了通訊帶寬。而英偉達GDX-2沒(méi)有這么強的能力，因為英偉達的通訊接口有限，且采用了私有的協(xié)議。而Gaudi采用了內置的RDMA方案，可以靈活擴展，例如2千個(gè)芯片連接。因此，可以單機或幾百芯片互聯(lián)，進(jìn)行大型模型的訓練，可謂沒(méi)有應用的邊界。而傳統CPU很難超過(guò)16個(gè)互聯(lián)。

      另外建議客戶(hù)不要用私有協(xié)議互聯(lián)，而在通用協(xié)議下，這樣可以在A(yíng)I生態(tài)圈里選擇更多的處理器。