瀚博首款AI推理芯片出爐，性能超越英偉達T4，年內即將量產(chǎn)

瀚博推出的 AI 推理芯片，性能超過(guò)英偉達最新的 A10 與 T4，同時(shí)使用成本還更低。

7 月 7 日，在上海舉行的首場(chǎng)發(fā)布會(huì )上，芯片創(chuàng )業(yè)公司瀚博半導體展示了旗下最新產(chǎn)品，SV100 系列云端通用 AI 推理芯片和 VA1 通用 AI 推理加速卡。剛剛推出的芯片實(shí)現了業(yè)內領(lǐng)先的性能指標。

瀚博半導體 CEO 錢(qián)軍在發(fā)布會(huì )上展示 SV102 芯片。

「我們要做的是服務(wù)器級別的芯片，SV100 系列是全方位超過(guò)英偉達同類(lèi)產(chǎn)品的芯片解決方案?！瑰┌雽w創(chuàng )始人、CEO 錢(qián)軍在發(fā)布會(huì )上說(shuō)道。

本次推出的產(chǎn)品包括芯片 SV102，以及基于該芯片的 AI 加速卡 VA1，即將在今年第四季度投入量產(chǎn)。

云端通用 AI 推理芯片

瀚博推出的 SV102 是 SV100 系列的首款芯片，它面向云端的 AI 的通用化推理任務(wù)，INT8 算力高達 200TOPS，其內含多顆瀚博自主設計的 IP 核，配備通用軟件棧，對于云計算客戶(hù)提供了完整的解決方案。

選擇推理作為突破點(diǎn)，是瀚博對于市場(chǎng)和業(yè)內競爭力分析之后作出的決定。

隨著(zhù) AI 應用的逐漸成熟，落地業(yè)務(wù)的增多，目前云服務(wù)市場(chǎng)上推理任務(wù)的需求逐漸超過(guò)訓練。相關(guān)數據顯示，2021 年 AI 推理市場(chǎng)已超過(guò)訓練市場(chǎng)，未來(lái)其差距還會(huì )逐漸拉大。高通則認為到 2025 年將有 90% 的算力將被用于機器學(xué)習推理。

而在推理任務(wù)上，相對更加專(zhuān)精的 DSA 芯片性能顯著(zhù)超過(guò)目前業(yè)內普遍采用的 GPU，前者可能會(huì )成為芯片領(lǐng)域的下一個(gè)發(fā)展方向。

瀚博提出的 SV100 系列芯片，對于視頻任務(wù)進(jìn)行了特別的優(yōu)化。當前，計算機視覺(jué)任務(wù)占據了 AI 市場(chǎng)的大部分，視頻流占據數據流的 70%，而且比例持續攀升。這些任務(wù)需要強大的視頻解碼能力，對于處理延遲、吞吐量和能耗效率提出了較高要求。

SV102 是一款高性能人工智能與視頻處理芯片，深度學(xué)習推理性能指標數倍于現有主流數據中心 GPU（如英偉達 T4、A10）?；阱┳匝械?，針對多種深度學(xué)習推理負載而優(yōu)化的通用架構，該芯片支持計算機視覺(jué)、視頻處理、自然語(yǔ)言處理和搜索推薦等推理應用場(chǎng)景，同時(shí)集成高密度視頻解碼，廣泛適用于云端與邊緣解決方案，節省設備投資、降低運營(yíng)成本。

通用 AI 推理加速卡，效率超越英偉達

基于 SV102 芯片，瀚博推出了適用于云服務(wù)器的 VA1 機器學(xué)習加速卡，其提供高效率深度學(xué)習 AI 推理加速，在同等能耗下可以實(shí)現 2-10 倍于 GPU 的最高 AI 吞吐率，適合實(shí)時(shí)應用，同時(shí)兼備良好的通用性和可擴展性，支持 FP16, BF16 和 INT8 數據類(lèi)型的眾多主流神經(jīng)網(wǎng)絡(luò )快速部署——包括檢測，分類(lèi)，識別，分割，視頻處理，LSTM/RNN，NLP/BERT，搜索推薦等。

瀚博半導體 CTO 張磊向我們介紹了 VA1 加速卡的性能指標。

VA1 具備強大的視頻處理性能：支持 64 路以上 H264，H265 或 AVS2 1080p 解碼，分辨率支持最高達 8K。另一方面，作為標準半高半長(cháng) 75W 功率的 PCIe 4.0 板卡，VA1 適用于絕大多數服務(wù)器，被動(dòng)散熱且無(wú)需額外供電，可實(shí)現高密度的部署。

和英偉達最新發(fā)布的安培架構 A10 板卡對比，在 ResNet-50（int8）任務(wù)上，瀚博芯片在 75W 功率時(shí)效率是對手的兩倍以上?！讣词褂ミ_的產(chǎn)品運行在 150W，我們的芯片運行在 75W 功率時(shí)性能也是超過(guò)它的，」張磊介紹道?！冈?BERT int8 任務(wù)上，VA1 的性能也是 A10 在 75W 上的兩倍，T4 的兩倍多?！?/p>

如果以整體運行成本 TCO 的方式來(lái)計算，采用 VA1 的服務(wù)器整機算力可以達到 T4 設備的 2.5 倍以上，功耗卻相對更低，可以節省超過(guò) 60% 的服務(wù)器成本。

除了硬件產(chǎn)品外，瀚博也搭建了自己的 VastStream 軟件平臺，支持 TensorFlow、PyTorch、Caffe2 等主流深度學(xué)習框架模型。

今年 6 月，SV100 系列芯片宣布測試成功。瀚博創(chuàng )造的幾個(gè)數字引人關(guān)注：在開(kāi)始測試后 8 分鐘全部點(diǎn)亮，在 40 小時(shí)之內，芯片所有功能模塊基礎測試全部完成。對于全新設計的高端芯片來(lái)說(shuō)，這是一個(gè)奇跡。

「我們與重要合作伙伴快手的合作非常緊密。打造芯片必須理解客戶(hù)的實(shí)際需求，我們打造了高性能的數據中心，會(huì )把最新的板卡插在服務(wù)器里，跑各類(lèi)實(shí)際應用，驗證產(chǎn)品的性能?！瑰X(qián)軍表示。據介紹，目前已有多家國內外科技公司正在和瀚博合作，并等待芯片的大規模量產(chǎn)。

除了 SV102 以外，瀚博半導體還計劃推出功率為 15W 和 150W 的推理產(chǎn)品，覆蓋更多市場(chǎng)。

「我們不是一個(gè)國產(chǎn)替代的故事，我們希望打造國際級別的產(chǎn)品。為了這樣的目的，我們組建了有能力的團隊?！瑰X(qián)軍說(shuō)道。

瀚博半導體于 2018 年底成立于上海，目前在北京、深圳、多倫多等地均設有研發(fā)中心。

這家公司的核心團隊源自于 AMD，部分成員曾設計了業(yè)界首款 7nm 制程 GPU。自公司創(chuàng )立起，瀚博一直致力于核心 IP 的自主研發(fā)，至今已完成多個(gè) IP、高端設計流程，并擁有完善的數據中心構建能力。目前，瀚博的員工總數已超過(guò) 200 人。

在融資方面，2019 年 3 月，瀚博獲得了來(lái)自真格基金的天使輪融資，2019 年 7 月完成 Pre A 輪。2020 年 7 月，紅點(diǎn)、快手領(lǐng)投了該公司的 A 輪融資；最近一輪則在今年 3 月，由中國互聯(lián)****資基金和經(jīng)緯中國聯(lián)合領(lǐng)投，融資金額高達 5 億元人民幣。

瀚博旗下首款芯片的推出，宣告了國內 AI 芯片業(yè)內又加入了一股強大的勢力。隨著(zhù)各家的 DSA 芯片不斷出爐，國內造芯的競爭已經(jīng)進(jìn)入了全新的階段。