大模型亂斗，AI芯片狂歡
加入技術(shù)交流群
編輯 | 漠影
大模型正吞噬一切，算力尤甚。芯東西7月7日上海報道，在正在舉辦的第六屆世界人工智能大會(huì )（WAIC）上，瀚博半導體、昆侖芯科技、天數智芯、Graphcore、燧原科技、登臨科技、愛(ài)芯元智、沐曦、海飛科、墨芯人工智能、知存科技、后摩智能、珠海芯動(dòng)力、復旦微電、憶芯科技、富瀚微、西安紫光國芯等芯片企業(yè)參展。多數均為AI芯片創(chuàng )企。如今AI算力資源緊張已經(jīng)不是什么秘密，隨著(zhù)相關(guān)算力基礎設施建設進(jìn)程提速，AI芯片創(chuàng )企的受關(guān)注度正水漲船高。這在此次展會(huì )上可見(jiàn)一斑，幾乎每家AI芯片展臺都人潮洶涌。從展品可以看到，大多數參展的芯片企業(yè)都在積極適應大模型熱潮帶來(lái)的市場(chǎng)需求變化，不僅展出更具針對性的硬件產(chǎn)品，還展示了更加廣泛的行業(yè)應用Demo，多數展位都有AI大模型或AIGC（AI內容生成）應用的演示專(zhuān)區。
▲瀚博半導體AI大模型演示展臺
當然，這一風(fēng)向并不令人意外。連權威AI基準測試MLPerf最近都新增了大語(yǔ)言模型和推薦算法兩項新的基準測試，足見(jiàn)跑AI大模型的速度已被視作衡量芯片性能的重要指標。得益于此，今年AI芯片展區明顯要比往年更加熱鬧。隨著(zhù)更多國內AI芯片成功流片與量產(chǎn)，AI芯片企業(yè)們比拼的賽點(diǎn)，已經(jīng)從單純的性能指標轉向進(jìn)入真實(shí)應用場(chǎng)景落地的較量。01.拼榮譽(yù)：兩款AI芯片關(guān)聯(lián)產(chǎn)品獲得世界人工智能大會(huì )最高獎
▲高通獲頒SAIL獎
超10億參數Stable Diffusion模型能夠在搭載第二代驍龍8移動(dòng)平臺的安卓手機上運行，實(shí)現15秒內20步推理。燧原科技面向AIGC模型訓練的液冷集群云燧智算集群摘得了“SAIL之星”獎。該集群采用的燧原科技邃思芯片曾獲2022年吳文俊人工智能專(zhuān)項獎芯片項目一等獎。
▲燧原科技的一系列里程碑式產(chǎn)品
云燧智算集群產(chǎn)品已在國家級重點(diǎn)實(shí)驗室之江落地千卡規模訓練集群，提供超過(guò)100P的先進(jìn)AI算力，能高效支撐融媒體、文本生成PPT、跨模態(tài)圖像生成等AIGC應用以及多種AI4S科學(xué)計算應用的開(kāi)發(fā)和前沿探索。02.拼資歷：昆侖芯十年磨一劍國內首批通用GPU芯片走向增收
▲昆侖芯歷代AI芯片及AI加速卡
在此次WAIC上，針對不同參數級別的昆侖芯第二代系列產(chǎn)品矩陣首次亮相，包括3款昆侖芯AI加速卡R100、RG800、R200-8F。其大模型端到端解決方案更是繼正式發(fā)布后首次參展，該方案在能源行業(yè)、文心一格、智源研究院等多個(gè)場(chǎng)景均有應用落地。其中，R200-8F面向百億以下參數量級，性能可達到主流GPU 1.2倍且價(jià)格更有優(yōu)勢；R480-X8加速器組針對百億到千億參數量級，大內存和芯片互聯(lián)的技術(shù)使其性能達到同類(lèi)型GPU的1.3+倍；千億參數，可采用昆侖芯R480-X8集群，實(shí)現多機多卡分布式推理。天數智芯自稱(chēng)是國內首家真正量產(chǎn)的通用GPU企業(yè)，從2018年開(kāi)始設計通用GPU天垓100至今，已有兩款產(chǎn)品成功進(jìn)入量產(chǎn)階段。據悉，截至2022年底，天數智芯累計訂單接近6億元，去年全年收入大約2.5億元。
▲天數智芯通用GPU產(chǎn)品展臺
另一家國內通用GPU領(lǐng)軍企業(yè)登臨科技自認是國內首家完全憑借自主創(chuàng )新，實(shí)現規?；虡I(yè)落地的通用GPU企業(yè)，通過(guò)GPU+架構創(chuàng )新，解決了通用性和高效率的雙重難題。經(jīng)過(guò)大量客戶(hù)產(chǎn)品化驗證，針對AI計算，GPU+比現有主流GPU在性能及能效上有顯著(zhù)提升。首款基于登臨GPU+的AI加速器Goldwasser（高凜）2021年量產(chǎn)投入市場(chǎng)，2022年銷(xiāo)售過(guò)萬(wàn)片，應用場(chǎng)景覆蓋互聯(lián)網(wǎng)、智慧城市、電力、能源、金融等領(lǐng)域。高凜二代產(chǎn)品在2022年流片, 在2023年實(shí)現量產(chǎn)。根據現有客戶(hù)測試結果，二代產(chǎn)品針對基于Transformer類(lèi)型的模型提供3-5倍的性能提升，能夠大幅降低類(lèi)ChatGPT及生成式AI應用的硬件成本。今日上午，登臨科技還宣布了一個(gè)好消息：獲得中國互聯(lián)****資基金獨家投資。
▲登臨科技Goldwasser（高凜）六大亮點(diǎn)
03.拼硬件：先進(jìn)制程扎堆解鎖千億大模型部署
▲瀚博SG100芯片簡(jiǎn)介
VA1L具備200TOPS INT8/72TFLOPS FP16算力，并支持ChatGPT、LLaMA、Stable Diffusion等主流AIGC模型。其AIGC大模型一體機共使用8張VA1L加速卡，支持512GB顯存，進(jìn)而支持1750億參數的大模型。VA12作為250W板卡，是VA1和VA10的升級版，有512TOPS INT8/160TFLOPS FP16算力，能夠更高效地支持文生圖模型Stable Diffusion。珠海芯動(dòng)力發(fā)布首款基于可重構架構的GPGPU芯片RPP-R8。該公司在2017年成功研發(fā)出可重構并行處理器（RPP）架構，能夠對AI推理的性能進(jìn)行深度優(yōu)化。以RPP架構為基礎、面向邊緣市場(chǎng)設計的第一代芯片RPP-R8已經(jīng)一次性流片成功，芯動(dòng)力成為GPGPU領(lǐng)域的新成員。
▲芯動(dòng)力“六邊形戰士”處理器RPP
據悉，RPP-R8芯片是一款通用型GP-GPU芯片，每顆芯片內含有1024個(gè)計算核，相比傳統GPU架構在同樣的算力占用更小的芯片面積，實(shí)現了低功耗和高能效的有效平衡。RPP-R8除了具備專(zhuān)用芯片所沒(méi)有的通用編程性，面積效率比可達到同類(lèi)產(chǎn)品的7～10倍，能效比也超過(guò)3倍，可滿(mǎn)足高效并行計算及AI計算應用。▲珠海芯動(dòng)力RPP-R8芯片
其它參展芯片中，天數智芯2018年設計的天垓100加速卡目前已經(jīng)跑通清華ChatGLM、LLaMA、智源研究院Aquila等大模型。今年6月，天數智芯宣布天垓100率先完成百億級參數大模型訓練。昆侖芯2代AI芯片是國內首款采用GDDR6顯存的通用AI芯片，已經(jīng)在金融、工業(yè)、交通、教育等領(lǐng)域廣泛部署。昆侖芯在軟件層面提供了豐富的云原生插件，幫助用戶(hù)快速完成和大模型平臺的適配。其產(chǎn)品矩陣適配文心一言、ChatGLM、GPT、OPT等主流行業(yè)大模型，并提供豐富的軟件SDK，幫助用戶(hù)快速完成適配和實(shí)時(shí)自定義的開(kāi)發(fā)。海飛科稱(chēng)其第一代通用GPU芯片Compass C10是業(yè)界首個(gè)顯存高達128GB的GPU芯片，達到了算力和存儲容量的優(yōu)化平衡，實(shí)現單卡、多卡分布式部署千億大模型。海飛科展臺演示有在其產(chǎn)品上跑Stable Diffusion、ChatGLM OPT等模型。
▲海飛科Compass C10計算卡
沐曦展示了其AI推理GPU曦思系列、通用計算GPU曦云系列、圖形處理GPU曦彩系列芯片。其中，曦思N100是沐曦面向人工智能推理場(chǎng)景推出的一款高效能GPU產(chǎn)品，單卡算力達160TOPS (INT8)和80TFLOPS (FP16)，已實(shí)現規模量產(chǎn)，并與多家重點(diǎn)客戶(hù)及合作伙伴共同打造應用解決方案和生態(tài)聯(lián)盟。▲曦思MXN100芯片
曦云C500是沐曦面向AI訓練及通用計算的旗艦產(chǎn)品，提供強大高精度及多精度混合算力，配備大規格高帶寬顯存，片間互聯(lián)MetaXLink無(wú)縫鏈接多GPU系統，能滿(mǎn)足大模型推理和訓練需求。曦云MXC500芯片已于2023年6月13日完成基礎測試，預計將于今年年底實(shí)現量產(chǎn)。
▲曦云MXC500芯片
墨芯Antoum芯片是全球唯一擁有高稀疏率的AI芯片，采用12nm制程。憑借軟硬協(xié)同的稀疏計算技術(shù)，搭載Antoum芯片的墨芯AI計算卡在權威AI基準測試MLPerf今年4月公布的結果中取得ResNet-50單卡、多卡的性能第一。墨芯AI計算平臺可支持BLOOM、OPT、GPT-J、LLaMA、Stable Diffusion等主流大模型。
▲墨芯AI計算平臺
英國AI芯片獨角獸Graphcore（擬未）展出了入圍SAIL獎TOP30榜單的云端高端推訓一體加速卡C600，以及世界首款3D Wafer-on-Wafer處理器Bow IPU和基于4個(gè)Bow IPU構建的Bow-2000。Bow-2000可提供高達1.4PFLOPS的AI計算能力，并實(shí)現顯著(zhù)的電源效率提升。其C600 IPU處理器PCIe卡在此基礎上增加了用于低精度和混合精度AI的FP8，主打推理，兼做訓練，在搜索和推薦等業(yè)務(wù)上更具優(yōu)勢。Graphcore在支持大模型方面一直很積極，目前已部署在其IPU上的包括ChatGLM-6B、GPT2-XL、GPT-J、Stable Diffusion、Dolly 2.0等。Graphcore現場(chǎng)演示了在其IPU上運行中英雙語(yǔ)模型ChatGLM-6B和開(kāi)源文生圖模型Stable Diffusion。
▲ChatGLM-6B模型在IPU上運行秒出多行回復
算能展出了第四代邊云大算力AI芯片算豐BM1684X，以及首款基于RISC-V指令集架構的64核服務(wù)器CPU芯片算豐SG2042。每臺基于SG2042的服務(wù)器會(huì )配置1張萬(wàn)兆光纖網(wǎng)卡，并根據硬盤(pán)配置選配RAID卡，使整個(gè)系統的操作起來(lái)與x86系統一樣方便。
▲算豐RISC-V SG2042服務(wù)器簡(jiǎn)介
聚焦于計算+感知應用的愛(ài)芯元智，在WAIC上重點(diǎn)展示了第三代高算力、高能效比SoC芯片AX650N和M55、M76系列智能駕駛芯片。AX650N現已適配ViT/DeiT、Swin/SwinV2、DETR等Transformer模型，在DINOv2達到30幀以上的運行結果。Transformer網(wǎng)絡(luò )SwinT在A(yíng)X650N平臺上實(shí)現了361FPS的高性能、80.45%的高精度、199FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力。
▲愛(ài)芯元智邊、端側Transformer大模型展臺
04.拼落地：滿(mǎn)場(chǎng)大模型運行Demo大曬應用案例與生態(tài)朋友圈
▲天數智芯大模型能力
燧原科技7月5日剛推出的新品燧原曜圖（Enflame LumiCanvas）文生圖MaaS平臺服務(wù)產(chǎn)品在展會(huì )現場(chǎng)受到很多關(guān)注。這是燧原繼3月宣布升級企業(yè)戰略“以全棧軟硬件和集群產(chǎn)品為數字底座，結合MaaS的業(yè)務(wù)模式，全面打造AIGC時(shí)代的基礎設施”后的首款新品。這也是燧原在A(yíng)IGC戰略布局的第一步，后續燧原還將繼續推出其它MaaS服務(wù)。
▲燧原曜圖文生圖MaaS平臺服務(wù)產(chǎn)品
燧原曜圖以燧原科技邃思系列芯片為算力支撐，由首都在線(xiàn)提供計算服務(wù)，集成了圖像預處理、姿態(tài)建模、外部模型一鍵導入等能力，能夠大批量生成圖像，通過(guò)軟硬一體方案降低大規模AIGC應用的工程難度與算力成本。這個(gè)企業(yè)級文生圖應用支持以Excel形式批量導入prompt，單次最高可支持千條prompt導入，并針對視覺(jué)創(chuàng )作領(lǐng)域專(zhuān)業(yè)術(shù)語(yǔ)海量且繁復的問(wèn)題，為用戶(hù)提供prompt詞典、大師經(jīng)典作品prompt模板沉淀、逆向prompt等在內的全面Prompt工具體系。除了燧原曜圖外，燧原還展出了有多個(gè)可交互設施的AIGC交互演示體驗區，包括ChatBCG（文生PPT）、LLaMA（聊天機器人）、由清華ChatGLM和Stable Diffusion組成的能回復文字和圖片的ChatBot（聊天機器人）等。
▲燧原AIGC交互演示展區
墨芯人工智能在WAIC期間發(fā)布了大模型算力方案的最新成果，展示1760億參數的大語(yǔ)言模型BLOOM在墨芯AI計算平臺的推理引擎支持下，能夠快速、流暢地回答各類(lèi)問(wèn)題，并完成詩(shī)歌創(chuàng )作、文案撰寫(xiě)等多項語(yǔ)言生成任務(wù)。在1300億參數ChatGLM大模型上，8張墨芯S30計算卡吞吐達432token/s，性能超過(guò)主流GPU。天數智芯亦展出了豐富的應用演示，包括大模型微調、大模型推理、代碼生成、AI繪畫(huà)、內容審查、虛擬數字人、隱私計算、風(fēng)電場(chǎng)巡檢、智慧語(yǔ)義、人臉比對、智算中心、3D建模、科學(xué)計算、智能OCR、目標檢測/缺陷檢測、智慧零售等，充分展示了其GPU產(chǎn)品的通用性。
▲天數智芯合作伙伴
登臨科技設置了大模型、創(chuàng )新應用、AIDC、創(chuàng )新硬件四大主題展區，和合作伙伴一起展出了數十種產(chǎn)品方案，包括大模型、步態(tài)識別、數字孿生、無(wú)人機、智慧金融、智慧電力、智慧能源、智慧園區、車(chē)路協(xié)同、智慧社區、智慧交通等，并展示了其生態(tài)朋友圈。▲登臨瀚海生態(tài)合作伙伴
燧原科技也曬出了生態(tài)合作伙伴。
▲燧原科技生態(tài)合作伙伴
雖然昆侖芯并未在展臺設置關(guān)于A(yíng)IGC應用的互動(dòng)演示，但百度文心大模型早已是昆侖芯的金字招牌。值得一提的是，百度并沒(méi)有因為昆侖芯是自家孩子而排斥其他AI芯片企業(yè)。百度展臺上有一張標注飛槳在WAIC上的硬件伙伴們展位的地圖，愛(ài)芯元智、登臨科技、沐曦、昆侖芯、海飛科、墨芯人工智能、算能、燧原科技、瀚博半導體、天數智芯、Graphcore均在其中。
▲百度飛槳和硬件伙伴在WAIC
05.結語(yǔ)：上海近年已有30多款AI芯片點(diǎn)亮
▲后摩鴻途H30芯片
國內FPGA龍頭復旦微電重點(diǎn)展示了基于自研FPAI（可重構人工智能）芯片的一站式AI解決方案。憶芯科技展出了企業(yè)級SSD芯片等多種解決方案。西安紫光國芯則展出了世界領(lǐng)先的嵌入式DRAM（SeDRAM）、高帶寬高性能板卡解決方案HBX-G500等科技創(chuàng )新成果。目前，上海集聚了全國最多的智能芯片創(chuàng )新企業(yè)，近年已有30多款AI訓練芯片、AI推理芯片、車(chē)載芯片點(diǎn)亮，這些積累為通用大模型發(fā)展和落地普及打下了算力基礎。*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
