從AGI 到互聯(lián)技術(shù)元年，重塑算力世界秩序

ChatGPT 誕生一年后，以Sora為代表的 AGI 實(shí)現突破性進(jìn)展，再度引爆了高性能計算市場(chǎng)。面對以天為單位飛速迭代的算力需求，以及單個(gè)處理器性能的增長(cháng)困境（Scale up），促使企業(yè)轉向擴展計算集群規模，踏上Scale out 之路。從此，行業(yè)所面臨的核心挑戰也從“單個(gè)芯片-集群”，“算力-互聯(lián)”轉變。伴隨AGI的誕生，互聯(lián)元年同步開(kāi)啟。

2024年3月5日，互聯(lián)領(lǐng)域先行者奇異摩爾在“奇芯合粒 異往無(wú)前”2024春季發(fā)布會(huì )上正式推出了基于 Kiwi SoChiplet Platform 的全系列互聯(lián)產(chǎn)品及全棧式互聯(lián)解決方案。該系列產(chǎn)品包含“高性能互聯(lián)芯粒IO Die、高性能互聯(lián)底座 Kiwi 3D Base Die、UCIe 標準 Die2Die IP以及網(wǎng)絡(luò )加速芯粒NDSA Family”，全面覆蓋片內、片間直至網(wǎng)間的互聯(lián)場(chǎng)景?；?/span>IO Die，奇異摩爾及合作伙伴Ventana宣布共同推出了全球首款服務(wù)器級的RISC-V CPU；同時(shí)，奇異摩爾也基于Base Die發(fā)布了全球首款3DIC AI芯片“AI Booster”。

UCIe Board member 陳健在發(fā)布會(huì )上表示 “在Deep Learning、大模型時(shí)代激增的算力需求、摩爾定律放緩、封裝技術(shù)演進(jìn)”等多種因素的共同作用下，Chiplet和IO Die為代表的互聯(lián)芯粒因在良率、先進(jìn)制程解耦、復用能力等方面所顯示出的優(yōu)勢，成為了歷史的選擇。基于Chiplet架構和通用互聯(lián)標準，一個(gè)開(kāi)放性、跨公司、支持規?；瘡陀玫摹柏浖苄酒?/span>”市場(chǎng)正逐步成為全行業(yè)的愿景。

這一愿景依賴(lài)于模型創(chuàng )新和無(wú)盡的算力需求。如今，從微軟到谷歌，從阿里到字節跳動(dòng)，萬(wàn)卡集群儼然成為大模型訓練的標配。想支撐更大的模型，算力基礎設施和生產(chǎn)方式必須同步轉變。首先，異構加速和超大規模平臺，使更大規模的集群設計成為可能；其次，想通過(guò)Scale Out方式提升集群算力，必須從網(wǎng)絡(luò )層面著(zhù)手，互聯(lián)三要素 “Bandwidth, Efficiency, Workload”缺一不可。

在網(wǎng)絡(luò )側，奇異摩爾自研的高性能網(wǎng)絡(luò )加速芯粒Kiwi NDSA（Network Domain Specific Accelerator）系列，內建RoCE V2 高性能 RDMA (Remote Direct Memory Access) 和數十種卸載/加速引擎，可作為獨立芯粒，實(shí)現系統不同位置的加速。同時(shí)，通過(guò)硬件可配置，軟件可編程的靈活軟硬件架構，能夠滿(mǎn)足客戶(hù)對復雜業(yè)務(wù)場(chǎng)景的多樣化需求。得益于Chiplet、RISC-V和FPGA的靈活組合，Kiwi NDSA 出色的平衡了通用與專(zhuān)用，性能和成本間的矛盾。

據奇異摩爾產(chǎn)品及解決方案副總裁?？|介紹，奇異摩爾NDSA家族產(chǎn)品之一，“NDSA-RN-F” 將于近期問(wèn)世。作為全球首批200/400G的高性能FPGA RDMA網(wǎng)卡，“NDSA-RN-F”具備極高的集群擴展能力，可以大幅提升集群節點(diǎn)間的東西向流量交互效率，使得更大規模的集群設計成為可能。同時(shí)擁有us級超低延時(shí)，支持約數十 MQP高并發(fā)，性能遠超同類(lèi)FPGA產(chǎn)品，并媲美全球標桿 ASIC產(chǎn)品。

NDSA家族產(chǎn)品之二，全球首款支持800G帶寬的RDMA NIC Chiplet產(chǎn)品 “NDSA-RN”。其性能更為強勁，除帶寬升級到800G之外，延時(shí)也降至ns級，并支持數十GB的超大規模數據包，性能將超越目前全球標桿ASIC產(chǎn)品。

網(wǎng)間互聯(lián)的瓶頸與痛點(diǎn)，并非為云服務(wù)廠(chǎng)商獨有。存算一體的環(huán)境中，互聯(lián)芯粒能有效提升系統性能、集成度、可擴展性和可靠性。億鑄科技副總裁李明表示，AI大算力芯片競爭核心正逐漸轉向 “存儲、算力，破除墻”等挑戰。存算一體在破除“存儲墻”方面具有先天優(yōu)勢。億鑄致力于結合存算一體+Chiplet芯粒優(yōu)勢，在A(yíng)I算力芯片產(chǎn)業(yè)格局的基礎上，貢獻更具性?xún)r(jià)比、能效比、算力發(fā)展空間的AI大算力芯片發(fā)展新路徑。

芯片間互聯(lián)場(chǎng)景，受AI等各類(lèi)大算力場(chǎng)景的驅動(dòng)，計算架構將從異構計算進(jìn)一步走向多種異構融合的超異構并行計算，片間互聯(lián)瓶頸進(jìn)一步凸顯。NDSA家族產(chǎn)品之三，奇異摩爾自研的全球首創(chuàng )GPU Link Chiplet “NDSA-G2G”，通過(guò)RDMA和D2D技術(shù)，在芯片間搭建了高速數據交換網(wǎng)絡(luò )，可實(shí)現近TB/s的超高速數據傳輸，其性能達到全球領(lǐng)先水平，滿(mǎn)足AI芯片對于片間交換不斷增長(cháng)的需求。

Die間互聯(lián)：Die-to-Die IP

Die間互聯(lián)領(lǐng)域，奇異摩爾宣布將正式發(fā)布全球首批支持 UCIe V1.1 的 Die2Die IP “Kiwi-Link”，互聯(lián)速度高達 32GT/s，延時(shí)低至數nS。全面支持UCIe、CXL、Streaming等主流協(xié)議，即插即用；同時(shí)支持標準封裝/先進(jìn)封裝等多種封裝形態(tài)。

“為達到貨架芯粒的愿景，開(kāi)放互通的D2D標準是關(guān)鍵因素” ，陳健介紹，UCIe 最新1.1標準在1.0標準基礎上進(jìn)行了全方面的升級，其中包括汽車(chē)行業(yè)增強特性，全棧流協(xié)議，封裝成本優(yōu)化和測試認證。作為構建開(kāi)放芯粒生態(tài)的標準組織，UCIe 將通過(guò)各方面的努力促成Chiplet生態(tài)的發(fā)展和成熟。

微觀(guān)層面，在摩爾定律放緩背景下，為持續提升單個(gè)芯片設計規模及能效，片內互聯(lián)技術(shù)創(chuàng )造了新的工程成就。作為發(fā)布會(huì )的亮點(diǎn)，首次登臺亮相的 Kiwi SoChiplet Platform 是奇異摩爾所發(fā)布這一系列互聯(lián)產(chǎn)品的基礎。其基于高性能互聯(lián)網(wǎng)絡(luò )Kiwi Fabric，可高效連接、調度海量高速節點(diǎn)，實(shí)現多Die間高帶寬、低延時(shí)的互聯(lián)。

?？|介紹：Kiwi SoChiplet Platform在支持芯粒數量、CPU Core、Die2Die帶寬、Memory 帶寬、Ext Interface 等關(guān)鍵指標方面，均達到國際領(lǐng)先水平?；谠撈脚_，客戶(hù)可以輕松構建多樣化的產(chǎn)品線(xiàn)，實(shí)現連接計算和存儲/連接的分離，以相對低的成本使產(chǎn)品及性能持續保持國際領(lǐng)先水準。

全球首款數據中心級，通用互聯(lián)芯粒Kiwi IO Die

從Kiwi SoChiplet Platform 出發(fā)，奇異摩爾推出了全球首款數據中心級通用互聯(lián)芯粒 Kiwi IO Die，內部集成了如D2DDDRPCIeCXL等大量存儲、互聯(lián)接口?？蛻?hù)可以根據企業(yè)自身需求，圍繞IO Die，輕松搭建低/中/高性能的數據中心處理器。該平臺最高支持10+Chiplets、構建高達192 core CPU或1000T GPU的算力平臺。

發(fā)布會(huì )上，奇異摩爾及高性能RISC-V領(lǐng)域的領(lǐng)導者 Ventana Micro公開(kāi)展示了基于Kiwi IO Die的應用方案。雙方以遠低于傳統 SoC 構建的時(shí)間和成本創(chuàng )建了一款高性能數據中心級RISC-V處理器，并就此打造了RISC-V CPU Chiplet Platform，實(shí)現了RISC-V與互聯(lián)技術(shù)組合的跨越性一步。

在本次發(fā)布的RISC-V CPU Chiplet中，計算單元部分，即Ventana Veyron V2處理器，在其前身V1基礎上進(jìn)行了重大升級，提供更好的Performance/W。每個(gè)芯粒包括32個(gè)核心，多顆芯?；赾hiplet架構，通過(guò)UCIe接口，連接到奇異摩爾提供的高性能IO Die上，實(shí)現最高192個(gè)內核，支持包括奇異摩爾NDSA在內的多種領(lǐng)域加速器。

Ventana創(chuàng )始人兼CEO Balaji Baktha表示：Ventana 和奇異摩爾共同建立了一個(gè)可擴展架構，可將多個(gè)Ventana Veyron V2 與 奇異摩爾 的I/O Die組成不同配置的SoC，從而獲得功率、成本和SKU優(yōu)化。這種方案不僅提高了靈活性，允許用戶(hù)根據需要調整AI應用的規模和性能，也能有效避免對單一供應商的依賴(lài)，使客戶(hù)在競爭激烈的市場(chǎng)中脫穎而出。

“RISC-V和Chiplet的目標同為構建一個(gè)成本更加低廉，更加普惠的算力世界，二者的組合充滿(mǎn)想象力，將會(huì )塑造全新的商業(yè)形態(tài)?！?陳健就此表示。

Kiwi 3D Base Die，為Edge AI提速

隨著(zhù)大模型發(fā)展，推理需求不斷增長(cháng)。根據 OpenAI 論文：Scaling Laws for Neural Language Models 測算，Sora 推理算力需求是 GPT-4 的 1000 倍以上。為應對不斷飛漲的推理需求，在片內，互聯(lián)趨勢已從2.5D擴展至3D層面。奇異摩爾全球首款通用高性能互聯(lián)底座 Kiwi 3D Base Die，實(shí)現了通用互聯(lián)芯粒在帶寬、能效、搭載芯片數量等多方面的突破性進(jìn)展。

Kiwi 3D Base Die具有極高的互聯(lián)密度，通過(guò)3D D2D、PCIe等高速接口，能夠以20%的功耗實(shí)現8倍于2.5D結構的互聯(lián)密度；其具備卓越的通用性和靈活性，最高可實(shí)現16顆算力芯粒堆疊，并可通過(guò)高速外部接口連接不同的Host SoC單元，充分利用客戶(hù)現有硬件資源；同時(shí)集成了大容量3D Cache，在真正意義上將存儲、計算、互聯(lián)功能整合為一體。

根據自身需求，客戶(hù)無(wú)需流片，只需在Base Die上封裝不同數目的算力芯粒，外接HBM，即可快速形成應對不同場(chǎng)景的高性能芯片，特別適用于覆蓋多個(gè)細分垂直市場(chǎng)的企業(yè)。

基于3D Base Die，奇異摩爾面向Edge AI，正式推出了全球首款通用3DIC Chiplet “AI Booster”，將32顆存算一體芯粒單元整合在一起，通過(guò)底層的Base Die進(jìn)行垂直互聯(lián)，從而實(shí)現性能和靈活性的完美兼容。 

針對AI Booster設計方面的經(jīng)驗，奇異摩爾封裝與運營(yíng)總監徐健表示，Chiplet 設計可以理解為Die-interposer-Package協(xié)同設計的結果。不同于傳統的封裝設計，Chiplet的設計更為復雜，需要從系統層面定義好整體設計思路，包括架構、片內互聯(lián)方式、封裝結構和工藝等，并需要架構、電路、封裝設計和工藝團隊的緊密配合。

當然，Chiplet作為一種新的設計方式，離不開(kāi)專(zhuān)業(yè)EDA工具的支持。芯和半導體聯(lián)合創(chuàng )始人代文亮博士表示，奇異摩爾本次發(fā)布的多個(gè)2.5D/3DIC產(chǎn)品為例，其設計正是基于芯和3DIC Chiplet 設計仿真EDA平臺，從架構探索、物理實(shí)現、分析驗證、信號完整性仿真、電源完整性仿真到最終簽核的全流程解決方案，極大地提高 了芯片設計的迭代速度，最終實(shí)現了如此出色的產(chǎn)品。

為實(shí)現更高密度的底層互聯(lián)，先進(jìn)封裝技術(shù)也被賦予了新的、更高的期待。長(cháng)電科技創(chuàng )新中心總經(jīng)理宗華博士表示，異構集成已成為高性能計算領(lǐng)域的主流趨勢。2.5D/3D先進(jìn)封裝技術(shù)有力的推動(dòng)了高性能計算發(fā)展。長(cháng)電科技目前推出了XDFO-Organic，XDFOI-Bridge，XDFOI-TSV三種先進(jìn)封裝方案，其中，性?xún)r(jià)比最高的方案為XDFOI-Bridge，可以通過(guò)先進(jìn)封裝技術(shù)把各種功能單元集成在一起，形成一個(gè)高性能的超異構系統，助力高性能計算未來(lái)。

奇異摩爾研發(fā)副總裁溫德鑫在發(fā)布會(huì )現場(chǎng)介紹了奇異摩爾的2.5D/3D design Platform。該平臺由奇異摩爾和UMC等產(chǎn)業(yè)鏈伙伴合作打造，全面涵蓋從系統探索、規劃，2.5D/3D 設計驗證，生產(chǎn)和驗證，量產(chǎn)管理的Chiplet方案?？蛻?hù)可以基于該平臺，迅速設計、驗證、量產(chǎn)、加速上市時(shí)間。

奇異摩爾創(chuàng )始人兼CEO田陌晨表示，Scaling 已成為全行業(yè)關(guān)注的焦點(diǎn)。無(wú)論自然界還是人工智能，在scaling 中，個(gè)體間的交流、互聯(lián)都是促成從量變到質(zhì)變的核心。

系統總算力，由算力、算力密度、互聯(lián)帶寬、IO帶寬、存儲帶寬共同決定?；ヂ?lián)是唯一無(wú)法通過(guò)Scaling 提升的參數。奇異摩爾作為一家專(zhuān)注于互聯(lián)技術(shù)的企業(yè)，致力于通過(guò)互聯(lián)技術(shù)的創(chuàng )新，提升互聯(lián)密度的壁壘，助力AGI 時(shí)代技術(shù)語(yǔ)言統一的可能性，與眾合作伙伴，共同建造AGI 時(shí)代的巴別塔。