Rambus高速GDDR6 PHY打通AI應用的數據瓶頸

幾年前當AI剛開(kāi)始流行之時(shí)，很多人預測AI應用最大的瓶頸將是存儲器的讀取和寫(xiě)入速度，這會(huì )嚴重影響訓練和推斷的效率，以及做出相應反饋的速度。特別是2023年以來(lái)，以ChatGPT為代表的生成式AI讓人們看到了智能世界的無(wú)限可能，而如何有效地采集、存儲、傳輸、處理數據和模型則成為實(shí)現高質(zhì)量AI的關(guān)鍵，這就需要高速傳輸技術(shù)的革新。

無(wú)論是云端AI訓練還是向網(wǎng)絡(luò )邊緣轉移的AI推理，都需要高帶寬、低時(shí)延的內存。鑒于GPU已經(jīng)成為目前人工智能訓練和推理中的核心處理單元，邁向高性能GDDR6內存接口已是大勢所趨。近日，半導體IP和芯片供應商Rambus推出業(yè)界領(lǐng)先24Gb/s GDDR6 PHY，致力于通過(guò)進(jìn)一步提升傳輸速度解決AI訓練和推理面臨的存儲焦慮問(wèn)題。

Rambus致力于使數據傳輸更快更安全，關(guān)注產(chǎn)品的產(chǎn)品和方案的易用性，通過(guò)一站式的解決方案以及完善的服務(wù)機制，使產(chǎn)品方案變得更容易在客戶(hù)端集成使用。產(chǎn)品方面，Rambus的內存接口芯片不斷提高數據中心內存模塊的速度和容量，數據安全方面，Rambus有著(zhù)豐富的安全IP產(chǎn)品線(xiàn)，對用于靜態(tài)數據和動(dòng)態(tài)數據安全保護都有專(zhuān)門(mén)的產(chǎn)品方案，包括安全信任和MACsec和Ipsec等等，整體來(lái)說(shuō)，Rambus的產(chǎn)品應用領(lǐng)域聚焦于服務(wù)器、主內存、智能網(wǎng)卡、網(wǎng)絡(luò )服務(wù)和交換機，以及面向未來(lái)的內存擴展和池化等市場(chǎng)?！癈hatGPT等AIGC應用與我們公司的產(chǎn)品組合是非常契合的?！盧ambus大中華區總經(jīng)理蘇雷說(shuō)，他特別談到于中國市場(chǎng)，中國目前AI應用和部署走在世界前列，Rambus希望更多、更緊密地支持中國公司在A(yíng)I產(chǎn)業(yè)的發(fā)展，“Rambus面對中國客戶(hù)的需求，有最好的技術(shù)、最快的響應和最好的技術(shù)支持來(lái)服務(wù)中國市場(chǎng)?！?

Rambus GDDR6 PHY以及控制器的配套產(chǎn)品，可以實(shí)現業(yè)界領(lǐng)先的24Gb/s數據傳輸速率，作為全新的一個(gè)行業(yè)標桿，將為AI推理等應用場(chǎng)景帶來(lái)巨大性能優(yōu)勢和收益。除性能之外，該組合另一大優(yōu)勢是對功耗的管理。當設備在高速和高帶寬環(huán)境下運行時(shí)，良好的功耗管理非常重要。

在系統層面設計的考量方面，如果要確保系統在24Gb/s環(huán)境下運行，需要良好的系統級信號完整性。Rambus信號完整性的工程師，也會(huì )與客戶(hù)進(jìn)行非常緊密的從設計初期開(kāi)始的合作，能夠確?？蛻?hù)運行系統的時(shí)候達到最高的性能。另外，Rambus提供的產(chǎn)品已經(jīng)實(shí)現了PHY以及控制器的完整集成。在客戶(hù)收到產(chǎn)品之后，可以直接對這些子系統進(jìn)行定制化應用。

Rambus IP核產(chǎn)品營(yíng)銷(xiāo)高級總監Frank Ferro介紹，AI推理應用對帶寬的需求通常在200到500Gb/s的范圍之間波動(dòng)，每一個(gè)GDDR6設備的帶寬都可以達到96Gb/s，因此通過(guò)將4-5個(gè)GDDR6設備組合在一起，就能輕松滿(mǎn)足500Gb/s及以下的帶寬需求。如果用到一個(gè)HBM3設備，基本上會(huì )把這個(gè)帶寬需求的數字翻倍，能夠達到接近800Gb/s的帶寬，而這超過(guò)了AI推理本身所需要的400到500Gb/s帶寬，會(huì )使成本增加3~4倍。在這種條件下，HBM并非一個(gè)經(jīng)濟高效的選擇，GDDR6則是一個(gè)更好的替代。他特別建議按需選擇HBM或是GDDR6內存，對于對高帶寬和低延遲有很高要求的AI訓練場(chǎng)景，HBM可能是更好的選擇；對于需要更大容量、更高帶寬的AI推理場(chǎng)景，GDDR6會(huì )是更合適的選擇。

Rambus的產(chǎn)品實(shí)現了PHY和控制器的完整集成，其內存接口系統包括PHY物理層、控制器、DRAM和客戶(hù)端ASIC，其中，PHY的物理層與DRAM直接相連，接口由兩個(gè)16位插槽組成，共32位，另一側的DFI接口與內存控制器連接，控制器會(huì )直接接入整個(gè)系統的邏輯控制。Rambus會(huì )提供下圖中的藍色部分——即完整的子系統（與Rambus GDDR6數字控制器IP相結合），使得客戶(hù)可以根據場(chǎng)景所需進(jìn)行定制化使用。此外，Rambus可以保障良好的系統級信號完整性和電源完整性（SI/PI），并且支持LabStation開(kāi)發(fā)環(huán)境，能夠快速建立系統，進(jìn)行特性分析和調試。

如今，GDDR在A(yíng)I/ML場(chǎng)景（如AI推理等）中有著(zhù)廣泛的使用，還會(huì )應用于圖形計算、網(wǎng)絡(luò )等場(chǎng)景。與DDR相比，GDDR在帶寬、速度、功耗等方面有著(zhù)顯著(zhù)優(yōu)勢，吸引了更多的客戶(hù)將其結合到各類(lèi)先進(jìn)設計中。作為系統級解決方案的一部分，Rambus GDDR6可以為AI/ML、圖形和網(wǎng)絡(luò )應用提供高效益、高帶寬、低延遲的內存接口解決方案。同時(shí)，RambusGDDR6 PHY還有著(zhù)更優(yōu)的功耗管理表現。

Rambus通過(guò)領(lǐng)先的高性能內存和互聯(lián)解決方案以及硬件級安全，支持下一代數據中心的發(fā)展。其產(chǎn)品應用領(lǐng)域聚焦于服務(wù)器主內存、人工智能和網(wǎng)絡(luò )加速器、智能網(wǎng)卡、網(wǎng)絡(luò )存儲、網(wǎng)絡(luò )交換機以及內存擴展和池化等。蘇雷介紹，Rambus有著(zhù)豐富的接口IP產(chǎn)品組合，同時(shí)也提供像DDR、LPDDR以及HBM等產(chǎn)品，并非常關(guān)注SerDes產(chǎn)品的開(kāi)發(fā)，主要聚焦于PCIe和CXL接口，會(huì )開(kāi)發(fā)配套的PHY及控制器。Rambus的HBM產(chǎn)品擁有領(lǐng)先的市占率，同時(shí)其HBM3產(chǎn)品已經(jīng)能夠提供高達8.4Gbps/s的數據傳輸速率。