英偉達H200帶寬狂飆！HBM3e/HBM3時(shí)代即將來(lái)臨

當地時(shí)間11月13日，英偉達（NVIDIA）宣布推出NVIDIA HGX? H200，旨為世界領(lǐng)先的AI計算平臺提供強大動(dòng)力，將于2024年第二季度開(kāi)始在全球系統制造商和云服務(wù)提供商處提供。

H200輸出速度約H100的兩倍

據介紹，NVIDIA H200是基于NVIDIA Hopper?架構，配備具有高級內存的NVIDIA H200 Tensor Core GPU，可處理海量數據，用于生成式AI和高性能計算工作負載。

圖片來(lái)源：英偉達

與H100相比，NVIDIA H200對Llama2模型的推理速度幾乎翻倍。據悉，基于Meta的Llama 2大模型的測試表明，H200的輸出速度大約是H100的兩倍。

英偉達表示，H200還能與已支援H100的系統相容。也就是說(shuō)，已經(jīng)使用先前模型進(jìn)行訓練的AI公司將無(wú)需更改其服務(wù)器系統或軟件即可使用新版本。英偉達服務(wù)器制造伙伴包括永擎、華碩、戴爾、Eviden、技嘉、HPE、鴻佰、聯(lián)想、云達、美超微、緯創(chuàng )資通以及緯穎科技，均可以使用H200更新現有系統，而亞馬遜、Google、微軟、甲骨文等將成為首批采用H200的云端服務(wù)商。

不過(guò)，英偉達暫時(shí)并未透露該產(chǎn)品價(jià)格。據國外媒體《CNBC》報道，英偉達上一代H100價(jià)格估計為每個(gè)2.5萬(wàn)美元至4萬(wàn)美元。英偉達發(fā)言人Kristin Uchiyama透露稱(chēng)，最終定價(jià)將由NVIDIA制造伙伴制定。

隨著(zhù)ChatGPT等推動(dòng)AI應用發(fā)展，NVIDIA芯片被視為高效處理大量資料和訓練大型語(yǔ)言模型的關(guān)鍵芯片，當下市場(chǎng)供不應求，產(chǎn)量問(wèn)題成為業(yè)界關(guān)注的重點(diǎn)。

據《金融時(shí)報》8月報道指出，NVIDIA計劃在2024年將H100產(chǎn)量成長(cháng)三倍，產(chǎn)量目標將從2023年約50萬(wàn)個(gè)增加至2024年200萬(wàn)個(gè)。

關(guān)于H200的推出是否會(huì )影響上一代H100的生產(chǎn)，Kristin Uchiyama指出，未來(lái)全年的整體供應量還將有所增加。

HBM3e/HBM3時(shí)代將至

值得一提的是，此次英偉達發(fā)布的H200是首次采用HBM3e存儲器規格，使GPU存儲器帶寬從H100的每秒3.35TB提高至4.8TB，提高1.4倍，存儲器總容量也從H100的80GB提高至141GB，容量提高1.8倍。

此外，據媒體引述業(yè)內人士稱(chēng)，三星電子計劃從明年1月開(kāi)始向英偉達供應高帶寬內存HBM3，HBM3將被應用在英偉達的圖形處理單元（GPU）上。

“整合更快、更廣泛的HBM存儲器有助于對運算要求較高的任務(wù)提升性能，包括生成式AI模型和高性能運算應用程式，同時(shí)優(yōu)化GPU使用率和效率”英偉達高性能運算產(chǎn)品副總裁Ian Buck表示。

近年來(lái)，AI服務(wù)器需求熱潮帶動(dòng)了AI加速芯片需求，其中高頻寬存儲器——HBM，成為加速芯片上的關(guān)鍵性DRAM產(chǎn)品。以規格而言，據TrendForce集邦咨詢(xún)研究指出，當前HBM市場(chǎng)主流為HBM2e，包含NVIDIA A100/A800、AMD MI200以及多數CSPs自研加速芯片皆以此規格設計。同時(shí)，為順應AI加速器芯片需求演進(jìn)，各原廠(chǎng)計劃于2024年推出新產(chǎn)品HBM3e，預期HBM3與HBM3e將成為明年市場(chǎng)主流。

近期，三星、美光等存儲大廠(chǎng)正在不斷加快擴產(chǎn)步伐。據此前媒體報道，為了擴大HBM產(chǎn)能，三星已收購三星顯示（Samsung Display）韓國天安廠(chǎng)區內部分建筑及設備，用于HBM生產(chǎn)。三星計劃在天安廠(chǎng)建立一條新封裝線(xiàn)，用于大規模生產(chǎn)HBM，該公司已花費105億韓元購買(mǎi)上述建筑和設備等，預計追加投資7000億-1萬(wàn)億韓元。 

而美光科技位于臺灣地區的臺中四廠(chǎng)于11月初正式啟用。美光表示，臺中四廠(chǎng)將整合先進(jìn)探測與封裝測試功能，量產(chǎn)HBM3E及其他產(chǎn)品，從而滿(mǎn)足人工智能、數據中心、邊緣計算及云端等各類(lèi)應用日益增長(cháng)的需求。該公司計劃于2024年初開(kāi)始大量出貨HBM3E。

從HBM不同世代需求比重來(lái)看，據TrendForce集邦咨詢(xún)表示，2023年主流需求自HBM2e轉往HBM3，需求比重分別預估約是50%及39%。隨著(zhù)使用HBM3的加速芯片陸續放量，2024年市場(chǎng)需求將大幅轉往HBM3，而2024年將直接超越HBM2e，比重預估達60%，且受惠于其更高的平均銷(xiāo)售單價(jià)（ASP），將帶動(dòng)明年HBM營(yíng)收顯著(zhù)成長(cháng)。

TrendForce集邦咨詢(xún)此前預估，由于HBM3平均銷(xiāo)售單價(jià)遠高于HBM2e與HBM2，故將助力原廠(chǎng)HBM領(lǐng)域營(yíng)收，可望進(jìn)一步帶動(dòng)2024年整體HBM營(yíng)收至89億美元，年增127%。