全球HBM戰局打響！

AI服務(wù)器浪潮席卷全球，帶動(dòng)AI加速芯片需求。DRAM關(guān)鍵性產(chǎn)品HBM異軍突起，成為了半導體下行周期中逆勢增長(cháng)的風(fēng)景線(xiàn)。業(yè)界認為，HBM是加速未來(lái)AI技術(shù)發(fā)展的關(guān)鍵科技之一。

近期，HBM市場(chǎng)動(dòng)靜不斷。先是SK海力士、美光科技存儲兩大廠(chǎng)釋出2024年HBM產(chǎn)能售罄。與此同時(shí)，HBM技術(shù)再突破、大客戶(hù)發(fā)生變動(dòng)、被劃進(jìn)國家戰略技術(shù)之一...一時(shí)間全球目光再度聚焦于HBM。

1
HBM：三分天下

HBM（全稱(chēng)為High Bandwidth Memory），是高帶寬存儲器，是屬于圖形DDR內存的一種。從技術(shù)原理上講，HBM是將很多個(gè)DDR芯片堆疊在一起后，再和GPU封裝合成，通過(guò)增加帶寬，擴展內存容量，組成DDR組合陣列，以此實(shí)現讓更大的模型、更多的參數留在離核心計算更近的地方，從而減少內存和存儲解決方案所帶來(lái)的延遲。

圖片來(lái)源：SK海力士官網(wǎng)

通俗來(lái)講，傳統DDR內存芯片是一層平房結構，具備HBM結構的內存是現代化的摩天大樓，在占地面積不變的基礎上，向三維高度發(fā)展。

與傳統DRAM芯片相比，HBM具有高帶寬、高容量、低延時(shí)與低功耗等優(yōu)勢，可以加快AI數據處理速度。業(yè)界指出，HBM可以將專(zhuān)用數據處理器直接集成在DRAM中，將部分數據計算工作從主機處理器轉移到存儲器當中，從而滿(mǎn)足AI芯片訓練的高寬帶要求，也因此更適用于ChatGPT等高性能計算場(chǎng)景。

目前，HBM市場(chǎng)高度集中，呈現三足鼎立的態(tài)勢。此前據TrendForce集邦咨詢(xún)研究顯示，2022年三大原廠(chǎng)HBM市占率分別為SK海力士（SK hynix）50%、三星（Samsung）約40%、美光（Micron）約10%。

圖片來(lái)源：拍信網(wǎng)

從技術(shù)迭代上看，自2014年全球首款硅通孔（TSV, Through Silicon Via）HBM產(chǎn)品問(wèn)世以來(lái)，HBM已經(jīng)從HBM、HBM2、HBM2E，發(fā)展至被業(yè)界認為即將成為市場(chǎng)主流的HBM3、HBM3E。未來(lái)或將到達HBM4，甚至HBM4E。

圖表來(lái)源：全球半導體觀(guān)察制表

2
大廠(chǎng)沖鋒，HBM3E扛技術(shù)大旗

從存儲大廠(chǎng)HBM布局路線(xiàn)來(lái)看，率先走在起跑線(xiàn)上的是SK海力士。2013年，SK海力士與AMD合作開(kāi)發(fā)了全球首款HBM。作為領(lǐng)跑者，SK海力士不負眾望陸續成功研發(fā)出HBM迭代產(chǎn)品HBM2、HBM2E、HBM3、HBM3E。該公司計劃在2024年上半年將HBM3E投入量產(chǎn)。

三星則從HBM2起跑，雖是后起之軍，卻也不堪落后。三星于2016年推出HBM2，2020年2月HBM2E，2021年2月推出了HBM-PIM（存算一體），實(shí)現內存半導體和AI處理器合二為一，其HBM3也于2020年量產(chǎn)。今年2月27日三星發(fā)布了首款36GB HBM3E 12H DRAM，這是三星目前為止容量最大的HBM產(chǎn)品。目前，三星已開(kāi)始向客戶(hù)提供HBM3E 12H樣品，預計于今年下半年開(kāi)始大規模量產(chǎn)。

另一大廠(chǎng)美光科技開(kāi)始出擊，該公司選擇跳過(guò)第四代HBM3，直接布局第五代HBM3E。美光于2023年9月推出HBM3E，并于今年2月26日宣布已開(kāi)始批量生產(chǎn)HBM3E解決方案。其中24GB 8-High HBM3E將成為NVIDIA H200 Tensor Core GPU的一部分，該GPU將于 2024 年第二季度開(kāi)始發(fā)貨；而36GB 12-High HBM3E樣品擴大了其領(lǐng)先地位，與競爭解決方案相比，該產(chǎn)品預計將提供超過(guò)1.2 TB/s的性能。

圖表來(lái)源：全球半導體觀(guān)察制表

從規格上看，目前HBM市場(chǎng)主流為HBM2E，包含NVIDIA A100/A800、AMD MI200以及多數CSPs自研加速芯片皆以此規格設計。不過(guò)隨著(zhù)各大原廠(chǎng)不斷加速突破技術(shù)堡壘，業(yè)界稱(chēng)未來(lái)HBM3與HBM3E將挑起大梁。

TrendForce集邦咨詢(xún)預估，2024年HBM供給情況可望大幅改善。以規格而言，伴隨AI芯片需要更高的效能，HBM主流也將在2024年移轉至HBM3與HBM3E。整體而言，在需求位元提高以及HBM3與HBM3E平均銷(xiāo)售價(jià)格高于前代產(chǎn)品的情形下，2024年HBM營(yíng)收可望有顯著(zhù)的成長(cháng)。

此外，關(guān)于業(yè)界十分關(guān)心的HBM4問(wèn)題，據TrendForce集邦咨詢(xún)預計，HBM4有望于2026年推出。目前包含NVIDIA以及其他CSP（云端業(yè)者）在未來(lái)的產(chǎn)品應用上，規格和效能將更優(yōu)化。例如，隨著(zhù)客戶(hù)對運算效能要求的提升，HBM4在堆棧的層數上，除了現有的12hi (12層)外，也將再往16hi (16層)發(fā)展，更高層數也預估帶動(dòng)新堆棧方式hybrid bonding的需求。HBM4 12hi產(chǎn)品將于2026年推出；而16hi產(chǎn)品則預計于2027年問(wèn)世。

3
大頭客戶(hù)策略有變，或牽動(dòng)HBM

AI模型復雜化正推動(dòng)HBM發(fā)展。從應用領(lǐng)域看，HBM主要應用領(lǐng)域AI服務(wù)器在單條模組上則多采用64~128GB，平均容量可達1.2~1.7TB之間。TrendForce集邦咨詢(xún)認為，相較于一般服務(wù)器而言，AI服務(wù)器多增加GPGPU的使用，因此以NVIDIA A100 80GB配置4或8張計算，HBM用量約為320~640GB。未來(lái)在A(yíng)I模型逐漸復雜化的趨勢下，將刺激更多的存儲器用量，并同步帶動(dòng)Server DRAM、SSD以及HBM的需求成長(cháng)。并預期A(yíng)I服務(wù)器2023~2027年出貨量年復合成長(cháng)率約12.2%。

從大頭客戶(hù)產(chǎn)品規格來(lái)看，AI服務(wù)器GPU市場(chǎng)中配備了HBM的主要以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主。展望2024年，英偉達的產(chǎn)品所采用的HBM將升級至HBM3E，此外新一代B100產(chǎn)品將進(jìn)一步拉升市場(chǎng)對HBM的容量需求；AMD產(chǎn)品仍采用HBM3，預計下一代MI350將升級為HBM3E；而英特爾產(chǎn)品仍將使用HBM2E。

具體來(lái)看，自去年發(fā)酵至今，HBM市場(chǎng)仍舊火熱，而上游關(guān)鍵客戶(hù)英偉達的H100與200依舊是市面上最搶手的GPU產(chǎn)品。據TrendForce集邦咨詢(xún)最新預估，以2024年全球主要云端服務(wù)業(yè)者（CSP）對高端AI服務(wù)器（包含搭載NVIDIA（英偉達）、AMD或其他高端ASIC芯片等）需求量觀(guān)察，搭載NVIDIA GPU的AI服務(wù)器機種占大宗。

根據去年11月底TrendForce集邦咨詢(xún)的研究數據顯示，2023年，NVIDIA高端AI芯片（采用HBM）既有產(chǎn)品包括A100/A800以及H100/H800，2024年該公司將再推出使用6顆HBM3E的H200以及8顆HBM3E的B100，并同步整合NVIDIA自家基于A(yíng)rm架構的 CPU與GPU，推出GH200以及GB200。

TrendForce集邦咨詢(xún)最新研究指出，NVIDIA 2024年起將正式替換A100產(chǎn)品，而以?xún)r(jià)格更高的H100系列為主軸。除H100，預估自今年第二季末開(kāi)始小量出貨搭載更高HBM3E規格的H200產(chǎn)品。另預估NVIDIA未來(lái)在價(jià)格上將更積極采差別訂價(jià)，H100采部分折價(jià)策略，H200應維持約H100原價(jià)格水位，以提供更高性?xún)r(jià)比方式，穩固云端CSP客戶(hù)。除此之外，NVIDIA將采用NRE（一次性工程費用；Non-recurring engineering Expense）模式，與Meta、Google、AWS及OpenAI等廠(chǎng)商展開(kāi)洽談，并將目標擴及電信、車(chē)用及電競客戶(hù)。

TrendForce集邦咨詢(xún)預期，NVIDIA自2024年下半年將推出新一代B100產(chǎn)品，相較H系列可望在效能上又有所提升，在HBM存儲器容量將高出H200約35~40%，以應對更高效能HPC或加速LLM AI訓練需求。而在中低端產(chǎn)品上，除L40S針對企業(yè)客戶(hù)做邊緣端較小型AI模型訓練或AI推理外，另亦規劃以L(fǎng)4取代既有T4，作為云端或邊緣AI推理應用。

值得注意的是，為避免2023年GPU供應不足問(wèn)題，NVIDIA亦積極參與CoWoS及HBM等擴建產(chǎn)能需求，預期今年第二季在相關(guān)原廠(chǎng)產(chǎn)能逐步開(kāi)出后，原交付Lead Time平均約40周也將減半，逐步去除下游供應鏈因GPU短缺而使AI服務(wù)器供應進(jìn)度受阻問(wèn)題。

在A(yíng)MD和Intel方面，TrendForce集邦咨詢(xún)此前指出，AMD 2024年出貨主流為MI300系列，采用HBM3，下一代MI350將采用HBM3E，預計2024下半年開(kāi)始進(jìn)行HBM驗證，實(shí)際看到較明顯的產(chǎn)品放量（Ramp Up）時(shí)間預估應為2025年第一季。Intel Habana 2022下半年推出的Gaudi 2采用6顆HBM2E，2024年中預期在新型號Gaudi 3持續采取HBM2E，但將用量升級至8顆。

4
列為國家戰略，韓國重點(diǎn)發(fā)力

存儲器是韓國的支柱型產(chǎn)業(yè)之一，2024年AI浪潮更順勢拉動(dòng)了HBM的市場(chǎng)比重，在此背景下，韓國將HBM指定為國家戰略技術(shù)，并列出多項措施鼓勵相關(guān)企業(yè)。

2月27日，韓國企劃財政部公布了《2023年稅法修正案后續執行規則修正案草案》，旨在對被納入韓國國家戰略技術(shù)的高帶寬存儲器（HBM）、有機發(fā)光二極管（OLED）和氫相關(guān)設施，進(jìn)一步擴大稅收支持。

其中，韓國國家戰略性技術(shù)產(chǎn)業(yè)研發(fā)投資稅收抵免，中小企業(yè)為40%至50%，大中型企業(yè)為30%至40%。據悉大中型企業(yè)包括三星、SK海力士等。

5
結語(yǔ)

值得一提的是，大廠(chǎng)財報透露，營(yíng)收虧損幅度均有所收窄，其中HBM已成為拉動(dòng)大廠(chǎng)們業(yè)績(jì)回升的主力。目前消費電子已出現復蘇信號，行業(yè)新的轉機正在孕育生成，AI催生存力新需求，2024年存儲市場(chǎng)有望迎來(lái)新的轉機。

總體而言，受生成式AI大模型等領(lǐng)域的驅動(dòng)，HBM逐漸發(fā)展成為新興熱門(mén)產(chǎn)業(yè)之一，隨著(zhù)上游客戶(hù)不斷發(fā)出新的需求，目前HBM市場(chǎng)正釋放出供不應求的信號。對此，上述各方瞄準HBM積極布局，大廠(chǎng)們繼續埋頭攻破技術(shù)壁壘，以迅速抓住市場(chǎng)新機遇，屬于HBM市場(chǎng)的一場(chǎng)爭奪戰正式開(kāi)啟。