AI硬件核心HBM，需求爆發(fā)增長(cháng)
加入技術(shù)交流群
2022年末，ChatGPT的面世無(wú)疑成為了引領(lǐng)AI浪潮的標志性事件，宣告著(zhù)新一輪科技革命的到來(lái)。從ChatGPT掀起的一片浪花，到無(wú)數大模型席卷全球浪潮，AI的浪潮一浪高過(guò)一浪。
本文引用地址：http://dyxdggzs.com/article/202405/458523.htm在這波浪潮中，伴隨著(zhù)人才、數據、算力的不斷升級，AI產(chǎn)業(yè)正展現出巨大的潛力和應用前景，并在多個(gè)領(lǐng)域展現出重要作用。AI的快速發(fā)展對算力的需求呈現井噴的態(tài)勢，全球算力規模超高速增長(cháng)。在這場(chǎng)浪潮中，最大的受益者無(wú)疑是英偉達，其憑借在GPU領(lǐng)域的優(yōu)勢脫穎而出，然而對于A(yíng)I的大算力需求，人們的眼光全部都在GPU上，但另一個(gè)硬件同樣也是核心，那就是HBM，AI 硬件核心是算力和存力，HBM 高帶寬、低功耗優(yōu)勢顯著(zhù)，是算力性能發(fā)揮的關(guān)鍵。
HBM是一款新型的CPU/GPU內存芯片。其將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現大容量、高位寬的DDR組合陣列。通俗來(lái)說(shuō)，傳統的DDR就是采用的"平房設計"方式，HBM則是"樓房設計"方式，從而可實(shí)現了更高的性能和帶寬，因此，其將傳輸信號、指令、電流都進(jìn)行了重新設計，而且對封裝工藝的要求也高了很多。
其實(shí)最開(kāi)始設計HBM的初衷，就是為了向GPU和其它處理器提供更多的內存。這主要是因為隨著(zhù)GPU 的功能越來(lái)越強大，需要更快地從內存中訪(fǎng)問(wèn)數據，以縮短應用處理時(shí)間。例如，AI和視覺(jué)，具有巨大內存和計算和帶寬要求。
所以我們可以看到，在A(yíng)I場(chǎng)景中，英偉達的GPU芯片不再是單獨售賣(mài)：從流程上，英偉達首先設計完GPU，然后采購海力士的HBM，最后交由臺積電利用CoWoS封裝技術(shù)將GPU和HBM封裝到一張片子上，最終交付給AI服務(wù)器廠(chǎng)商。最終產(chǎn)品結構正如海力士的宣傳材料展示的一樣。
目前，HBM產(chǎn)品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的順序開(kāi)發(fā)，最新的HBM3E是HBM3的擴展版本。迭代方向是提高容量和帶寬，容量可以通過(guò)堆疊層數或增加單層 容量獲得提升，帶寬提升主要是通過(guò)提升 I/O 速度。
過(guò)去幾年來(lái)，HBM產(chǎn)品帶寬增加了數倍，目前已接近或達到1TB/秒的里程碑節點(diǎn)。相較于同期內其他產(chǎn)品僅增加兩三倍的帶寬增速，HBM的快速發(fā)展歸功于存儲器制造商之間的競爭和比拼。
下一代HBM4有望于2025-2026年推出。隨著(zhù)客戶(hù)對運算效能要求的提升，HBM4在堆棧的層數上，除了現有的12hi（12層）外，也將再往16hi（16層）發(fā)展，更高層數也預估帶動(dòng)新堆棧方式hybrid bonding的需求。HBM4 12hi產(chǎn)品將于2026年推出，而16hi產(chǎn)品則預計于2027年問(wèn)世。
HBM突破了內存容量與帶寬瓶頸，可以為GPU提供更快的并行數據處理速度，打破“內存墻”對算力提升的阻礙。憑借諸多優(yōu)勢，HBM成為AI時(shí)代的“新寵”，受到各大廠(chǎng)商的追捧，市場(chǎng)需求強勁。
目前主流 AI 訓練芯片都使用 HBM，一顆 GPU 配多顆 HBM。以英偉達 H100 為例，1 顆英偉達 H100 PICe 使用臺積電 CoWoS-S 封裝技術(shù)將 7 顆芯片（1 顆 GPU+6 顆 HBM）封在一起，1 顆 GPU 由 6 顆 HBM 環(huán) 繞，其中 5 顆是 active HBM，每顆 HBM 提供 1024bit 總線(xiàn)位寬，5 顆 共提供 5120bit 總線(xiàn)位寬，另外 1 顆是 non-HBM，可使用硅材料，起到 芯片的結構支撐作用。H100 PCIe 的 HBM 總容量 80GB，使用 5 顆 activer HBM2E，每顆 HBM2E 容量 16GB，每顆 HBM2E 是由 8 層 2GB DRAM Die 堆疊組成。
并且AI浪潮還在愈演愈烈，HBM今后的存在感或許會(huì )越來(lái)越強。據semiconductor-digest預測，到2031年，全球HBM市場(chǎng)預計將從2022年的2.93億美元增長(cháng)到34.34億美元，在2023-2031年的預測期內復合年增長(cháng)率為31.3%。
2025年HBM價(jià)格調漲約5~10%，占DRAM總產(chǎn)值預估將逾三成
這樣的市場(chǎng)表現，無(wú)疑證明了HBM在市場(chǎng)上的巨大潛力。它不僅僅是一種存儲芯片，更是AI時(shí)代的“金礦”。 HBM也是AI芯片中占比最高的部分，根據外媒的拆解，H100的成本接近3000美元，而其中占比最高的是來(lái)自海力士的HBM，總計達到2000美元左右，超過(guò)制造和封裝，成為成本中最大的單一占比項。
目前全球量產(chǎn)的只有海力士、三星、美光科技三家公司，2022年HBM市場(chǎng)份額中，SK海力士獨占50%，三星約40%，美光僅10%，且SK海力士是目前唯一量產(chǎn)HBM3的公司。
SK海力士
在人工智能的天空中，有三顆星辰璀璨奪目，它們分別是英偉達、臺積電，但還有一家公司也占據了AI食物鏈的頂端，卻鮮為人知，它就是——海力士。
海力士雖然在公眾視野中的曝光度不如英偉達及臺積電，但其在存儲技術(shù)領(lǐng)域的影響力不容小覷。作為全球領(lǐng)先的存儲解決方案供應商之一，海力士在提供高性能、高穩定性的DRAM和NAND閃存產(chǎn)品方面，有著(zhù)不可替代的地位。它的產(chǎn)品廣泛應用于數據中心、移動(dòng)設備和個(gè)人電腦等，是支撐現代信息社會(huì )運轉的基石之一。
SK海力士與臺積電攜手加強HBM技術(shù)領(lǐng)導力
雖然HBM非常昂貴，但隨著(zhù)AI基礎算力需求的大爆發(fā)，草根調研顯示當前HBM仍是一芯難求，海力士2024年所有的產(chǎn)能都已經(jīng)完全被預定，行業(yè)的供需失衡可能在2025年也仍無(wú)法得到有效的緩解。
早在10年前的2013年，海力士就首次制造出HBM，并被行業(yè)協(xié)會(huì )采納為標準。2015年，AMD成為第一個(gè)使用HBM的客戶(hù)。但在此之后，HBM由于價(jià)格高昂，下游根本不買(mǎi)單，甚至一度被認為是點(diǎn)錯了科技樹(shù)。
但海力士依然在這個(gè)方向持續深耕，并沒(méi)有放棄。在2015-2022年，雖然并沒(méi)有什么突出客戶(hù)，海力士仍然對HBM產(chǎn)品進(jìn)行了多達3次技術(shù)升級，絲毫不像對待一個(gè)邊緣產(chǎn)品的待遇。最終，憑借著(zhù)2023年至今的AI浪潮，海力士的HBM一芯難求，從無(wú)人問(wèn)津到一飛沖天，10年的堅守終于換了回報。在低迷的韓國股市中，海力士股價(jià)也一騎絕塵，實(shí)現翻倍，成為跟上全球AI浪潮的唯一一家韓國公司。
在很長(cháng)一段時(shí)間內，SK海力士都是英偉達HBM的獨家供應商。2023年SK海力士基本壟斷了HBM3供應，今年其HBM3與HBM3E的訂單也已售罄。作為英偉達HBM的主要供應商，過(guò)去一年中，SK海力士股價(jià)飆升超過(guò)60%。
累計上漲100%還不停！消息稱(chēng)SK海力士將對內存等漲價(jià)至少上調20%
近期，SK海力士透露，其下一代 HBM4 內存將于2024年著(zhù)手開(kāi)發(fā)，2026年開(kāi)始大規模生產(chǎn)，屆時(shí)將為英偉達Blackwell B100的下一代 AI GPU 提供支持。此外，SK 海力士還計劃在 HBM4 也采用先進(jìn) MR-MUF 技術(shù)，從而實(shí)現 16 層堆疊，正在積極研究混合鍵合（Hybrid bonding）技術(shù)。MR-MUF 技術(shù)與過(guò)去的工藝相比，將芯片堆疊壓力降低至 6% 的程度，也縮短工序時(shí)間，將生產(chǎn)效率提高至 4 倍，散熱率提高了 45%；同時(shí) MR-MUF 技術(shù)在維持 MR-MUF 優(yōu)點(diǎn)的同時(shí)采用了新的保護材料，得以使散熱性能改善 10%。
SK海力士開(kāi)發(fā)新一代移動(dòng)端NAND閃存解決方案“ZUFS 4.0”
OpenAI首席執行官本周訪(fǎng)韓，預計將與SK集團會(huì )長(cháng)討論AI芯片合作
AI推動(dòng)SK海力士DRAM市場(chǎng)份額達到有史以來(lái)最高水平
據日經(jīng)新聞報道，英偉達正在尋求從三星購買(mǎi)HBM芯片，那這個(gè)消息再次印證了HBM的緊缺性。光是英偉達一家公司已經(jīng)吃光了SK海力士和美光的產(chǎn)能，這還不夠，還要再吃下三星新建的產(chǎn)能。
內存領(lǐng)域的霸主三星，得益于在DRAM上的深厚積累，以及并不落后的技術(shù)儲備，迅速崛起成為HBM排名第二的玩家。
黃仁勛：三星是一家非常優(yōu)秀的公司，英偉達正驗證其 HBM 內存
2016年三星開(kāi)始大規模量產(chǎn)HBM。落后于海力士3年；而根據公司最新進(jìn)展，三星已經(jīng)于2023年實(shí)現了HBM3的量產(chǎn)出貨，而將在今年上半年推出HBM3E，而且規劃2025年實(shí)現HBM4的量產(chǎn)。根據這一規劃，三星與海力士的差距已經(jīng)縮小到半年左右，而差距有望于2025年被完全消除。
三星存儲業(yè)務(wù)重心轉向企業(yè)領(lǐng)域：目標今年 HBM 產(chǎn)量增加 3 倍，明年再翻番
三星除了有DRAM的底氣之外，由于HBM當中包含部分邏輯芯片的電路，因此三星電子依托于自有的邏輯晶圓廠(chǎng)，確實(shí)具備彎道超車(chē)的比較優(yōu)勢。而且同為韓國公司，直接挖相關(guān)人才也更為容易。
三星組建HBM產(chǎn)能質(zhì)量提升團隊，加速AI推理芯片Mach-2開(kāi)發(fā)
不久前，三星成功地躋身英偉達的供應鏈，這讓其在HBM領(lǐng)域的地位進(jìn)一步得到了加固。此舉也彰顯了三星與AMD之間的深厚合作，據悉，三星的HBM3產(chǎn)品已經(jīng)通過(guò)了AMD的驗證，可謂是實(shí)力不俗。
而眼下，HBM3e的光芒也逐漸浮出水面。這種新一代高帶寬內存規格被認為將成為未來(lái)市場(chǎng)的主流。SK海力士率先通過(guò)了驗證，美光也已經(jīng)開(kāi)始推出HBM3e產(chǎn)品。而三星也在這個(gè)戰場(chǎng)上搶灘登陸，其HBM3e產(chǎn)品預計將在第一季末前通過(guò)驗證，并開(kāi)始大規模出貨。
作為全球唯一一家同時(shí)在存儲芯片和邏輯芯片領(lǐng)域均處于領(lǐng)跑集團的公司，三星計劃在未來(lái)幾年內斥資超400億美元，建立一整套半導體研發(fā)和生產(chǎn)生態(tài)。
毫無(wú)疑問(wèn)，在HBM領(lǐng)域起了個(gè)大早的韓國，也絲毫沒(méi)有放松，還在朝前一路狂奔。
三星否認將 MR-MUF 堆疊方案引入 HBM 生產(chǎn)，稱(chēng)現有 TC-NCF 方案效果良好
三星發(fā)布其首款36GB HBM3E 12H DRAM，滿(mǎn)足人工智能時(shí)代的更高要求
美光
近期美光透露，今年其HBM產(chǎn)能銷(xiāo)售一空，明年絕大多數產(chǎn)能已被預訂，并且其上月表示，已開(kāi)始量產(chǎn)其高帶寬存儲半導體HBM3E，用于英偉達的H200 Tensor Core GPU。
美光表示24年和25年大部分時(shí)間的高帶寬內存已售罄
光科技過(guò)去一年半來(lái)股價(jià)飛漲，分析師以存儲產(chǎn)品報價(jià)轉強為由，將美光投資評等從中立調高至表現優(yōu)于大盤(pán)，2024年目標價(jià)從原本的115美元上修至150美元。并且其HBM產(chǎn)品有望在2024會(huì )計年度創(chuàng )造數億美元營(yíng)業(yè)額，HBM營(yíng)收預料自2024會(huì )計年度第三季起為美光DRAM業(yè)務(wù)以及整體毛利率帶來(lái)正面貢獻。美光今年HBM產(chǎn)能已銷(xiāo)售一空、2025年絕大多數產(chǎn)能已被預訂。另外預期2024年DRAM、NAND產(chǎn)業(yè)供給都將低于需求。
HBM 的高需求，加之其對晶圓的高消耗，擠壓了其他 DRAM 的投片量。美光表示非 HBM 內存正面臨供應緊張的局面。
美光開(kāi)始量產(chǎn)行業(yè)領(lǐng)先的HBM3E解決方案，加速人工智能發(fā)展
此外，美光宣稱(chēng)其 8Hi HBM3E 內存已開(kāi)始大批量出貨，可在截至 8 月末的本財年中貢獻數億美元的收入。
美光率先出貨用于A(yíng)I數據中心的關(guān)鍵內存產(chǎn)品
美光高性能內存與存儲，推動(dòng) AI 豐富殘障人士生活體驗
評論