HBM新技術(shù)，橫空出世

AI 的火熱，令 HBM 也成了緊俏貨。

業(yè)界各處都在喊：HBM 缺貨！HBM 增產(chǎn)！把 DDR4/DDR3 產(chǎn)線(xiàn)轉向生產(chǎn) DDR5/HBM 等先進(jìn)產(chǎn)品。

數據顯示，未來(lái) HBM 市場(chǎng)將以每年 42% 的速度增長(cháng)，將從 2023 年的 40 億美元增長(cháng)到 2033 年的 1300 億美元，這主要受工作負載擴大的 AI 計算推動(dòng)。到 2033 年，HBM 將占據整個(gè) DRAM 市場(chǎng)的一半以上。

可即便行業(yè)全力增產(chǎn)，HBM 供應缺口仍然很大，芯片巨頭也急的「抓耳撓腮」。

當下，存儲芯片巨頭主要有兩大行動(dòng)方向。一方面，對 HBM 技術(shù)持續升級并加大現有 HBM 產(chǎn)品的產(chǎn)量；另一方面，分出部分精力，關(guān)注另一種形式的 HBM 產(chǎn)品。

HBM4，來(lái)了！

在 HBM 的技術(shù)升級中，SK 海力士總是那個(gè)「第一個(gè)吃螃蟹的人」。

3 月 19 日，SK 海力士宣布推出面向 AI 的超高性能 DRAM 新產(chǎn)品 12 層（12Hi）HBM4 內存，并在全球率先向主要客戶(hù)出樣了 12Hi HBM4。

SK 海力士在 12Hi HBM4 上采用了 24Gb DRAM 芯片，繼續使用了 Advanced MR-MUF 鍵合工藝，單封裝容量達 36GB，帶寬達 2TB/s，運行速度較 HBM3E 提升了 60% 以上。

SK 海力士強調，以引領(lǐng) HBM 市場(chǎng)的技術(shù)競爭力和生產(chǎn)經(jīng)驗為基礎，能夠比原計劃提早實(shí)現 12 層 HBM4 的樣品出貨，并已開(kāi)始與客戶(hù)的驗證流程。公司將在下半年完成量產(chǎn)準備，由此鞏固在面向 AI 的新一代存儲器市場(chǎng)領(lǐng)導地位。

日前還有報道稱(chēng)，SK 海力士預計將獨家供應英偉達 Blackwell Ultra 架構芯片第五代 12 層 HBM3E，預期與三星電子、美光的差距將進(jìn)一步拉大。

反觀(guān)競爭對手三星這邊，HBM3E 此前一直未能獲得英偉達品質(zhì)認證，而最新消息則是三星新 HBM3E 在日前英偉達的審核中獲得令人滿(mǎn)意的評分，預計最快 6 月初通過(guò)英偉達等的品質(zhì)認證。

除此之外，這些存儲龍頭還在一些新興 HBM 技術(shù)上下足功夫。

移動(dòng) HBM，存儲巨頭下場(chǎng)了！

本文要談到的第一種新興技術(shù)，被稱(chēng)為移動(dòng) HBM。

移動(dòng) HBM，即 LPW DRAM，也被稱(chēng)為低延遲寬 I/O (LLW)。該技術(shù)是堆疊和連接 LPDDR DRAM 來(lái)增加內存帶寬，它與 HBM 類(lèi)似，通過(guò)將常規 DRAM 堆疊 8 層或 12 層來(lái)提高數據吞吐量，并具有低功耗的優(yōu)勢。

移動(dòng) HBM 和 LPDDR 最大的區別在于是否是「定制內存」。LPDDR 是通用型產(chǎn)品，一旦量產(chǎn)即可批量使用；而移動(dòng) HBM 是一個(gè)定制產(chǎn)品，反映了應用程序和客戶(hù)的要求。由于移動(dòng) HBM 與處理器連接的引腳位置不同，因此在批量生產(chǎn)之前需要針對每個(gè)客戶(hù)的產(chǎn)品進(jìn)行優(yōu)化設計。

HBM 是在 DRAM 中鉆微孔，并用電極連接上下層。移動(dòng) HBM 具有相同的堆疊概念，但正在推廣一種將其堆疊在樓梯中，然后用垂直電線(xiàn)將其連接到基板的方法。

三星和 SK 海力士均看中了移動(dòng) HBM 的潛力，但這兩家公司采取的技術(shù)路線(xiàn)各不相同。

三星開(kāi)發(fā)「VCS」技術(shù)

三星正在開(kāi)發(fā)名為「VCS」的技術(shù)，該技術(shù)將從晶圓上切割下來(lái)的 DRAM 芯片以臺階形狀堆疊起來(lái)，用環(huán)氧材料使其硬化，然后在其上鉆孔并用銅填充。堆疊形式可參照下圖右下角的呈現。

三星表示，VCS 先進(jìn)封裝技術(shù)相較于傳統引線(xiàn)鍵合，I/O 密度和帶寬分別提升 8 倍和 2.6 倍；相比 VWB 垂直引線(xiàn)鍵合，VCS 技術(shù)生產(chǎn)效率提升 9 倍。

三星還為其新款 LPW DRAM 設定了高性能目標，與其尖端移動(dòng)內存 LPDDR5X 相比，新款 LPW DRAM 的 I/O 速度預計將提高 166%。這比每秒 200GB 更快，同時(shí)功耗降低了 54%。

三星電子半導體暨裝置解決方案（DS）部門(mén)首席技術(shù)官宋在赫表示，搭載 LPW DRAM 內存的首款移動(dòng)產(chǎn)品將在 2028 年上市。

近日，有業(yè)內人士表示，三星電子目前正與多個(gè)系統級芯片（SoC）客戶(hù)合作開(kāi)發(fā) LPW DRAM，已確認其中包括蘋(píng)果和三星電子的移動(dòng)體驗（MX）業(yè)務(wù)部門(mén)。

SK 海力士開(kāi)發(fā)「VFO」技術(shù)

SK 海力士正在開(kāi)發(fā)名為「VFO」的技術(shù)，與三星的 VCS 不同，SK 海力士選擇的是銅線(xiàn)而非銅柱。DRAM 以階梯式方式堆疊，并通過(guò)垂直柱狀線(xiàn)/重新分布層連接到基板。堆疊形式可參照下圖。

它在連接元件和工藝順序方面與三星電子也不同，它使用銅線(xiàn)連接堆疊的 DRAM，然后將環(huán)氧樹(shù)脂注入空白處以使其硬化，來(lái)實(shí)現移動(dòng) DRAM 芯片的堆疊。

SK 海力士的 VFO 技術(shù)結合了 FOWLP（晶圓級封裝）和 DRAM 堆疊兩項技術(shù)，VFO 技術(shù)通過(guò)垂直連接，大幅縮短了電信號在多層 DRAM 間的傳輸路徑，將線(xiàn)路長(cháng)度縮短至傳統內存的 1/4 以下，將能效提高 4.9%。這種方式雖然增加了 1.4% 的散熱量，但是封裝厚度卻減少了 27%。

至于為什么兩大存儲巨頭紛紛看上移動(dòng) HBM 這一賽道，主要源于設備上 AI 需求的推動(dòng)，內存公司正在轉向 LPW DRAM 的開(kāi)發(fā)。由于預計繼服務(wù)器領(lǐng)域之后，移動(dòng)領(lǐng)域也將出現內存瓶頸，因此計劃積極推出高性能 DRAM。

cHBM，橫空出世

本文要談到的第二種新興技術(shù)，即 cHBM。

cHBM，即 Custom HBM，也就是定制高帶寬內存。其實(shí)上文提到的移動(dòng) HBM 也屬于 cHBM 的一種。

這個(gè)新型技術(shù)，由 Marvell 于去年 12 月推出。其與領(lǐng)先的內存制造商，如美光、三星和 SK 海力士等合作開(kāi)發(fā)。

在 AI 算力芯片領(lǐng)域，GPU 廣為人知，是備受矚目的存在。然而，鑒于部分場(chǎng)景對定制化算力芯片需求更為強烈，ASIC 芯片應運而生。

如今，這一理念，也延續到了 HBM 領(lǐng)域。

那么，定制 HBM 與常規 HBM 有何不同？本文將用相對直白的闡述做一下介紹。

首先我們先來(lái)看一下常規的 HBM。據悉，HBM 已存在十多年，最初用于 AMD GPU 和 Xilinx FPGA，通過(guò) 1024 條以合理速度運行的數據線(xiàn)實(shí)現高帶寬，節省功耗但成本較高，限制了其應用范圍。

HBM 面臨的主要問(wèn)題是容量限制，每個(gè)通道僅有一個(gè)堆棧，容量在 HBM3 之前有限，HBM4 雖有所增加，但根本問(wèn)題在于 DRAM 密度和堆疊成本。

眾所周知，HBM 的原理像是利用 DRAM 在疊高高，這種辦法成本高昂，并且增加堆棧數量雖可部分解決容量問(wèn)題，但會(huì )引發(fā)芯片邊緣空間限制、堆棧高度和經(jīng)濟可行性等一系列新問(wèn)題。由于引腳和走線(xiàn)需求，HBM 堆疊數量受芯片邊緣長(cháng)度限制，通常每側最多 3-4 個(gè)堆疊，且受標線(xiàn)極限（約 800mm2）制約。

因此，盡管 HBM 有其優(yōu)勢，但在容量和堆疊數量上仍面臨挑戰。

那么，cHBM 帶來(lái)了什么呢？

Marvell 的 cHBM 解決方案針對特定應用量身打造介面與堆疊，目標是減少標準 HBM 介面在處理器內部所占用的空間，釋放可用于運算和功能的空間。

在接口方面，可見(jiàn)下圖，HBM 是集成在 XPU 中的關(guān)鍵組件，使用先進(jìn)的 2.5D 封裝技術(shù)和高速行業(yè)標準接口。然而，XPU 的擴展受到當前基于標準接口架構的限制。全新的 Marvell cHBM 計算架構引入定制接口，以?xún)?yōu)化特定 XPU 設計的性能、功耗、芯片尺寸和成本。

在性能提升方面，借由專(zhuān)屬 D2D（die-to-die）I/O，不僅能在定制化 XPU 中多裝 25% 邏輯芯片，也可在運算芯片旁多安裝 33%cHBM 存儲器封裝，增加處理器可用 DRAM 容量。預期可將存儲器介面功耗降低 70%。

在帶寬增加方面，新 Marvell D2D HBM 介面將擁有 20 Tbps/mm（每毫米 2.5TB/s）頻寬，比目前 HBM 提供的 5Tbps/mm（每毫米 625GB/s）多。此外，預期無(wú)緩沖存儲器的速度將達 50Tbps/mm（每毫米 6.25TB/s）。Marvell 沒(méi)透露 cHBM 介面的寬度及更多信息，僅表示通過(guò)序列化（serializing）與加速內部 AI 加速器芯片與 HBM 基礎芯片之間的 I/O 介面，來(lái)增強 XPU。

在硬件設計方面，由于 cHBM 并不依賴(lài) JEDEC 標準，因此硬件部分需要全新的控制器和定制化實(shí)體介面、全新的 D2D 介面及改良的 HBM 基本芯片。與業(yè)界標準 HBM3E 或 HBM4 解決方案相比，cHBM 介面寬度較窄。

說(shuō)簡(jiǎn)單點(diǎn)，也就是 cHBM 可提供定制化接口以減少處理器內部空間占用，實(shí)現更高芯片裝載量、更低功耗、更高帶寬，并具備全新硬件設計。

關(guān)于應用，cHBM 的靈活性可以在不同類(lèi)型的場(chǎng)景中帶來(lái)利好：

• 云提供商將其用于邊緣 AI 應用，其中成本和功耗是關(guān)鍵標準。

• 在基于 AI/ML 的復雜計算場(chǎng)中使用，其中容量和吞吐量被推到極限。

HBM 的應用場(chǎng)景，也在拓寬

除了技術(shù)的拓展，HBM 的應用場(chǎng)景也在不斷拓寬。

如上文所述，移動(dòng) HBM 主要應用于移動(dòng)終端等設備，而 Marvell 的 cHBM 則主要適配 AI 領(lǐng)域的特殊需求。除了這兩點(diǎn)，HBM 產(chǎn)品還有這樣一種場(chǎng)景吸引人的注意力。即：HBM 上車(chē)。

HBM 在汽車(chē)中應用并不是一個(gè)新故事。

日前，SK 海力士副總裁 Kang Wook-sung 透露，SK 海力士 HBM2E 正用于 Waymo 自動(dòng)駕駛汽車(chē)，并強調 SK 海力士是 Waymo 自動(dòng)駕駛汽車(chē)這項先進(jìn)內存技術(shù)的獨家供應商。

據悉，SK 海力士的車(chē)規級 HBM2E 產(chǎn)品展現了卓越性能：容量高達 8GB，傳輸速度達到 3.2Gbps，實(shí)現了驚人的 410GB/s 帶寬，為行業(yè)樹(shù)立了新標桿。以此為契機，SK 海力士正積極拓展與 NVIDIA、Tesla 等自動(dòng)駕駛領(lǐng)域解決方案巨頭的合作網(wǎng)絡(luò )。

至于為什么汽車(chē)也要用上 HBM，筆者在此對汽車(chē)存儲的需求進(jìn)行分析。

在面對智能座艙、車(chē)載信息娛樂(lè )系統、高級駕駛輔助系統日益火熱的當下，車(chē)用存儲芯片涉及 NOR Flash、eMMC、UFS、LPDDR、SSD 等品類(lèi)。其中對內存的需求正在迅速擴大，當前主要產(chǎn)品是 LPDDR，以 LPDDR4 和 LPDDR5 為最多。

未來(lái)，只靠這些難以滿(mǎn)足汽車(chē)對存儲的全部需求。據測算，高端汽車(chē)在信息娛樂(lè )領(lǐng)域使用 24GB DRAM 和 64/128GB NAND，到 2028 年預計 DRAM 容量將超過(guò) 64GB，NAND 將達到 1TB 左右；對于 ADAS，預計當前 128GB DRAM 容量將增加到 384GB，NAND 將從 1TB 擴大到 4TB。

除此之外，在智能駕駛等應用場(chǎng)景的需求驅動(dòng)下，存儲系統的功能已超越了單純的數據保存。它還必須實(shí)現高效的數據交換，例如，能夠迅速地將搜集到的各類(lèi)信息進(jìn)行即時(shí)傳遞與處理。

畢竟只有實(shí)現快速的數據交換，計算平臺才能及時(shí)對信息進(jìn)行分析與處理，進(jìn)而精準控制車(chē)輛的行駛速度、轉向角度等關(guān)鍵操作，保障智能駕駛的安全與流暢運行。

SK 海力士副總裁 Ryu Seong-su 透露，公司的 HBM 正受到全球企業(yè)的高度關(guān)注，蘋(píng)果、微軟、谷歌、亞馬遜、英偉達、Meta 和特斯拉等七巨頭都向 SK 海力士提出了定制 HBM 解決方案的要求。

定制 HBM，成為潮流

日前，三星在芯片代工論壇中提到，將從 HBM4 開(kāi)始實(shí)現客戶(hù)定制化產(chǎn)品。業(yè)界消息人士透露，三星電子和 SK 海力士都在加速拓展「定制化內存」市場(chǎng)，即按照客戶(hù)所需形式制造和交貨 HBM。

據報道，為了應對定制化 HBM 需求，三星針對每位客戶(hù)性能需求開(kāi)發(fā)優(yōu)化產(chǎn)品，目前正與多家客戶(hù)討論詳細規格。

負責 PKG 產(chǎn)品開(kāi)發(fā)的副總裁 Lee Kyu-jae 表示，能在 HBM 市場(chǎng)占主導地位的最大動(dòng)力是在客戶(hù)需要的時(shí)間提供產(chǎn)品，公司計劃確?；旌湘I合等新技術(shù)的同時(shí)，不斷推進(jìn)先進(jìn)的 MR-MUF 技術(shù)。

Lee Kyu-jae 強調開(kāi)發(fā)下一代封裝技術(shù)的重要性，必須針對定制化產(chǎn)品需求增加入行回應，「預計今年下半年量產(chǎn) HBM4，我們考慮從先進(jìn)的 MR-MUF 和下一代混合鍵合方法」。

定制化 HBM 可能是解決內存市場(chǎng)供過(guò)于求疑慮的新解決方案。郭魯正指出，隨著(zhù)公司超越 HBM4，定制化需求將增加，成為全球趨勢，并轉向以合約為基礎的性質(zhì)，逐漸降低供過(guò)于求的風(fēng)險。SK 海力士也將開(kāi)發(fā)符合客戶(hù)需求的技術(shù)。

隨著(zhù) AI 興起，HBM 市場(chǎng)從「通用型市場(chǎng)」演進(jìn)為「客戶(hù)定制化市場(chǎng)」，不管是三星在芯片代工論壇的發(fā)言，還是 SK 海力士與臺積電合作，都凸顯出為滿(mǎn)足客戶(hù)特定需求的策略。轉為定制化不僅解決供過(guò)于求問(wèn)題，生產(chǎn)也能與客戶(hù)需求保持一致，確保 HBM 市場(chǎng)能更穩定發(fā)展。