顛覆性的HBM4

一位業(yè)內人士表示，「『半導體游戲規則』可能在 10 年內改變，區別存儲半導體和邏輯半導體可能變得毫無(wú)意義」。

HBM4，魅力為何如此？

技術(shù)的突破

2023 年，在 AI 技術(shù)應用的推動(dòng)下，數據呈現出爆炸式的增長(cháng)，大幅度推升了算力需求。據悉，在 AI 大模型領(lǐng)域，未來(lái) AI 服務(wù)器的主要需求將從訓練側向推理側傾斜。而根據 IDC 的預測，到 2026 年，AIGC 的算力 62.2% 將作用于模型推理。同時(shí)，預計到 2025 年，智能算力需求將達到當前的 100 倍。

據悉，自 2015 年以來(lái)，從 HBM1 到 HBM3e 各種更新和改進(jìn)中，HBM 在所有迭代中都保留了相同的 1024 位 (每個(gè)堆棧) 接口，即具有以相對適中的時(shí)鐘速度運行的超寬接口。然而，隨著(zhù)內存傳輸速率要求不斷提高，尤其是在 DRAM 單元的基礎物理原理沒(méi)有改變的情況下，這一速度將無(wú)法滿(mǎn)足未來(lái) AI 場(chǎng)景下的數據傳輸要求。為此，下一代 HBM4 需要對高帶寬內存技術(shù)進(jìn)行更實(shí)質(zhì)性的改變，即從更寬的 2048 位內存接口開(kāi)始。

接口寬度從每堆棧 1024 位增加到每堆棧 2048 位，將使得 HBM4 具備的變革意義。

當前，生成式人工智能已經(jīng)成為推動(dòng) DRAM 市場(chǎng)增長(cháng)的關(guān)鍵因素，與處理器一起處理數據的 HBM 的需求也必將增長(cháng)。未來(lái)，隨著(zhù) AI 技術(shù)不斷演進(jìn)，HBM 將成為數據中心的標準配置，而以企業(yè)應用為重點(diǎn)場(chǎng)景的存儲卡供應商期望提供更快的接口。

根據 DigiTimes 援引 Seoul Economy 的消息：下一代 HBM4 內存堆棧將采用 2048 位內存接口。

將接口寬度從每堆棧 1024 位增加到每堆棧 2048 位將是 HBM 內存技術(shù)所見(jiàn)過(guò)的最大變化。自 2015 年以來(lái)，從 HBM1 到 HBM3e 各種更新和改進(jìn)中，HBM 在所有迭代中都保留了相同的 1024 位 (每個(gè)堆棧) 接口。

采用 2048 位內存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達的旗艦 Hopper H100 GPU，搭配的六顆 HBM3 達到 6144-bit 位寬。如果內存接口翻倍到 2048 位，英偉達理論上可以將芯片數量減半到三個(gè)，并獲得相同的性能。

回顧 HBM 發(fā)展歷史，由于物理限制，使用 HBM1 的顯卡的內存上限為 4GB。然而，隨著(zhù)時(shí)間的推移，SK 海力士和三星等 HBM 制造商已經(jīng)改進(jìn)了 HBM 的缺點(diǎn)。

HBM2 將潛在速度提高了一倍，達到每個(gè)堆棧 256GB/s，最大容量達到 8GB。2018 年，HBM2 進(jìn)行了一次名為 HBM2E 的小更新，進(jìn)一步將容量限制提高到 24GB，并帶來(lái)了另一次速度提升，最終達到峰值時(shí)的每芯片 460GB/s。

當 HBM3 推出時(shí)，速度又翻了一番，允許每個(gè)堆棧最大 819GB/s。更令人印象深刻的是，容量增加了近三倍，從 24GB 增加到 64GB。和 HBM2E 一樣，HBM3 看到了另一個(gè)中期升級，HBM3E，它將理論速度提高到每堆棧 1.2 TB/s。

在此過(guò)程中，HBM 在消費級顯卡中逐漸被更便宜的 GDDR 內存所取代。HBM 越發(fā)成為成為數據中心的標準配置，以企業(yè)應用為重點(diǎn)場(chǎng)景的存儲卡供應商們期望提供更快的接口。

有機遇就有挑戰

目前，HBM 主要是放置 CPU/GPU 的中介層上，并使用 1024bit 接口連接到邏輯芯片。SK 海力士目標是將 HBM4 直接堆疊在邏輯芯片上，完全消除中介層。HBM4 很可能與現有半導體完全不同，散熱問(wèn)題也隨之而來(lái)。因此，要想為邏輯+存儲這一集成體散熱，可能需要非常復雜的方法，液冷和浸沒(méi)式散熱或是解決方案。

HBM 主要是通過(guò)硅通孔技術(shù)進(jìn)行芯片堆疊，以增加吞吐量并克服單一封裝內帶寬的限制，將數個(gè) DRAM 裸片像樓層一樣垂直堆疊。在 HBM4 技術(shù)實(shí)現上，一個(gè)模塊中堆疊更多的內存芯片的技術(shù)復雜性必然將進(jìn)一步提高，主要難題在于需要增加硅通孔數量并縮小凸塊間距。

例如為了生產(chǎn) HBM4 內存堆棧（包括 16-Hi 堆棧），三星需要完善 SangJoon Hwang 提到的幾項新技術(shù)。其中一項技術(shù)稱(chēng)為 NCF（非導電薄膜），是一種聚合物層，可保護 TSV 的焊接點(diǎn)免受絕緣和機械沖擊。另一種是 HCB（混合銅鍵合），這是一種鍵合技術(shù)，使用銅導體和氧化膜絕緣體代替傳統焊料，以最大限度地減少 DRAM 器件之間的距離，并實(shí)現 2048 位接口所需的更小的凸塊。這不是一項簡(jiǎn)單的工作。

入局

三星電子的技術(shù)團隊執行副總裁兼 DRAM 產(chǎn)品主管 SangJoon Hwang 在公司博客文章中寫(xiě)道「展望未來(lái)，HBM4 預計將于 2025 年推出，其技術(shù)針對正在開(kāi)發(fā)的高熱性能進(jìn)行了優(yōu)化，例如非導電薄膜 (NCF) 組裝和混合銅接合 (HCB)，」。

盡管三星預計 HBM4 將于 2025 年推出，但其生產(chǎn)可能會(huì )在 2025-2026 年開(kāi)始，因為業(yè)界需要為該技術(shù)做大量準備。與此同時(shí)，三星將為客戶(hù)提供數據傳輸速率為 9.8 GT/s 的 HBM3E 內存堆棧，每個(gè)堆棧的帶寬為 1.25 TB/s。

在封裝技術(shù)方面，三星采用了無(wú)凸點(diǎn)鍵合技術(shù)。無(wú)凸點(diǎn)鍵合是一種先進(jìn)的封裝技術(shù)，它將芯片與芯片之間直接進(jìn)行連接，無(wú)需使用傳統的微凸點(diǎn)鍵合。這種技術(shù)可以顯著(zhù)提高內存的 I/O 速度和可靠性，同時(shí)降低了制造成本。

三星在無(wú)凸點(diǎn)鍵合技術(shù)上的突破得益于其在封裝領(lǐng)域的深厚積累和技術(shù)積累。通過(guò)不斷研發(fā)和創(chuàng )新，三星成功地將無(wú)凸點(diǎn)鍵合技術(shù)應用到 HBM4 內存的生產(chǎn)中，實(shí)現了銅層與銅層之間的直接互連。這種直接互連的方式可以大幅度提高內存的傳輸速度和穩定性，同時(shí)降低了功耗。

三星在 HBM4 內存技術(shù)的發(fā)展中展現了強大的研發(fā)實(shí)力和技術(shù)創(chuàng )新能力。通過(guò)工藝學(xué)習和封裝技術(shù)的創(chuàng )新，三星成功地將 FinFET 立體晶體管和無(wú)凸點(diǎn)鍵合技術(shù)應用到 HBM4 內存的生產(chǎn)中。這些新技術(shù)的應用使得 HBM4 內存具有更高的性能、更低的功耗和更低的制造成本。

今年早些時(shí)候，美光透露「HBMNext」內存將于 2026 年左右出現，提供 32GB 至 64GB 之間的每堆棧容量以及每堆棧 2 TB/s 或更高的峰值帶寬，較 HBM3E 的每堆棧 1.2 TB/s 顯著(zhù)增加。要構建 64GB 堆棧，需要具有 32GB 內存設備的 16-Hi 堆棧。盡管 HBM3 規范也支持 16-Hi 堆棧，但到目前為止還沒(méi)有人宣布此類(lèi)產(chǎn)品，而且看起來(lái)如此密集的堆棧只會(huì )通過(guò) HBM4 進(jìn)入市場(chǎng)。

11 月，據韓媒中央日報（Joongang.co.kr）報道，韓國內存芯片大廠(chǎng) SK 海力士正計劃攜手英偉達（NVIDIA）開(kāi)發(fā)全新的 GPU，擬將其新一代的高帶寬內存（HBM4）與邏輯芯片堆疊在一起，這也將是業(yè)界首創(chuàng )。SK 海力士已與英偉達等半導體公司針對該項目進(jìn)行合作，據報道當中的先進(jìn)封裝技術(shù)有望委托臺積電，作為首選代工廠(chǎng)。

SK 海力士目標是將未來(lái)的 HBM4 以 3D 堆疊的形式堆疊在英偉達、AMD 等公司的邏輯芯片上，預計該 HBM4 內存堆棧將采用 2048 位接口。

圖：SK 海力士 HBM4 計劃連接方式（來(lái)源：韓國中央日報）

外媒 Tom』s Hardware 指出，這種設計與 AMD V-Cache 類(lèi)似，后者將一小塊 L3 緩存（cache）直接放在 CPU 頂部，新技術(shù)則是則將 GPU 所有 HBM 內存放在 GPU 頂部或幾個(gè)芯片的頂部。

這種技術(shù)優(yōu)點(diǎn)是縮小封裝尺寸、提高容量和性能，但散熱將是最大問(wèn)題。比如采用 V-Cache 的 AMD CPU，必須降低 TDP 和主頻，以補償 3D cache 產(chǎn)生的額外熱量，像英偉達 H100 這種數據中心 GPU，需要 80-96GB 的 HBM，在容量和熱量與 V-cache 完全難比擬?，F在一塊計算中心計算卡的功耗可能是幾百瓦，即便只是 HBM 部分也相當耗電，要做好散熱可能需要非常復雜的方式。

另外，選擇這種集成方法也將改變芯片的設計和制造方式，存儲器與邏輯芯片將采用相同的工藝技術(shù)，而且會(huì )在同一間晶圓廠(chǎng)生產(chǎn)，確保最終的性能。如果僅考慮 DRAM 的成本，那么確實(shí)會(huì )有較大幅度的增長(cháng)，所以各方都還沒(méi)有真正認真考慮這一方案。

據了解，SK 海力士正在與包括英偉達在內的芯片設計公司討論 HBM4 集成設計方案。SK 海力士和英偉達可能從一開(kāi)始就進(jìn)行了合作，而且會(huì )選擇在臺積電生產(chǎn)，將使用晶圓鍵合技術(shù)將 SK 海力士的 HBM4 堆疊在邏輯芯片上。

此前，SK 海力士的一位負責人曾強調，「最關(guān)鍵的作用是制造工廠(chǎng)（FAB）和封裝部門(mén)之間的緊密溝通，因為 HBM 需要在后處理方面進(jìn)行先發(fā)制人的投資?！顾a充道：「SK 海力士已經(jīng)能夠開(kāi)發(fā)出與競爭對手不同的封裝技術(shù)，并從合作伙伴那里獲得長(cháng)期獨家的關(guān)鍵材料?！?/p>

面對三星的競爭，SK 海力士并不擔心?！鸽m然三星電子可以通過(guò)同時(shí)提供存儲器和邏輯芯片工藝來(lái)引領(lǐng) HBM 領(lǐng)域?！沟?SK 海力士的一位負責人表示，「客戶(hù)不希望一家公司占據主導地位，他們目前重視英偉達、臺積電和 SK 海力士之間的合作?！?/p>