HBM4持續加速：AI時(shí)代競爭新焦點(diǎn)

近日，標準組織JEDEC固態(tài)技術(shù)協(xié)會(huì )公布了新一代的高帶寬內存HBM4的標準制定即將完成。HBM4是目前發(fā)布的HBM3標準的進(jìn)化版，旨在進(jìn)一步提高數據處理速率，同時(shí)保持基本特性，例如更高的帶寬、更低功耗和更大的每個(gè)芯片和/或堆棧容量 —— 這些對于需要高效處理大數據集和復雜計算的應用至關(guān)重要，包括生成人工智能（AI）、高性能計算、高端顯卡和服務(wù)器。

算力性能發(fā)揮的關(guān)鍵

隨著(zhù)人工智能領(lǐng)域的蓬勃發(fā)展，大模型參數量呈現指數級增長(cháng)。算力越強每秒處理數據的速度越快，帶寬越大每秒可訪(fǎng)問(wèn)的數據越多，算力強弱主要由AI芯片決定，而帶寬由存儲器決定，存力是限制AI芯片性能的瓶頸之一。AI芯片引發(fā)了對與之匹配的內存系統進(jìn)行升級的迫切需求，需要高帶寬、低能耗，同時(shí)在不占用面積的情況下可以擴展容量的存儲器。

內存系統從微觀(guān)到宏觀(guān)可劃分為存儲單元、陣列、die、封裝、系統等五個(gè)層級。不同DRAM標準如DDR、LPDDR、GDDR、HBM等采用不同的封裝形式，如LPDDR和GDDR常將1至多個(gè)die直接安裝于主板PCB上，而DDR則多采用DIMM模塊插入主板插槽。HBM則獨樹(shù)一幟采用垂直堆疊封裝，意味著(zhù)在同一物理空間內可以容納更多的內存單元，通過(guò)TSV技術(shù)實(shí)現die間互連，借助CoWoS技術(shù)與處理器高效通信，擁有遠超其他DRAM的帶寬。

HBM憑借堆疊結構和垂直TSV互連技術(shù)，具備高帶寬、高存儲密度、低功耗和緊湊尺寸等優(yōu)勢，尤其在A(yíng)I和HPC應用中，其高帶寬對大模型訓練和推理效率的提升至關(guān)重要。但高于普通DRAM數倍的價(jià)格，使得對HBM一直都是“名氣沒(méi)輸過(guò)、銷(xiāo)售沒(méi)贏(yíng)過(guò)”的獨特存在，AI大模型的出現讓HBM找到完美的應用場(chǎng)景。

HBM（HighBandwidth Memory，高帶寬內存）其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現大容量、高位寬的DDR組合陣列，被視為新一代DRAM解決方案。當前HBM遵循相當標準的設計：內存堆棧通過(guò)微凸塊連接到位于基礎封裝層上的中介層，微凸塊連接到堆棧中的硅通孔（TSV或連接孔）；中介層上還安裝了一個(gè)處理器，并提供到處理器的連接。

HBM4持續加速

高帶寬內存已存在約十年，從HBM1目前最新到HBM3E，迭代方向是提高容量和帶寬，容量可以通過(guò)堆疊層數或增加單層容量獲得提升，帶寬提升主要是通過(guò)提升I/O速度。但隨著(zhù)內存傳輸速率的提高，尤其是在DRAM單元的基本物理特性沒(méi)有改變的情況下，這種速度也越來(lái)越難以維持。因此，對于HBM4計劃進(jìn)行更實(shí)質(zhì)性的改變，把內存堆棧接口從1024位擴展至2048位，這將是自八年前推出這種內存類(lèi)型以來(lái)HBM規范最重要的變化之一。

現有的HBM采用了TC（熱壓）鍵合技術(shù)，該技術(shù)在DRAM中創(chuàng )建TSV通道，并通過(guò)小突起形式的微凸塊進(jìn)行電連接。使用現有的接合實(shí)際上不可能在720μm處實(shí)現16層DRAM堆疊HBM4，業(yè)界關(guān)注的替代方案是混合鍵合（Hybrid bonding）。

混合鍵合是一種在芯片和晶圓之間直接鍵合銅布線(xiàn)的技術(shù)，相較于傳統的鍵合工藝，摒棄了在DRAM內存層間添加凸塊的繁瑣步驟，這不僅提高了信號傳輸速率，同時(shí)也降低了DRAM層間距，使得HBM模塊的整體高度得到縮減。

HBM4在堆棧的層數上也有所變化，除了首批的12層垂直堆疊，還會(huì )帶來(lái)16層垂直堆疊。此外，HBM還會(huì )往更為定制化的方向發(fā)展，不僅排列在SoC主芯片旁邊，部分還會(huì )轉向堆棧在SoC主芯片之上。

sk海力士

根據SK海力士最新公布的信息顯示，HBM4將比第五代HBM3E速度提升40%，而耗電量?jì)H為后者的70%，并在5月舉行的記者招待會(huì )上表示，其HBM4內存的量產(chǎn)時(shí)間已提前到2025年。具體來(lái)說(shuō)，計劃2025年下半年推出采用12層DRAM堆疊的首批HBM4產(chǎn)品，而16層堆疊HBM稍晚于2026年推出。

同時(shí)，SK海力士將繼續采用批量回流模制底部填充（MR-MUF：Mass Reflow-Molded Underfill）先進(jìn)封裝工藝作為核心技術(shù)。其中，批量回流焊（MR）是通過(guò)融化堆疊芯片之間的凸塊，讓芯片互相連接；模塑底部填充（MUF）是在堆疊的芯片之間填充保護材料從而提高耐久性和散熱效果。

但是MR-MUF有容易翹曲、導致晶圓末端彎曲、空洞現象（即保護材料在某些區域分布不均勻）等缺點(diǎn)。SK海力士表示，與HBM開(kāi)發(fā)初期相比已經(jīng)成功地減少了翹曲現象，目前正在開(kāi)發(fā)克服這一問(wèn)題的技術(shù)。作為替代方案而出現的混合鍵合技術(shù)則預計由于HBM標準的放寬而緩慢引入。

SK海力士還計劃在HBM4基礎裸片上采用臺積電的N5和N12FFC+工藝，以便可以將附加功能封裝到有限的空間中，也有助于其生產(chǎn)定制HBM。SK海力士和臺積電還同意合作優(yōu)化SK海力士的HBM和臺積電的CoWoS（基板上晶圓芯片）技術(shù)的集成，響應常見(jiàn)客戶(hù)與HBM相關(guān)的要求。

三星

和SK海力士不一樣，三星采用的TC-NCF（thermal compression with non-conductive film），也就是非導電薄膜熱壓縮技術(shù)封裝HBM。該技術(shù)在每次堆疊芯片時(shí)，都會(huì )在各層之間放置一層不導電的粘合膜，用于使芯片彼此絕緣并保護連接點(diǎn)免受撞擊。這種方法的優(yōu)點(diǎn)是可以最大限度地減少隨著(zhù)層數增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構建更高的堆棧。

優(yōu)化熱量和壓力是TC-NCF成功的關(guān)鍵。在三星看來(lái)，HBM的熱阻主要受芯片間距的影響，減少芯片之間NCF材料的厚度，并利用熱壓縮技術(shù)使芯片更加緊密，實(shí)現了業(yè)界最小的7μm芯片間距。此外，在芯片鍵合過(guò)程中，三星策略性地設計了需要信號傳輸的小凸塊和散熱至關(guān)重要的大凸塊，優(yōu)化增強了散熱和產(chǎn)量。

SK海力士在第二代HBM之前也使用NCF ，但從第三代（HBM2E）開(kāi)始改用MUF（特別是MR-MUF），分析人士更是認為MUF是SK海力士能夠在HBM市場(chǎng)脫穎而出的原因。不過(guò)，三星副總裁Kim Dae-woo表示，在最多8個(gè)堆疊時(shí)，MR-MUF 的生產(chǎn)效率比TC-NCF更高，但一旦堆疊達到12個(gè)或以上，后者將具有更多優(yōu)勢。

據三星的規劃，HBM4將在2025年生產(chǎn)樣品，希望通過(guò)針對高溫環(huán)境優(yōu)化的NCF組裝技術(shù)以及混合鍵合技術(shù)等尖端工藝技術(shù)，利用邏輯代工+HBM內存+先進(jìn)封裝的全流程方案與SK海力士爭奪HBM訂單。此外，三星還公布了其HBM技術(shù)藍圖，預測到2026年，其HBM的出貨量將比2023年高出13.8倍。

美光

美光科技也加快了追趕兩家韓國存儲巨頭的步伐，披露了暫名為HBMnext的下一代HBM內存，業(yè)界猜測這有可能便是其HBM4，預計將提供36GB和64GB容量，這意味著(zhù)多種配置，例如12-Hi 24Gb堆棧（36GB）或16-Hi 32Gb堆棧（64GB）。至于性能，美光宣稱(chēng)每個(gè)堆棧的帶寬為1.5TB/s～2+TB/s，這意味著(zhù)數據傳輸速率超過(guò)11.5GT/s/pin。不過(guò)在技術(shù)細節上，美光并未公布太多信息。

三星和SK海力士不同，美光并不打算把HBM和邏輯芯片整合到一個(gè)芯片中，似乎想要通過(guò)HBM-GPU的組合芯片形式以獲得更快的內存訪(fǎng)問(wèn)速度。不過(guò)隨著(zhù)機器學(xué)習訓練模型的增大和訓練時(shí)間的延長(cháng)，通過(guò)加快內存訪(fǎng)問(wèn)速度和提高每個(gè)GPU內存容量來(lái)縮短運行時(shí)間的壓力也將隨之增加，而為了獲得鎖定HBM-GPU組合芯片設計（盡管具有更好的速度和容量）而放棄標準化DRAM的競爭供應優(yōu)勢，可能不是正確的前進(jìn)方式。

全球HBM銷(xiāo)售額預計將從2023年的16億美元，增長(cháng)到2027年266億美元，年均增長(cháng)率為59%。據路透社報道，HBM目前占通用內存市場(chǎng)的15%，而去年這一比例為8%。SK海力士在HBM市場(chǎng)擁有最大的市場(chǎng)份額，是占據AI GPU市場(chǎng)80%份額的英偉達的HBM3內存唯一供應商，并于今年三月開(kāi)始量產(chǎn)最新一代HBM3E。

美光和三星等競爭供應商正在開(kāi)發(fā)HBM產(chǎn)品，以阻止SK海力士主導市場(chǎng)。據媒體最近報道，三星已通過(guò)或即將通過(guò)英偉達HBM3E認證，并有望在下季度或第四季度開(kāi)始向英偉達供貨，盡管三星取得了一定進(jìn)展，但短期內其HBM銷(xiāo)售額可能不會(huì )顯著(zhù)增加，SK海力士憑借其市場(chǎng)主導地位和高利潤率，仍將在未來(lái)幾年內保持強勁增長(cháng)。