HBM：高帶寬內存吸引各大科技巨頭搶購的“魔力”到底是什么？

全球第二大存儲芯片巨頭SK海力士昨天公布了最新財報，截至6月當季銷(xiāo)售額約合57億美元，較上年同期下降47%，超過(guò)了6.05萬(wàn)億韓元的平均預期，相比一季度創(chuàng )紀錄的虧損有所收窄。

由于各大企業(yè)對布局AI領(lǐng)域的興趣激增，同時(shí)，SK海力士在用于生成式AI領(lǐng)域的高帶寬存儲器（HBM）DRAM方面處于市場(chǎng)領(lǐng)先地位，其二季度用于A(yíng)I領(lǐng)域的高性能DRAM銷(xiāo)售增長(cháng)強勁，對高端DRAM的需求增長(cháng)了一倍多。

繼英偉達之后，全球多個(gè)科技巨頭都在競購S(chǎng)K海力士的第五代高帶寬內存HBM3，包括AMD、微軟和亞馬遜等等。SK海力士首席財務(wù)官Kim Woohyun透露，將繼續擴大其高端存儲芯片的產(chǎn)量，以滿(mǎn)足人工智能驅動(dòng)的需求。

新一代DRAM解決方案

當代電子計算體系的表現完全依賴(lài)于處理器和內存的相互配合，而來(lái)到了AI時(shí)代，大模型處理數據的吞吐量更是呈指數級增長(cháng)，最新的GPT-4模型據說(shuō)有1.76萬(wàn)億參數量，要想支撐如此龐大的數據處理和傳輸，對內存就提出了更高的帶寬需求。

然而，存儲器和處理器并沒(méi)有同步發(fā)展，處理器的性能按照摩爾定律規劃的路線(xiàn)不斷飆升，對比內存所使用的DRAM從工藝演進(jìn)中的獲益卻很少，性能提升速度遠慢于處理器速度。據行業(yè)預計，處理器的峰值算力每?jì)赡暝鲩L(cháng)3.1倍，DRAM的帶寬每?jì)赡暝鲩L(cháng)1.4倍，相差1.7倍。

當存儲器的性能跟不上處理器，對指令和數據搬運（寫(xiě)入和讀出）的時(shí)間將是處理器運算所消耗時(shí)間的幾十倍乃至幾百倍。數據交換通路窄以及其引發(fā)的高能耗，導致DRAM的性能成為制約計算機性能的一個(gè)重要瓶頸，即所謂的“內存墻”。

HBM突破了內存容量與帶寬瓶頸，打破了“內存墻”對算力提升的桎梏，被視為新一代DRAM解決方案，是未來(lái)DRAM重要發(fā)展路徑。這種新型的內存方案具備高帶寬、低功耗的特點(diǎn)，已逐漸在競爭中脫穎而出，面對AI大模型這種動(dòng)不動(dòng)千億、萬(wàn)億的參數，服務(wù)器中負責計算的GPU幾乎必須搭載HBM。

什么是HBM

HBM（High Bandwidth Memory，高帶寬存儲器），與其他DRAM最大的差別就是擁有超高的帶寬，目前最新的HBM3的帶寬最高可以達到819GB/s。HBM為何能擁有如此大的帶寬？

那么就要從HBM的原始形態(tài)GDDR說(shuō)起，GDDR采用傳統的方法將標準PCB和測試的DRAMs與SoC連接在一起，是將DRAM芯片直接放置在PCB上并圍著(zhù)處理器轉一圈的獨立封裝。因此會(huì )受到來(lái)自PCB面積的約束，互聯(lián)線(xiàn)長(cháng)/帶寬以及通訊延遲也會(huì )隨之增大。

相對于傳統內存，HBM則是在硅中階層（Silicon Interposer）上堆疊起來(lái)并和GPU封裝在一起，這樣一來(lái)，面積一下子縮小了很多，并且HBM離GPU更近了，數據傳輸也就更快了。

HBM之所以可以做到這樣的布局，是因為采用了3D堆疊技術(shù)，將DRAM裸片垂直疊放在一起，這相當于在一樣的“占地面積”下能布置比過(guò)去多數倍的DRAM顆粒。這種堆疊方式不僅節約空間，而且能夠帶來(lái)更短的顆粒間距進(jìn)而縮短信號傳輸路徑及延遲，但HBM真正的難點(diǎn)在于這些顆粒的互聯(lián)問(wèn)題，直到有了TSV技術(shù)之后才得以解決。

硅通孔技術(shù)（Through Silicon Via, 簡(jiǎn)稱(chēng)“TSV”）將“每層樓”連接在一起，是連接硅晶圓兩面并與硅襯底和其他通孔絕緣的電互連結構：在保證強度以及完整性的前提下在芯片（硅）上垂直穿孔，然后以這些孔為通路進(jìn)行布線(xiàn)并完成垂直互聯(lián)。貫通所有芯片層的柱狀通道傳輸信號、指令、電流，以增加吞吐量并克服單一封裝內帶寬的限制。

憑借TSV技術(shù)，HBM大幅提高了容量和數據傳輸速率，與傳統內存技術(shù)相比，HBM具有更高帶寬、更多I/O數量、更低功耗、更小尺寸，可應用于高性能計算（HPC）、超級計算機、大型數據中心、AI、云計算等領(lǐng)域。隨著(zhù)5G商用到來(lái)，存儲數據量激增，市場(chǎng)對于HBM的需求將有望大幅提升。

存儲巨頭爭霸HBM

在DRAM的整體頹勢之中，HBM卻在逆市增長(cháng)，自從去年ChatGPT出現以來(lái)，HBM作為AI服務(wù)器的“標配”，更是開(kāi)始狠刷存在感。超高的帶寬讓HBM成為了高性能GPU的核心組件，目前，高端GPU市場(chǎng)被英偉達和AMD瓜分，最新的H100和MI300X都配備了目前最新的HBM3。

預測到2031年，全球高帶寬存儲器市場(chǎng)預計將從2022年的2.93億美元增長(cháng)到34.34億美元，在2023-2031年的預測期內復合年增長(cháng)率為31.3%。當前HBM市場(chǎng)呈現三足鼎立格局，TrendForce研究顯示，2022年三大原廠(chǎng)HBM市占率分別為SK海力士占50%、三星約40%、美光約占10%。

SK海力士

SK海力士早在2021年10月就發(fā)布了全球首款HBM3，并于2022年6月正式量產(chǎn)，是目前唯一能量產(chǎn)HBM3產(chǎn)品的供應商。

SK海力士HBM技術(shù)起步早，從2013年與AMD聯(lián)合開(kāi)發(fā)了全球首款HBM后，第一個(gè)站上HBM的跑道后就一直是HBM行業(yè)的領(lǐng)頭羊，得益于自主研發(fā)的MR-MUF（Mass Reflow Molded Underfill）技術(shù)，目前占據全球HBM市場(chǎng)一半以上的市場(chǎng)份額。

2023年4月，SK海力士宣布已在全球首次實(shí)現垂直堆疊12層硅通孔技術(shù)垂直堆疊的芯片，實(shí)現最高容量24GB，容量較上一代HBM3 DRAM提升50%，還搭載了ECC校檢（On Die-ErrorCorrection Code），可以自動(dòng)更正DRAM單元（cell）傳輸數據的錯誤，從而提升了產(chǎn)品的可靠性。

此外，SK海力士預計在今年年底前供應HBM3E樣品，并在2024年開(kāi)始量產(chǎn)，將下一代產(chǎn)品HBM4的生產(chǎn)目標時(shí)間定在了2026年。

三星

三星跳過(guò)HBM1，于2016年首次量產(chǎn)HBM2產(chǎn)品，同一年發(fā)布了4GB和8GB的HBM2 DRAM；2020年2月，三星正式宣布推出其16GB HBM2E產(chǎn)品“Flashbolt”。

2021年三星宣布了一項新的突破，面向AI人工智能市場(chǎng)首次推出了HBM-PIM技術(shù)，在存儲芯片上集成了計算功能而不是CPU、內存數據分離，實(shí)現了原HBM2兩倍的性能，同時(shí)功耗還降低了70%。預計2024年實(shí)現接口速度高達7.2Gbps的HBM3P，2025年在新一代面向AI的GPU中見(jiàn)到HBM3P的應用。

美光

美光最開(kāi)始是和英特爾一起開(kāi)發(fā)HMC（混合內存）技術(shù)，雖然也使用了TSV，但是和HBM完全不同，也不兼容。直到2018年美光才正式放棄HMC，開(kāi)始追趕HBM，于2020年7月宣布大規模量產(chǎn)HBM2E，HBM3也仍作為其產(chǎn)品線(xiàn)在持續研發(fā)之中，預計將于2024年初開(kāi)始量產(chǎn)。

HBM的下游也在持續發(fā)力，英偉達歷代主流訓練芯片基本都配置HBM；英特爾Sapphire Rapids發(fā)布全球首款配備HBM的X86 CPU；AMD也在持續更新HBM產(chǎn)品線(xiàn)。

同時(shí)值得一提的是，由于HBM主要和GPU搭載使用，封裝主要以TSV 3D封裝進(jìn)行，所以通常在晶圓廠(chǎng)內完成，當前臺積電、格芯等也在發(fā)力HBM技術(shù)的研究與制造。

臺積電宣布與博通合作強化CoWoS平臺，該平臺技術(shù)常用于HBM的整合封裝，新一代CoWoS技術(shù)能夠容納多個(gè)邏輯系統單芯片以及多個(gè)HBM。業(yè)內消息稱(chēng)臺積電將量產(chǎn)其第六代CoWoS技術(shù)，可在單個(gè)封裝內集成12顆HBM。

格芯與SiFive也宣布共同開(kāi)發(fā)基于12LP/12LP+ FinFET工藝的HBM2E。據介紹，SiFive基于格芯12LP平臺和12LP+解決方案的可定制HBM接口將實(shí)現高帶寬存儲輕松集成到單個(gè)片上系統（SoC）解決方案中。

存儲巨頭相繼入局、上下游廠(chǎng)商發(fā)力，HBM受到越來(lái)越多的關(guān)注與青睞，有人甚至認為HBM未來(lái)將取代DDR。

VR和AR是HBM未來(lái)將主要發(fā)力的領(lǐng)域。因為VR和AR系統需要高分辨率的顯示器，這些顯示器需要更多的帶寬來(lái)在GPU和內存之間傳輸數據。而且，VR和AR也需要實(shí)時(shí)處理大量數據，這都需要HBM的超強帶寬來(lái)助力。蘋(píng)果最新推出的頭顯設備Vision Pro也傳出內置了SK海力士專(zhuān)門(mén)設計的高帶寬DRAM來(lái)提升圖像數據的處理效率。

此外，智能手機、平板電腦、游戲機和可穿戴設備的需求在不斷增長(cháng)，這些設備需要更先進(jìn)的內存解決方案來(lái)支持其不斷增長(cháng)的計算需求，HBM也有望在這些領(lǐng)域得到增長(cháng)。并且，5G和物聯(lián)網(wǎng)（IoT）等新技術(shù)的出現也進(jìn)一步推動(dòng)了對HBM的需求。

在自動(dòng)駕駛方面，智能汽車(chē)和車(chē)路協(xié)同場(chǎng)景都涉及大量的數據傳輸，HBM的帶寬優(yōu)勢能夠發(fā)揮作用，但是由于成本問(wèn)題，HBM3距離“上車(chē)”還有些時(shí)日。

目前而言，DDR仍為DRAM市場(chǎng)主流產(chǎn)品，與龐大的DRAM市場(chǎng)比起來(lái)，HBM市場(chǎng)占比較低，大約只占整個(gè)DRAM市場(chǎng)的1.5%?，F在HBM還是主要應用于服務(wù)器、數據中心等領(lǐng)域，消費領(lǐng)域對成本比較敏感，因此HBM的使用較少。亦仍有待進(jìn)一步提升技術(shù)、降低成本，HBM未來(lái)或將大有所為。

新技術(shù)革新的難點(diǎn)

目前困擾HBM的問(wèn)題之一是成本，3D堆疊成本高昂。因為有一個(gè)邏輯芯片位于芯片堆疊的底部，這是必須支付的額外硅片，然后是硅中介層，最后還需要一個(gè)更大的封裝等等，這是需要付出昂貴代價(jià)的。

同時(shí)，由于HBM采用復雜的TSV封裝工藝，其生產(chǎn)良率較低，產(chǎn)品開(kāi)發(fā)周期較長(cháng)，生產(chǎn)成本也較高。并且如果組成垂直結構的一部分完全失效，則必須丟棄整個(gè)結構，這會(huì )使通過(guò)TSV互連的系統制造起來(lái)更加昂貴。目前存在的HBM脫離了消費者領(lǐng)域，相比之下GDDR6等圖形內存雖然無(wú)法提供與HBM一樣多的性能，但成本卻顯著(zhù)降低。

另外，芯片在某些溫度條件下達到其時(shí)鐘速度，如果附近有另一個(gè)也會(huì )發(fā)熱的芯片會(huì )受到影響。大量DRAM堆疊和GPU封裝在一起產(chǎn)生大量的熱，如何散熱也是HBM極大的挑戰。

雖然HBM的高帶寬小體積是優(yōu)點(diǎn)，但是其堆疊工藝導致它缺乏靈活性，導致難以擴容且訪(fǎng)問(wèn)延遲高。HBM由于互聯(lián)寬度超寬，這就決定了HBM的傳輸頻率不能太高，否則總功耗和發(fā)熱撐不住，所以延遲高（延遲指從讀取指令發(fā)出，到數據準備就緒的過(guò)程，中間的一個(gè)等待時(shí)間）。

目前來(lái)說(shuō)，CPU+DRAM技術(shù)較為成熟，成本相對較低，在多數對性能沒(méi)有極端需求的場(chǎng)合具有更好的性?xún)r(jià)比，而GPU+HBM的組合則更多用于對算力要求特別高的應用領(lǐng)域。從2D走向3D，集成度更高、能耗效率更高的HBM是未來(lái)趨勢，隨著(zhù)TSV工藝和HBM設計的不斷成熟，HBM自身的性?xún)r(jià)比也會(huì )有所提升，將會(huì )逐漸占據更多的市場(chǎng)。