閃迪提議HBF取代HBM，在邊緣實(shí)現 AI

Sandisk Corp. 正在尋求 3D-NAND 閃存的創(chuàng )新，該公司聲稱(chēng)該創(chuàng )新可以取代基于 DRAM 的 HBM（高帶寬內存）用于 AI 推理應用。

當 Sandisk 于 2025 年 2 月從數據存儲公司 Western Digital 分拆出來(lái)時(shí)，該公司表示，它打算在提供閃存產(chǎn)品的同時(shí)追求新興顛覆性?xún)却婕夹g(shù)的開(kāi)發(fā)。在 2 月 11 日舉行的 Sandisk 投資者日上，即分拆前不久，即將上任的內存技術(shù)高級副總裁 Alper Ilkbahar 介紹了高帶寬閃存以及他稱(chēng)之為 3D 矩陣內存的東西。

在同一場(chǎng)演講中，Ilkbahar 表示，通過(guò)優(yōu)化 NAND 閃存的帶寬，而不是芯片面積和成本，該公司提出了一種稱(chēng)為高帶寬閃存 （HBF） 的架構。

方法是將 NAND 內存陣列劃分為多個(gè)微型陣列，并并行訪(fǎng)問(wèn)每個(gè)陣列。這些多個(gè)微型陣列可以使用鎧俠BICS 3D-NAND技術(shù)在垂直維度上堆疊。這已經(jīng)被用來(lái)生產(chǎn)16層的研發(fā)存儲器，其容量是HBM的8到16倍，價(jià)格類(lèi)似，Ilkbahar說(shuō)。

“我們正在根據主要 AI 參與者的意見(jiàn)來(lái)開(kāi)發(fā)它，”Ilkbahar 告訴投資分析師聽(tīng)眾。他補充說(shuō)，HBF 有可能取代數據中心 GPU 中的 HBM，并將其用途擴展到支持 AI 的智能手機和其他邊緣設備。

目前，一個(gè)典型的 AI-GPU 包括 2 個(gè) GPU 邏輯芯片和 8 個(gè) HBM。即將推出的 AI-GPU 使用這 8 個(gè) HBM 來(lái)提供 192GB 的 DRAM。Ilkbahar 說(shuō)，使用 HBF 可以為組件提供 4TB 的非易失性?xún)却妗?/p>

Ilkbahar 說(shuō)，像 GPT4 這樣要求苛刻的現代 LLM 有 1.8 萬(wàn)億個(gè)參數，使用 16 位權重，需要 3.6TB?！斑@意味著(zhù)整個(gè)模型可以放在單個(gè) GPU 上，避免大量數據移動(dòng)，”他觀(guān)察到。這種效率對于即將推出將文本與音頻和視頻相結合的多模態(tài)模型非常重要。

由于內存、性能和功耗限制，智能手機上的 AI 一直專(zhuān)注于減小 LLM 大小，但結果并不令人滿(mǎn)意。Ilkbahar 說(shuō)，這推遲了邊緣 AI 的發(fā)展。但是，更高級的 LLM，或者基于專(zhuān)家混合模型的 LLM，可能具有 640 億個(gè)參數，具有 8 位權重，需要 64GB 的內存?！皢蝹€(gè) HBF 芯片可以包含該模型，”Ilkbahar 說(shuō)。

Ilkbahar 承認 HBF 不能直接替代 HBM，但表示 Sandisk 已決定以最少的協(xié)議更改驅動(dòng)基于相同電氣接口的開(kāi)放標準接口。為此，Sandisk 正在組建一個(gè)由行業(yè)杰出人士和合作伙伴公司代表組成的技術(shù)顧問(wèn)委員會(huì )。

Ilkbahar 沒(méi)有透露合作伙伴的姓名，也沒(méi)有提供引入 HBF 的時(shí)間表。他確實(shí)展示了一個(gè)路線(xiàn)圖，顯示與第一代 HBF 相比，容量和讀取帶寬翻了一番，能效提高了 36%。