NEO推出3D X-AI芯片：AI性能提升100倍，功耗降低99%！

近日，3D NAND 閃存和 3D DRAM 創(chuàng )新技術(shù)的領(lǐng)先開(kāi)發(fā)商 NEO Semiconductor 宣布推出其 3D X-AI芯片技術(shù)，旨在取代高帶寬內存 （HBM） 內部的現有 DRAM 芯片，通過(guò)在 3D DRAM 中實(shí)現 AI 處理來(lái)解決數據總線(xiàn)帶寬瓶頸。

NEO Semiconductor 稱(chēng)，3D X-AI 可以減少 AI 工作負載期間 HBM 和 GPU 之間傳輸的大量數據，這將徹底改變 AI 芯片的性能、功耗和成本，助力各類(lèi)生成式 AI應用。具體來(lái)說(shuō)，采用NEO Semiconductor的3D X-AI技術(shù)的AI芯片可以實(shí)現：

1、100 倍性能加速：包含 8,000 個(gè)神經(jīng)元電路，可在 3D DRAM中執行 AI 處理；

2、功耗降低 99%：最大限度地減少將數據傳輸到 GPU 進(jìn)行計算的需求，從而降低數據總線(xiàn)的功耗和發(fā)熱。

3、8 倍內存密度：包含 300 個(gè)DRAM層，并允許通過(guò)類(lèi)似 HBM 的堆疊，可以運行更大的 AI 模型。

其實(shí)早在2023年5月，NEO Semiconductor就宣布將推出全球首款3D DRAM技術(shù)，該技術(shù)的思路跟3D NAND Flash類(lèi)似，都是通過(guò)堆棧層數來(lái)提高內存容量，類(lèi)似于3D NAND Flash芯片中的FBC浮柵極技術(shù)，但增加一層Mask光罩就可以形成垂直結構，因此良率高，成本低，密度大幅提升。

NEO Semiconductor當時(shí)就表示，其將推出的第一代3D X-DRAM就可以做到230層堆棧，核心容量128Gb，而當前2D DRAM內存的核心容量還在16Gb。

而此次NEO Semiconductor推出的 3D X-AI 芯片，就是在進(jìn)一步提升3D X-DRAM層數的基礎上加入了面向AI的神經(jīng)元電路。

具體來(lái)說(shuō)，單個(gè) 3D X-AI 芯片包括 300 層容量為 128 Gb 的 3D DRAM 單元和一層具有 8,000 個(gè)神經(jīng)元的神經(jīng)回路。根據NEO Semiconductor公布的數據，這可以支持每個(gè)芯片高達 10 TB/s 的 AI 處理吞吐量。如果使用 12 個(gè) 3D X-AI 芯片通過(guò)類(lèi)似HBM的堆疊封裝， 則可以可實(shí)現 120 TB/s 的處理吞吐量，從而實(shí)現 100 倍的性能提升。

“由于架構和技術(shù)效率低下，當前的AI芯片浪費了大量的性能和功率，”NEO Semiconductor的創(chuàng )始人兼首席執行官Andy Hsu說(shuō)?！爱斍暗?AI 芯片架構將數據存儲在 HBM 中，并依賴(lài) GPU 執行所有計算。這種分離的數據存儲和數據處理架構使得數據總線(xiàn)成為不可避免的性能瓶頸。通過(guò)數據總線(xiàn)傳輸大量數據將會(huì )導致性能受限和非常高的功耗。3D X-AI 可以在每個(gè) HBM 芯片中執行 AI 處理。這可以大大減少 HBM 和 GPU 之間傳輸的數據，從而提高性能并顯著(zhù)降低功耗?！?/p>

Network Storage Advisors總裁Jay Kramer表示：“3D X-AI技術(shù)的應用可以加速新興AI用例的開(kāi)發(fā)，并促進(jìn)新用例的創(chuàng )造。利用3D X-AI技術(shù)創(chuàng )建下一代優(yōu)化的AI芯片，將開(kāi)啟AI應用創(chuàng )新的新時(shí)代?！?/p>

編輯：芯智訊-浪客劍