超越HBM：三星將內存處理技術(shù)分解為人工智能應用

人工智能應用帶來(lái)了許多挑戰，包括數據處理和內存。三星希望通過(guò)結合內存處理和高帶寬內存來(lái)解決這些問(wèn)題。

今年的熱芯片33會(huì )議帶來(lái)了很多有趣的技術(shù)專(zhuān)注于人工智能（AI）和高帶寬存儲器（哈佛商學(xué)院）。其中一家公司，尤其是三星展示了整合在它的兩個(gè)設備中，一個(gè)是HBM，另一個(gè)是內存處理（PIM），它將在A(yíng)I算法和應用程序中處理大量數據。

內存處理架構超越了HBM，包括DRAM模塊和移動(dòng)內存。圖片使用由三星

在這篇文章中，讓我們深入了解三星在Hot Chips 33上的表現，以及這對HBM世界的意義。

自1998年以來(lái)，熱芯片一直是一個(gè)世界著(zhù)名的會(huì )議領(lǐng)導半導體行業(yè)，展示先進(jìn)的高性能微處理器和集成電路（IC）。

在今年的活動(dòng)中，三星展示了人工智能技術(shù)內存生態(tài)系統的最新集成解決方案 HBM-PIM公司系統。這個(gè)組合使用錫林克斯阿爾維奧人工智能加速器系統，聲稱(chēng)可以將整個(gè)系統性能提高2.5倍的標準速率，能耗降低70%。

錫林克斯的阿爾維奧人工智能加速器。圖片使用由錫林克斯

更快的速率和更少的能量消耗對人工智能應用至關(guān)重要。人工智能算法和應用程序面臨的一些問(wèn)題來(lái)自于大量的數據，而當前的存儲設備沒(méi)有足夠的容量和帶寬來(lái)滿(mǎn)足這些數據。

如果系統不能處理所有輸入的數據，內存系統的計算性能就會(huì )受到影響。三星集成PIM的計劃應該允許一些數據在內存設備中本地保存和處理，從而減少流量。

數據處理在人工智能應用中是必不可少的，需要一個(gè)重新設計的存儲設備。

如HBM-PIM，以實(shí)現AI加速器引擎支持的計算邏輯。

PIM的功能從集成計算和內存開(kāi)始，使內存設備能夠在本地執行任何操作。

使用PIM，三星可以消除對工業(yè)標準邏輯設備和內存解決方案的需求，這些設備通常執行CPU、GPU和NPU等計算。這種內存解決方案不僅節省了系統的占用空間，而且還最大限度地減少了延遲，提高了處理速度，并提高了整體能效。

三星電子（Samsung Electronics）負責DRAM產(chǎn)品和技術(shù)的高級副總裁金南成（Nam Sung Kim）認為，HBM的未來(lái)在于這項技術(shù)的標準化。一旦實(shí)現了這一點(diǎn)，應用程序的數量就可以增加，并擴展到下一代超級計算機和人工智能應用程序的HBM3中，包括用于設備人工智能的移動(dòng)存儲器和用于數據中心的存儲模塊。

既然三星已經(jīng)制定了更多關(guān)于HBM和PIM的計劃，讓我們看看它的發(fā)布。

三星不僅介紹了HBM-PIM背后的理念和研究成果，還分享了新的設備，這些設備將結合基于人工智能的功能，以增強超級計算機和算法的高速數據處理能力。

Aquabolt XL是三星的預期產(chǎn)品之一，它的特點(diǎn)是在裝有保險絲的HBM設備內安裝了一個(gè)名為可編程計算單元（PCU）的AI引擎。

對于大型數據集，計算和內存受限的人工智能應用所需的容量和帶寬的增加就是為什么需要HBM-PIM，三星將該PIM并入其中，以增強HBM的功能。

Aquabolt XL采用PCU，可在內存系統的核心內實(shí)現并行處理。通過(guò)添加HBM設備，整個(gè)體系結構是健壯的，并且為高數據流量做好了準備。

HBM的核心是PCU引擎，但總體架構是什么？

HBM是通過(guò)堆疊構建的德拉姆模具相互重疊，允許并行訪(fǎng)問(wèn)每個(gè)DRAM模具。HBM高度的內部并行性對整個(gè)過(guò)程至關(guān)重要。

與單純使用HBM相比，涉及語(yǔ)音識別的人工智能應用程序的性能提高了2倍。在DRAM芯片內部發(fā)生相同數量的計算的情況下，與移動(dòng)數據相關(guān)聯(lián)的IO流量被消除，從而導致功耗降低。

AXDIMM是一種CPU內存數據移動(dòng)，可以避免系統中出現瓶頸，使用PIM將有助于此平臺。

三星發(fā)布的第二款產(chǎn)品是它的加速DIMM（AXDIMM），支持對DRAM模塊的處理，最大限度地減少CPU和DRAM之間的大數據移動(dòng)。

這種數據移動(dòng)的最小化可以提高所有人工智能加速器系統的能源效率。本質(zhì)上，這個(gè)芯片作為一個(gè)緩沖區，里面有一個(gè)人工智能引擎。AXDIMM可以執行多個(gè)內存列組（DRAM芯片集）的并行處理，而不是一次訪(fǎng)問(wèn)一個(gè)列組?？偟膩?lái)說(shuō)，這個(gè)模塊聽(tīng)起來(lái)很有前途，因為它可以保留傳統的DIMM形式，而AXDIMM則成為一個(gè)不需要修改系統的直接替代品。

為了保持雙倍統計的主題，三星的AXDIMM在基于人工智能的應用程序中提供了兩倍的性能，整體系統的能耗降低了40%。

同樣，盡管前景看好，但看到三星在HBM方面如何發(fā)展PIM將是一件很有趣的事情。

一旦三星開(kāi)始融合PIM和HBM，就不需要額外的工作來(lái)將PIM與其他行業(yè)標準的存儲系統結合起來(lái)，比如低功耗雙數據速率（LPDDR）和圖形雙數據速率（GDDR）。集成的便利性可能會(huì )為PIM打開(kāi)許多大門(mén)。

工程師、計算機架構師和技術(shù)愛(ài)好者預計，三星將在2022年擴大其人工智能內存產(chǎn)品組合，包括所有PIM技術(shù)。三星公司的領(lǐng)導者們需要繼續推出基于人工智能的自動(dòng)語(yǔ)音識別系統，并計劃推出更大容量的智能語(yǔ)音識別系統。