初創(chuàng )公司的模擬AI承諾為PC提供強大功能

Naveen Verma 在普林斯頓大學(xué)的實(shí)驗室就像一個(gè)博物館，展示了工程師們試圖通過(guò)使用模擬現象而不是數字計算來(lái)提高 AI 超高效的所有方法。一個(gè)工作臺上是有史以來(lái)最節能的基于磁記憶的神經(jīng)網(wǎng)絡(luò )計算機。在另一個(gè)位置，您會(huì )發(fā)現一個(gè)基于電阻存儲器的芯片，它可以計算迄今為止任何模擬 AI 系統中最大的數字矩陣。

Verma 表示，兩者都沒(méi)有商業(yè)前景。不那么仁慈的是，他實(shí)驗室的這一部分是一個(gè)墓地。

多年來(lái)，Analog AI 一直吸引著(zhù)芯片架構師的想象力。它結合了兩個(gè)關(guān)鍵概念，這兩個(gè)概念應該會(huì )大大降低機器學(xué)習的能源密集度。首先，它限制了存儲芯片和處理器之間昂貴的位移動(dòng)。其次，它不是邏輯的 1 和 0，而是使用電流的物理學(xué)來(lái)有效地進(jìn)行機器學(xué)習的關(guān)鍵計算。

盡管這個(gè)想法很有吸引力，但各種模擬 AI 方案并沒(méi)有以一種可以真正消除 AI 令人震驚的能源胃口的方式實(shí)現。維爾瑪會(huì )知道的。他都試過(guò)了。

但是，當 IEEE Spectrum 一年前訪(fǎng)問(wèn)時(shí)，Verma 實(shí)驗室后面有一個(gè)芯片，它代表了模擬 AI 和使 AI 有用和無(wú)處不在所需的節能計算的一些希望。芯片不是用電流計算，而是對電荷求和。這似乎是一個(gè)無(wú)關(guān)緊要的差異，但它可能是克服阻礙所有其他模擬 AI 方案的噪聲的關(guān)鍵。

本周，Verma 的初創(chuàng )公司 EnCharge AI 推出了第一款基于這種新架構的芯片 EN100。這家初創(chuàng )公司聲稱(chēng)，該芯片可以處理各種 AI 工作，每瓦性能比競爭對手的芯片高 20 倍。它被設計到單個(gè)處理器卡中，以 8.25 瓦的功率每秒增加 200 萬(wàn)億次作，旨在延長(cháng)支持 AI 的筆記本電腦的電池壽命。最重要的是，一個(gè) 4 芯片、每秒 1000 萬(wàn)億次作的卡面向 AI 工作站。

當前和巧合

在機器學(xué)習中，“事實(shí)證明，憑著(zhù)愚蠢的運氣，我們所做的主要作是矩陣乘法，”Verma 說(shuō)。這基本上是取一個(gè)數字數組，將其乘以另一個(gè)數組，然后將所有這些乘法的結果相加。很早，工程師們就注意到了一個(gè)巧合：電氣工程的兩條基本規則可以準確地完成這一作。歐姆定律說(shuō)，您可以通過(guò)乘以電壓和電導來(lái)獲得電流?；鶢柣舴螂娏鞫烧f(shuō)，如果有一堆電流從一堆電線(xiàn)進(jìn)入一個(gè)點(diǎn)，那么這些電流的總和就是離開(kāi)該點(diǎn)的。所以基本上，一堆輸入電壓中的每一個(gè)都推動(dòng)電流通過(guò)一個(gè)電阻（電導是電阻的倒數），乘以電壓值，所有這些電流加起來(lái)產(chǎn)生一個(gè)值。數學(xué)，完成。

聽(tīng)起來(lái)不錯？嗯，它會(huì )變得更好。構成神經(jīng)網(wǎng)絡(luò )的大部分數據都是 “權重”，即輸入乘以的數據。將這些數據從內存移動(dòng)到處理器的邏輯中來(lái)完成這項工作，這占了 GPU 消耗的很大一部分能量。相反，在大多數模擬 AI 方案中，權重作為電導值（上面的電阻）存儲在幾種類(lèi)型的非易失性存儲器之一中。因為重量數據已經(jīng)在需要執行計算的位置，所以它不必移動(dòng)那么多，從而節省了大量能源。

自由數學(xué)和穩態(tài)數據的結合有望實(shí)現只需要萬(wàn)億分之一焦耳能量的計算。不幸的是，這并不是模擬 AI 工作所帶來(lái)的好處。

電流的麻煩

任何類(lèi)型的模擬計算的根本問(wèn)題始終是信噪比。Analog AI 一卡車(chē)都有。信號（在本例中為所有這些乘法的總和）往往會(huì )被許多可能的噪聲源所淹沒(méi)。

“問(wèn)題是，半導體器件是雜亂無(wú)章的東西，”Verma 說(shuō)。假設你有一個(gè)模擬神經(jīng)網(wǎng)絡(luò )，其中權重作為電導存儲在單個(gè) RRAM 單元中。通過(guò)在 RRAM 單元上設置相對較高的電壓來(lái)存儲此類(lèi)權重值，并持續一段規定的時(shí)間。問(wèn)題是，您可以在相同的時(shí)間內在兩個(gè)電池上設置完全相同的電壓，而這兩個(gè)電池最終的電導值會(huì )略有不同。更糟糕的是，這些電導值可能會(huì )隨溫度而變化。

差異可能很小，但請記住，該運算會(huì )加很多乘法，因此噪聲會(huì )被放大。更糟糕的是，產(chǎn)生的電流隨后會(huì )轉化為電壓，作為下一層神經(jīng)網(wǎng)絡(luò )的輸入，這一步驟會(huì )進(jìn)一步增加噪聲。

研究人員從計算機科學(xué)和設備物理學(xué)的角度解決了這個(gè)問(wèn)題。為了補償噪聲，研究人員發(fā)明了將設備物理弱點(diǎn)的一些知識融入到他們的神經(jīng)網(wǎng)絡(luò )模型中的方法。其他公司則專(zhuān)注于制造行為盡可能可預測的設備。IBM 在這一領(lǐng)域進(jìn)行了廣泛的研究，兩者兼而有之。

此類(lèi)技術(shù)在較小規模的系統中即使尚未在商業(yè)上取得成功，也具有競爭力，這些芯片旨在為 IoT 網(wǎng)絡(luò )邊緣的設備提供低功耗機器學(xué)習。早期進(jìn)入者 Mythic AI 已經(jīng)生產(chǎn)了不止一代的模擬 AI 芯片，但它正在低功耗數字芯片取得成功的領(lǐng)域競爭。

用于 PC 的 EN100 卡是一種新的模擬 AI 芯片架構。EnCharge 人工智能

電容器一路向下

EnCharge 的解決方案通過(guò)測量電荷量而不是機器學(xué)習乘法累加法中的電荷流來(lái)消除噪聲。在傳統的模擬 AI 中，乘法取決于電壓、電導和電流之間的關(guān)系。在這個(gè)新方案中，它取決于電壓、電容和電荷之間的關(guān)系，其中基本上，電荷等于電容乘以電壓。

為什么這種差異很重要？這歸結為執行乘法運算的組件。EnCharge 沒(méi)有使用像 RRAM 這樣挑剔、易受攻擊的設備，而是使用電容器。

電容器基本上是夾在絕緣體中的兩個(gè)導體。導體之間的電壓差會(huì )導致電荷在其中一個(gè)導體上積聚。對于機器學(xué)習而言，它們的關(guān)鍵是它們的值（電容）由它們的大小決定。（更大的導體面積或導體之間的空間更小意味著(zhù)更大的電容。

“他們唯一依賴(lài)的是幾何形狀，基本上是電線(xiàn)之間的空間，”Verma 說(shuō)?！斑@是 CMOS 技術(shù)中可以非常非常好地控制的一件事?！盓nCharge 在其處理器硅片上方的銅互連層中構建了一系列精確計算的電容器。

構成神經(jīng)網(wǎng)絡(luò )模型大部分的數據（權重）存儲在數字存儲單元陣列中，每個(gè)存儲單元都連接到一個(gè)電容器。然后使用單元內置的簡(jiǎn)單邏輯將神經(jīng)網(wǎng)絡(luò )正在分析的數據乘以權重位，結果以電荷的形式存儲在電容器上。然后數組切換到一種模式，其中乘法結果的所有電荷都累積起來(lái)，結果被數字化。

雖然最初的發(fā)明可以追溯到 2017 年，對 Verma 的實(shí)驗室來(lái)說(shuō)是一個(gè)重要的時(shí)刻，但他表示，基本概念已經(jīng)相當古老了?！斑@被稱(chēng)為開(kāi)關(guān)電容器作;事實(shí)證明，我們已經(jīng)這樣做了幾十年，“他說(shuō)。例如，它用于商用高精度模數轉換器?！拔覀兊膭?chuàng )新是弄清楚如何在執行內存計算的架構中使用它?！?/p>

競爭

Verma 的實(shí)驗室和 EnCharge 花了數年時(shí)間證明該技術(shù)是可編程和可擴展的，并將其與適合 AI 需求的架構和軟件堆棧進(jìn)行協(xié)同優(yōu)化，這與 2017 年大不相同。由此產(chǎn)生的產(chǎn)品現在由早期訪(fǎng)問(wèn)開(kāi)發(fā)人員提供，該公司（最近從 Samsung Venture、Foxconn 和其他公司籌集了 1 億美元）計劃進(jìn)行另一輪早期訪(fǎng)問(wèn)合作。

但 EnCharge 正在進(jìn)入一個(gè)競爭激烈的領(lǐng)域，競爭對手中就有大 kahuna，Nvidia。 在 3 月份的大型開(kāi)發(fā)者活動(dòng) GTC 上，Nvidia 宣布計劃圍繞其 GB10 CPU-GPU 組合構建 PC 產(chǎn)品，并圍繞即將推出的 GB300 構建工作站。

在 EnCharge 所追求的低功耗領(lǐng)域將存在大量競爭。其中一些甚至使用某種形式的內存計算。例如，D-Matrix 和 Axelera 繼承了模擬 AI 的承諾，將內存嵌入到計算中，但以數字方式完成所有工作。他們各自開(kāi)發(fā)了定制的 SRAM 存儲單元，這些單元既可以存儲和乘法，也可以以數字方式進(jìn)行求和運算。甚至至少還有一家更傳統的模擬 AI 初創(chuàng )公司 Sagence。

不出所料，維爾馬很樂(lè )觀(guān)。他在一份聲明中說(shuō)，這項新技術(shù)“意味著(zhù)先進(jìn)、安全和個(gè)性化的人工智能可以在本地運行，而無(wú)需依賴(lài)云基礎設施”?！拔覀兿Ｍ@將從根本上擴展您可以使用 AI 的功能?！?/p>

EnCharge AI 的工作站和邊緣計算機主板集成了四個(gè) EN100 芯片。

 原始圖片：EnCharge AI