清華大學(xué)發(fā)布創(chuàng )新AI光芯片，實(shí)現160 TOPS/W的通用智能計算

人工智能浪潮下，光芯片發(fā)展在提速。

作為人工智能的三駕馬車(chē)之一，算力是訓練AI模型、推理任務(wù)的關(guān)鍵。

清華大學(xué)科研團隊的新成果發(fā)布在了4月12日凌晨的最新一期《科學(xué)》上，首創(chuàng )分布式廣度智能光計算架構，研制出全球首款大規模干涉衍射異構集成芯片“太極（Taichi）”，實(shí)現了160 TOPS/W的通用智能計算。

據介紹，“太極”光芯片架構開(kāi)發(fā)的過(guò)程中，靈感來(lái)自典籍《周易》，團隊成員以“易有太極，是生兩儀”為啟發(fā)，建立了全新的計算模型，實(shí)現了光計算強悍性能的釋放。

光計算，顧名思義是將計算載體從電變?yōu)楣?，利用光在芯片中的傳播進(jìn)行計算，以其超高的并行度和速度，被認為是未來(lái)顛覆性計算架構的最有力競爭方案之一。

光芯片具備高速高并行計算優(yōu)勢，被寄予希望用來(lái)支撐大模型等先進(jìn)人工智能應用。

據論文第一作者、電子系博土生徐智吳介紹，在“太極”架構中，自頂向下的編碼拆分-解碼重構機制，將復雜智能任務(wù)化繁為簡(jiǎn)，拆分為多通道高并行的子任務(wù)，構建的分布式'大感受野’淺層光網(wǎng)絡(luò )對子任務(wù)分而治之，突破物理模擬器件多層深度級聯(lián)的固有計算誤差。

論文報道：“太極”光芯片具備879T MACS/mm的面積效率與160 TOPS/N的能量效率。首次賦能光計算實(shí)現自然場(chǎng)景千類(lèi)對象識別、跨模態(tài)內容生成等人工智能復雜任務(wù)。

“太極”光芯片有望為大模型訓練推理、通用人工智能、自主智能無(wú)人系統提供算力支撐。

人工智能需要光子電路

人工智能通常依賴(lài)于人工神經(jīng)網(wǎng)絡(luò )，用于分析醫學(xué)掃描和生成圖像等應用。在這些系統中，稱(chēng)為神經(jīng)元的電路組件（類(lèi)似于人腦中的神經(jīng)元）被輸入數據并合作解決問(wèn)題，例如識別人臉。如果神經(jīng)網(wǎng)絡(luò )擁有多層這些神經(jīng)元。

隨著(zhù)神經(jīng)網(wǎng)絡(luò )的規模和功率的增長(cháng)，它們在傳統電子設備上運行時(shí)變得越來(lái)越耗能。例如，為了訓練其最先進(jìn)的神經(jīng)網(wǎng)絡(luò ) GPT-3，2022 年《自然》雜志的一項研究表明，OpenAI 花費了 460 萬(wàn)美元在兩周內運行 9200個(gè)GPU。

電子計算的缺點(diǎn)導致一些研究人員將光學(xué)計算作為下一代人工智能的有希望的基礎進(jìn)行研究。與電子對應物相比，這種光子方法使用光來(lái)更快地執行計算，并且功率更低。

清華大學(xué)領(lǐng)銜開(kāi)發(fā)出的光子微芯片Taichi，可以在高級人工智能任務(wù)中與電子設備一樣執行，同時(shí)被證明更加節能。

“光學(xué)神經(jīng)網(wǎng)絡(luò )不再是玩具模型，”清華大學(xué)電子工程副教授Lu Fang說(shuō)：“它們現在可以應用于現實(shí)世界的任務(wù)?！?/p>

光學(xué)神經(jīng)網(wǎng)絡(luò )是如何工作的？

開(kāi)發(fā)光學(xué)神經(jīng)網(wǎng)絡(luò )主要有兩種策略：1、在微芯片內以特定模式散射光；2、讓光波在器件內部以精確的方式相互干擾。當以光的形式輸入這些光學(xué)神經(jīng)網(wǎng)絡(luò )時(shí)，輸出光會(huì )對這些器件中執行的復雜操作的數據進(jìn)行編碼。

Fang 解釋說(shuō)，這兩種光子計算方法都有明顯的優(yōu)點(diǎn)和缺點(diǎn)。例如，依賴(lài)于散射或衍射的光學(xué)神經(jīng)網(wǎng)絡(luò )可以將許多神經(jīng)元緊密地聚集在一起，并且幾乎不消耗任何能量?；谘苌涞纳窠?jīng)網(wǎng)絡(luò )依賴(lài)于光束在穿過(guò)代表網(wǎng)絡(luò )操作的光學(xué)層時(shí)的散射。然而，基于衍射的神經(jīng)網(wǎng)絡(luò )的一個(gè)缺點(diǎn)是它們無(wú)法重新配置。每個(gè)操作字符串基本上只能用于一個(gè)特定任務(wù)。

相比之下，依賴(lài)于干擾的光學(xué)神經(jīng)網(wǎng)絡(luò )可以很容易地重新配置?；诟蓴_的神經(jīng)網(wǎng)絡(luò )通過(guò)信道網(wǎng)格發(fā)送多個(gè)波束，它們在這些信道相交處的干擾方式有助于執行設備的操作。然而，它們的缺點(diǎn)是干涉儀也很笨重，這限制了這種神經(jīng)網(wǎng)絡(luò )的擴展能力。它們也會(huì )消耗大量能量。

此外，當前的光子芯片會(huì )遇到不可避免的錯誤。試圖通過(guò)增加這些器件中的神經(jīng)元層數量來(lái)擴展光學(xué)神經(jīng)網(wǎng)絡(luò )通常只會(huì )成倍地增加噪聲。這意味著(zhù)，到目前為止，光學(xué)神經(jīng)網(wǎng)絡(luò )僅限于基本的人工智能任務(wù)，例如簡(jiǎn)單的模式識別，換句話(huà)說(shuō)，光學(xué)神經(jīng)網(wǎng)絡(luò )通常不適合先進(jìn)應用。

研究人員表示，相比之下，Taichi是一種結合了衍射和干涉方法的混合設計。它包含衍射單元簇，可以在緊湊的空間內壓縮數據以進(jìn)行大規模輸入和輸出。該芯片還包含干涉儀陣列，用于可重構計算。Fang表示，為 Taichi 開(kāi)發(fā)的編碼協(xié)議將具有挑戰性的任務(wù)和大型網(wǎng)絡(luò )模型劃分為可以分布在不同模塊中的子模型。

Taichi 如何融合這兩種神經(jīng)網(wǎng)絡(luò )？

以前的研究通常試圖通過(guò)模仿電子對應物經(jīng)常做的事情來(lái)擴展光學(xué)神經(jīng)網(wǎng)絡(luò )的容量——增加神經(jīng)元層的數量。Taichi 的架構通過(guò)將計算分布在多個(gè)并行運行的小芯片上來(lái)擴展，這意味著(zhù) Taichi 可以避免當光學(xué)神經(jīng)網(wǎng)絡(luò )將許多神經(jīng)元層堆疊在一起時(shí)發(fā)生的指數級累積錯誤問(wèn)題。

“這種'深度淺，寬度寬'的架構保證了網(wǎng)絡(luò )規模，”Fang說(shuō)。