比GPU快幾百倍！曦智科技首發(fā)新一代光電混合計算卡：128×128光子矩陣

3月26日消息，曦智科技今天正式發(fā)布全新光電混合計算卡“曦智天樞”，首次實(shí)現了光電混合計算在復雜商業(yè)化模型中的應用。

曦智科技是全球領(lǐng)先的光電混合算力提供商，在集成光子領(lǐng)域取得了開(kāi)創(chuàng )性的突破，掌握了光子矩陣計算(oMAC)、片上光網(wǎng)絡(luò )(oNOC)、片間光網(wǎng)絡(luò )(oNET)三大核心技術(shù)，打造了光子計算、光子網(wǎng)絡(luò )兩大產(chǎn)品線(xiàn)。

2021年12月，曦智科技首次對外發(fā)布光電混合計算產(chǎn)品，成功驗證了光電混合計算在特定算法下，相較于主流GPU的速度優(yōu)勢多達數百倍。

曦智科技認為，光電混合將會(huì )為人工智能、大語(yǔ)言模型、智能制造等領(lǐng)域帶來(lái)算力革新。

本次發(fā)布的曦智天樞，深度融合了光芯片、電芯片各自的優(yōu)勢，并采用3D先進(jìn)封裝技術(shù)，支持可編程。

它在光電集成度、光子矩陣規模、精度、可編程性等方面，都比前代產(chǎn)品實(shí)現了明顯的性能提升。

比如在支持科學(xué)計算（如伊辛算法）基礎上，加強了對于ResNet50等商業(yè)算法應用的支持，既保持了光計算優(yōu)勢，還大幅提升了產(chǎn)品通用適配性。

天樞采用非相干架構，不僅易于系統擴展，還具備出色的抗干擾能力、更高的計算精度。

它的核心處理器包括光學(xué)處理單元（OPU）、電學(xué)專(zhuān)用集成電路（ASIC），光芯片和電芯片通過(guò)3D TSV硅通孔、FlipChip倒裝芯片封裝技術(shù)進(jìn)行整合、協(xié)同工作，可顯著(zhù)降低延遲、提升信號傳輸完整性，其中光芯片面積達到600平方毫米，比上代增大3倍。

芯片主頻為1GHz，輸出精度8bit，比上代提升8倍。

光芯片上的器件數量超4萬(wàn)個(gè)，但器件尺寸進(jìn)一步縮小，集成度顯著(zhù)提升。

最大可支持128x128矩陣規模，是上一代64×64的4倍，運算能力、靈活性都得到了極大的提升。

此外，用戶(hù)可以通過(guò)API自由配置計算矩陣系數，擁有更強的適應性和優(yōu)化空間。

據悉，光子計算是一種被動(dòng)運算，運算任務(wù)在光通過(guò)光子矩陣的過(guò)程中即可完成，顛覆了傳統CMOS電子芯片的運算邏輯。

光子芯片的性能提升與光子矩陣規模、主頻速率、波長(cháng)數量等參數相關(guān)，而不依賴(lài)晶體管的密度及芯片制程的提升。

曦智科技還首次提出了等效光算力（EOPP）標準，是一種考慮了矩陣規模、輸出精度、權重刷新速度等的綜合算力評價(jià)方法，相比當前主流的電芯片指標計算方法，更符合光計算的原理和特點(diǎn)。

軟件方面，天樞搭載了曦智光電混合計算軟件棧，算子庫包含RVV(RiscV Vector)算子，電矩陣(dMAC)加速算子、光矩陣(oMAC)加速算子，支持CV類(lèi)和LLM類(lèi)模型，以及包括Ising、LineSolver在內的non-AI算子。

用戶(hù)借助曦智編譯器，可以靈活地運用這些算子來(lái)構建高效的應用模型。

此外，平臺還支持用戶(hù)自定義算子，通過(guò)OpenCL C/C++語(yǔ)言進(jìn)行編譯和優(yōu)化，進(jìn)一步擴展了算法開(kāi)發(fā)的靈活性。

曦智科技的軟件棧與Pytorch、ONNX等主流框架深度集成，可通過(guò)軟件棧直接使用天樞的光矩陣和電矩陣加速單元對模型和算法進(jìn)行加速和驗證，也可以將模型通過(guò)曦智編譯框架編譯部署在端側進(jìn)行推理。

通過(guò)軟件棧，天樞成功運行了ResNet50深度卷積神經(jīng)網(wǎng)絡(luò )模型、Llama 2 AI大語(yǔ)言模型，首次實(shí)現了光電混合計算在商業(yè)化場(chǎng)景中的應用。

目前，曦智科技已啟動(dòng)下一代光電混合計算產(chǎn)品的研發(fā)，將會(huì )進(jìn)一步提升計算能力。