愛(ài)芯元智AX650N成Transformer最佳落地平臺

近來(lái)，ChatGPT成為社會(huì )各界關(guān)注的焦點(diǎn)。從技術(shù)領(lǐng)域看，ChatGPT的爆發(fā)是深度學(xué)習領(lǐng)域演進(jìn)、發(fā)展和突破的結果，其背后代表著(zhù)Transformer結構下的大模型技術(shù)的飛速進(jìn)展。因此，如何在端側、邊緣側高效部署Transformer也成為用戶(hù)選擇平臺的核心考量。

2023年3月，愛(ài)芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N，依托其在高性能、高精度、易部署、低功耗等方面的優(yōu)異表現，AX650N受到越來(lái)越多有大模型部署需求用戶(hù)的青睞，并且先人一步成為Transformer端側、邊緣側落地平臺。

Transformer是當前各種大模型所采用的主要結構，而ChatGPT的火爆讓人們逐漸意識到人工智能有著(zhù)更高的上限，并可以在計算機視覺(jué)領(lǐng)域發(fā)揮出巨大潛能。相比于在云端用GPU部署Transformer大模型，在邊緣側、端側部署Transformer最大的挑戰則來(lái)自功耗，這也使得愛(ài)芯元智兼具高性能和低功耗特質(zhì)的混合精度NPU，成為端側和邊緣側部署Transformer的首選平臺，而其優(yōu)越性能則決定了Transformer的運行效果。 

作為人工智能視覺(jué)感知芯片研發(fā)及基礎算力平臺公司，愛(ài)芯元智始終致力于讓更多的實(shí)際應用落地。目前大眾普遍采用的Transformer網(wǎng)絡(luò )SwinT，在愛(ài)芯元智AX650N平臺表現出色：361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力，都讓AX650N在Transformer的落地中有著(zhù)領(lǐng)先的優(yōu)勢地位。 

具體來(lái)看，361幀的高性能，可媲美汽車(chē)自動(dòng)駕駛領(lǐng)域基于GPU的高端域控SoC；而80.45%的高精度成績(jì)同樣高于市面平均水平；199 FPS/W的速度則充分體現出低功耗的特點(diǎn)，對比于目前基于GPU的高端域控SoC，有著(zhù)數倍的優(yōu)勢；更為重要的，AX650N部署方便，GitHub上的原版模型可以在愛(ài)芯元智的平臺上高效運行，不需要對模型做修改，亦無(wú)需QAT重新訓練。與此同時(shí)，AX650N支持低比特混合精度，用戶(hù)如果采用INT4，可以極大地減少內存和帶寬占用率，達到有效控制端側、邊緣側部署成本的目的。這些特性都保證了AX650N作為人工智能算力平臺，最終落地效果更好用、更易用，且大幅提升了用戶(hù)效率。 

目前，AX650N已適配包括ViT/DeiT、Swin/SwinV2、DETR在內的Transformer模型，在DINOv2也已達到30幀以上的運行結果，這也更便于用戶(hù)在下游進(jìn)行檢測、分類(lèi)、分割等操作?；?/span>AX650N的產(chǎn)品目前已在智慧城市、智慧教育、智能制造等計算機視覺(jué)核心領(lǐng)域發(fā)揮出重要作用。 

接下來(lái)，愛(ài)芯元智AX650N將會(huì )針對Transformer結構進(jìn)行持續優(yōu)化，并且探索更多的Transformer大模型，例如多模態(tài)大模型，不斷讓Transformer在愛(ài)芯元智平臺上得到更好的落地效果。值得一提的是，愛(ài)芯元智還將推出相應開(kāi)發(fā)板，滿(mǎn)足開(kāi)發(fā)者對Transformer深度研究的需求，探尋更豐富的產(chǎn)品應用。 

“愛(ài)芯元智將繼續努力打造基于芯片+軟件的端側、邊緣側人工智能算力平臺，讓智能落實(shí)到生活的真實(shí)場(chǎng)景，最終實(shí)現普惠AI造就美好生活的企業(yè)愿景”，愛(ài)芯元智創(chuàng )始人、CEO仇肖莘女士表示。未來(lái)，愛(ài)芯元智將在成為人工智能算力平臺型公司的道路上繼續探索，加速基于Transformer的大模型在端側、邊緣側落地的節奏，讓普惠智能真正落地生根，開(kāi)花結果。