愛(ài)芯元智正式公布混合精度NPU中文名稱(chēng)“愛(ài)芯通元?”

中國 上海 2023年7月19日——愛(ài)芯元智宣布，企業(yè)核心技術(shù)混合精度NPU正式啟用中文名稱(chēng)“愛(ài)芯通元^?”。與此同時(shí)，愛(ài)芯元智聯(lián)合創(chuàng )始人、副總裁劉建偉在第三屆中國集成電路設計創(chuàng )新大會(huì )暨無(wú)錫IC應用博覽會(huì )（ICDIA 2023）的“AIoT與ChatGPT”專(zhuān)題論壇上，受邀做《愛(ài)芯元智AX650N Transformer端邊落地平臺》主題演講，并介紹了第三代SoC芯片AX650N在端側、邊緣側部署Transformer的領(lǐng)先優(yōu)勢。 

愛(ài)芯元智混合精度NPU中文名“愛(ài)芯通元^?”正式公布

近年來(lái)，AIoT行業(yè)規?？焖俪砷L(cháng)，不僅是各大傳統行業(yè)智能化升級的最佳通道，也是未來(lái)物聯(lián)網(wǎng)發(fā)展的重要方向。同時(shí)，自2022年底發(fā)布以來(lái)，以ChatGPT為代表的大模型引發(fā)國內外科技巨頭的紛紛布局，人工智能發(fā)展也進(jìn)入了一個(gè)全新的時(shí)代?？梢钥吹?，伴隨著(zhù)AIoT以及AI大模型的快速發(fā)展，底層硬件的數據存儲、計算性能、圖形處理能力都面臨著(zhù)極高的要求。

在愛(ài)芯元智看來(lái)，大模型具有通識能力，能夠降低人工智能在場(chǎng)景落地的成本，而未來(lái)，每一個(gè)人都可能在終端擁有一個(gè)智能助手。在人工智能發(fā)展的過(guò)程中，愛(ài)芯元智提供的則是芯片基建，即通過(guò)人工智能芯片提供感知與計算的基礎能力，助力AI在端側邊緣側的落地。

感知層面，愛(ài)芯元智致力于讓攝像頭看得更清，從而打造物理世界的數字化入口；計算層面，愛(ài)芯元智致力于讓攝像頭看得懂，將為各種AI模型在端側和邊緣側的落地提供更高的算力基礎。本次ICDIA 2023現場(chǎng)，愛(ài)芯元智正式公布了混合精度NPU的官方中文名“愛(ài)芯通元^?”，意在為各種智能算法提供基本算力支撐，讓智能在端側和邊緣側對世界產(chǎn)生更深入的理解，助力更美好的生活。 

定位人工智能感知與邊緣計算基礎算力平臺，愛(ài)芯元智自2019年成立以來(lái)便聚焦感知與計算基礎能力，自主研發(fā)了愛(ài)芯智眸^?AI-ISP和愛(ài)芯通元^?混合精度NPU兩大核心技術(shù)。后者通過(guò)減少內存墻和功耗墻的阻礙，在端側邊緣側面積、功耗受限的情況下，以更高的有效算力支持更多的智能算法，降低AI部署成本。 

目前，愛(ài)芯元智已完成四代多顆芯片產(chǎn)品的研發(fā)和量產(chǎn)工作，并逐漸落地智慧城市、智能駕駛和AIoT三大市場(chǎng)?！斑@些市場(chǎng)都將感知和計算作為基本能力，這也是愛(ài)芯元智選擇不同市場(chǎng)的邏輯”，劉建偉表示。 

高性能、高精度、易部署，愛(ài)芯元智AX650N成Transformer最佳落地平臺活 

在A(yíng)I芯片設計開(kāi)發(fā)時(shí)，愛(ài)芯元智高度重視應用、算法與NPU的深度結合。應用方面，愛(ài)芯元智通過(guò)數據流優(yōu)化、前后級處理加速來(lái)實(shí)現更高的性能；算法方面，愛(ài)芯元智會(huì )通過(guò)算子加速、網(wǎng)絡(luò )微結構加速、內存優(yōu)化等設計，從算法的角度來(lái)提高硬件的利用率；同時(shí)，愛(ài)芯通元^?混合精度NPU是一個(gè)異構多核系統，并且內置多核硬件調度機制減少對CPU的占用，讓系統應用跑得更快。 

基于應用、算法與NPU聯(lián)合優(yōu)化的設計理念，愛(ài)芯元智推出的邊緣側、端側人工智能處理器芯片均具有高性能、低功耗等優(yōu)勢，其第三代高算力、高能效比SoC芯片AX650N更成為T(mén)ransformer最佳落地平臺。 

實(shí)測數據顯示，愛(ài)芯元智AX650N不僅在傳統的CNN網(wǎng)絡(luò )上性能優(yōu)異，在端側部署Transformer網(wǎng)絡(luò )SwinT也表現出色，實(shí)現了361FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力。同時(shí)，AX650N還支持低比特混合精度，用戶(hù)如果采用INT4，可以極大地減少內存和帶寬占用率，從而有效控制端側邊緣側部署的成本。

目前，愛(ài)芯元智AX650N已適配ViT/DeiT、Swin/SwinV2、DETR等Transformer模型，最先進(jìn)的計算機視覺(jué)自監督模型DINOv2也在A(yíng)X650N上達到了30幀以上的運行結果。為了幫助開(kāi)發(fā)者對Transformer做更好的落地嘗試，愛(ài)芯元智還推出了基于A(yíng)X650N的面向生態(tài)社區和行業(yè)應用的開(kāi)發(fā)套件“愛(ài)芯派Pro”，助力探索更豐富的產(chǎn)品應用。

面對大模型掀起的新一輪AI熱潮，愛(ài)芯元智AX650N也將針對Transformer結構進(jìn)行進(jìn)一步優(yōu)化，并且將探索多模態(tài)方向的Transformer模型。愛(ài)芯元智希望通過(guò)感知和計算核心技術(shù)，加速端側邊緣側智能落地，真正實(shí)現普惠AI，讓人們的生活更加美好。