CEVA：助力從移動(dòng)設備到汽車(chē)應用生成式人工智能的部署

Ceva市場(chǎng)資訊副總裁Richard Kingston

與目前基于云的傳統人工智能相比，邊緣智能將有許多更小、功耗更低的用例。邊緣智能的范圍非常廣泛，從在MCU和小型NPU上運行的非常小的神經(jīng)網(wǎng)絡(luò )（如TinyML），適用于語(yǔ)音、視覺(jué)、傳感等多種應用，一直擴展到在智能手機上運行的生成式人工智能和完全自動(dòng)駕駛汽車(chē)。由于在設備上運行人工智能成本更低，無(wú)需將數據發(fā)送到云端，因此邊緣智能擁有廣闊的未來(lái)發(fā)展前景。將人工智能引入許多行業(yè)都極具吸引力，尤其是智能手表、耳塞、智能手機、相機等消費類(lèi)設備，以及預測性維護、工廠(chǎng)自動(dòng)化、個(gè)人電腦、電視、汽車(chē)等工業(yè)領(lǐng)域。Ceva市場(chǎng)資訊副總裁Richard Kingston坦言，未來(lái)幾乎所有行業(yè)都會(huì )采用人工智能。隨著(zhù)處理架構的改進(jìn)和優(yōu)化網(wǎng)絡(luò )的軟件的完善，未來(lái)大部分推理操作都將在邊緣設備上進(jìn)行。

生成式人工智能要求NPU 等處理器能夠運行transformer、全連接（FC）、FC 批處理、RNN、3D 卷積等新網(wǎng)絡(luò )?，F有的人工智能處理器解決方案無(wú)法支持這些生成式人工智能網(wǎng)絡(luò )。它們還需要具有靈活性，以支持新的層級和網(wǎng)絡(luò )，而不僅僅是在硬件中提供所有的網(wǎng)絡(luò )支持。因此，這是邊緣人工智能行業(yè)的拐點(diǎn)。生成式人工智能將用于邊緣設備，生成與語(yǔ)音、聲音和圖像相關(guān)的用例和應用。Ceva市場(chǎng)資訊副總裁Richard Kingston介紹，邊緣人工智能需要新的 NPU 架構，如上所述，因為針對普通人工智能的NPU、DSP、GPU等無(wú)法支持生成式人工智能。此外，編譯和縮減網(wǎng)絡(luò )以在邊緣設備上運行的軟件必須具備很強的能力，能夠以盡可能小的網(wǎng)絡(luò )提供全部性能，以節省內存資源。為此，CEVA在市場(chǎng)上推出了生成式人工智能NPU IP產(chǎn)品Ceva-NeuPro-M，它采用了可擴展的架構，可以滿(mǎn)足移動(dòng)設備對生成式人工智能的任何需求，而且功耗極低、效率極高。Ceva生成式人工智能NPU架構方法的一個(gè)優(yōu)勢是包含一個(gè)矢量引擎，即使移動(dòng)處理器已安裝在設備中，仍可升級NPU 以支持新網(wǎng)絡(luò )。Ceva-NeuPro-M可從32 TOPS擴展到256 TOPS，因此非常適合用于從移動(dòng)設備到汽車(chē)等使用案例中的生成式人工智能。Ceva-NeuPro-M重新定義了智能邊緣設備和邊緣計算的高性能人工智能（AI）處理，具有異構協(xié)同處理功能，主要針對生成式和經(jīng)典人工智能推理工作負載。Ceva-NeuPro-M采用異構協(xié)處理器，首先在每個(gè)內部處理引擎內，其次在引擎之間進(jìn)行復合并行處理，從而實(shí)現了性能上的重大飛躍。

對于Ceva來(lái)說(shuō)，NPU是包括矢量和NPU的異構處理器，以獲得最高性能和支持未來(lái)的靈活性。此外，您還可以添加一個(gè)DSP處理器來(lái)處理傳統的視覺(jué)、聲音和傳感算法。還可以添加Arm或RISC-V處理器來(lái)運行RTOS，但這并非必要。除了這些硬件IP外，Richard Kingston介紹Ceva還提供了完整的軟件Studio，即Ceva-NeuPro Studio。這是一項全面的人工智能編譯器技術(shù)，可為Ceva-NeuPro-M NPU IP架構創(chuàng )建全面優(yōu)化的運行時(shí)軟件。Ceva-NeuPro Studio面向大眾市場(chǎng)的嵌入式設備，將廣泛的網(wǎng)絡(luò )優(yōu)化、先進(jìn)的量化算法、數據流管理和全面優(yōu)化的計算CNN和RNN庫整合到一個(gè)整體解決方案中，從而能夠將云訓練的人工智能模型部署到邊緣設備上進(jìn)行推理處理。

隨著(zhù)邊緣智能的普及，Richard Kingston表示，Ceva將提供一整套處理器來(lái)處理MCU用例的最小網(wǎng)絡(luò )和應用，直到極高性能的自動(dòng)駕駛汽車(chē)，所有處理都將在邊緣高能效地完成。這就是Ceva-NeuPro系列的戰略。我們還提供藍牙、Wi-Fi、UWB、蜂窩5G等所有連接IP，用于連接這些智能設備以及DSP和應用軟件，使得這些設備能夠感知周?chē)h(huán)境。Ceva的愿景是促使任何邊緣設備都能連接、感知和推斷。

（本文來(lái)源于《EEPW》2024.5）