XMOS為普及AI應用推出基于軟件定義SoC的多模態(tài)AI傳感器融合接口

全球領(lǐng)先的邊緣AI和智能音頻專(zhuān)家XMOS近日宣布：公司已推出端側多模態(tài)AI傳感器融合接口（AI Sensor Hub），該接口利用XMOS的xcore軟件定義系統級芯片（SoC）上靈活的接口和高效的算力，在邊緣對來(lái)自不同接口的包括音頻、圖像、視覺(jué)和其他多種傳感器輸出的多模態(tài)信號進(jìn)行融合以及AI計算，既可支持本地設備獨立地對各種傳感器信號進(jìn)行AI推理計算，也可作為智算系統的輸入前端并執行相應的功能。該方案可立即實(shí)施的應用包括大模型、云服務(wù)和專(zhuān)用網(wǎng)絡(luò )及系統的智能接入，以及智能視頻門(mén)鈴、視頻監控設備、多模態(tài)傳感器集中器、車(chē)牌識別等邊緣智能設備。

與那些裝備精良、耗費靡多的云服務(wù)和計算機系統不同，XMOS利用其集AI、DSP、控制和I/O于一體的xcore軟件定義SoC，結合諸如深度神經(jīng)網(wǎng)絡(luò )（DNN）等模型，可以超小型化和低功耗的單芯片就實(shí)現了這些多種傳感信號的多模態(tài)AI處理。XMOS的多模態(tài)技術(shù)已經(jīng)取得了突破性進(jìn)展，合作伙伴通過(guò)使用xcore這樣的嵌入式SoC不僅運行了DNN模型，還開(kāi)發(fā)了實(shí)現人臉檢測、特征提取、身份驗證、安防報警、車(chē)牌識別和圖像分類(lèi)等功能的系統解決方案，而且還根據平臺需求開(kāi)發(fā)了實(shí)時(shí)數據預處理智能前端。

xcore.ai之所以能夠在各種AI應用中成為一種可以提供低延遲和高度確定性的AI功能的處理器，得益于獨特的多線(xiàn)程微架構。每個(gè) xcore.ai 具有 16 個(gè)邏輯內核，分屬兩個(gè)多線(xiàn)程處理器功能塊，而每個(gè)功能塊配備 512kB 的 SRAM 和一個(gè)提供整數和浮點(diǎn) ALU 的矢量單元。強大的處理器間通信基礎設施為每個(gè)集成處理器和多個(gè) xcore.ai SoC 之間提供高速通信，不僅可以實(shí)現最終的可擴展性，而且還實(shí)現了并行多線(xiàn)程、多核矩陣計算。

系統架構

XMOS解決方案的優(yōu)勢

●   可以無(wú)需聯(lián)網(wǎng)，持續工作，始終可用

●   無(wú)需外部存儲，完成實(shí)時(shí)圖像等信號的處理

●   絕對保護隱私，可設置為離線(xiàn)解決方案，不將數據傳遞到云端

●   邊緣AI提供低延遲響應

●   將所有代碼和模式的大小縮減到僅有0.6MB

XMOS xcore.ai處理器如何支持邊緣AI?

●   可開(kāi)發(fā)和訓練你自己的模型

●   使用XMOS的“AI工具”進(jìn)行轉換

●   生成最優(yōu)化的、矢量化的xcore代碼

●   可同時(shí)運行多個(gè)模型

●   用C或C++語(yǔ)言定義您自己的應用程序

對于A(yíng)I芯片的開(kāi)發(fā)來(lái)說(shuō)，友好的開(kāi)發(fā)環(huán)境極為重要。為了幫助設計師更好地開(kāi)發(fā)各種邊緣AI應用，XMOS把所有計算資源及其調度管理都放在同一個(gè)易用和強大的開(kāi)發(fā)環(huán)境中。這為開(kāi)發(fā)人員提供了完善的技術(shù)支持、工具支持和其他支持。XMOS提供完善的開(kāi)發(fā)工具鏈與豐富的軟件庫，如免版稅的軟件、強大的XTC開(kāi)發(fā)工具套件，以及專(zhuān)門(mén)設計的評估平臺。通過(guò)使用這些工具，顯著(zhù)降低了開(kāi)發(fā)難度，幫助工程師快速將產(chǎn)品概念轉化為實(shí)際應用，并縮短了產(chǎn)品上市時(shí)間。

“XMOS的多模態(tài)AI模型處理功能可在最具挑戰性的應用場(chǎng)景中，實(shí)現實(shí)時(shí)的、持續工作的AI應用，同時(shí)保護個(gè)人數據和隱私，” XMOS亞太區市場(chǎng)和銷(xiāo)售負責人牟濤說(shuō)道?！爱斎?，該方案也可以根據需要，靈活地作為大模型、云和網(wǎng)絡(luò )的智能輸入接口，對傳感信號進(jìn)行數據格式轉換提供給下一級平臺處理，或者進(jìn)行本地AI處理后只將關(guān)鍵信息提供給平臺。同時(shí)，XMOS提供的集成開(kāi)發(fā)環(huán)境和第三方軟件可以很方便地開(kāi)發(fā)出商用的邊緣AI解決方案”

與XMOS面對面交流

第23屆廣州國際專(zhuān)業(yè)燈光、音響展覽會(huì )（以下簡(jiǎn)稱(chēng)“廣州展”）將于5月27 – 30日在中國進(jìn)出口商品交易會(huì )展館A、B、D區盛大啟幕！XMOS作為全球領(lǐng)先的數字音頻及多媒體AI處理芯片及解決方案提供商，將攜其分銷(xiāo)商曉龍國際、威健實(shí)業(yè)和瑞致科技，以及增值分銷(xiāo)及設計公司飛騰云和其它方案公司共同參加本屆廣州展，屆時(shí)將展出先進(jìn)音頻接口、AI降噪及空間音頻、DSP音效、Hi-Fi解碼器參考設計和麥克風(fēng)陣列參考設計等技術(shù)和方案。歡迎蒞臨XMOS展位：5.2A66。