人工智能機器視覺(jué)需求猛增，sensAI重塑深度情境感知

智能手機和各類(lèi)物聯(lián)網(wǎng)設備的指數級增長(cháng)推動(dòng)了網(wǎng)絡(luò )邊緣計算的發(fā)展，這些設備無(wú)處不在，但如果將其產(chǎn)生的全部數據都向云端發(fā)送，毫無(wú)疑問(wèn)將為云端處理帶來(lái)極大的負擔。因此，基于網(wǎng)絡(luò )邊緣的處理十分必要，不僅可以降低云端的網(wǎng)絡(luò )通信成本和云存儲成本，還能避免云端數據通道過(guò)載。

目前，網(wǎng)絡(luò )邊緣產(chǎn)品和應用的開(kāi)發(fā)人員越來(lái)越多地采用人工智能和機器學(xué)習(AI/ML)算法來(lái)匹配和識別復雜的模式，以幫助分析數據并據此做出決策。事實(shí)上，AI/ML技術(shù)的使用增長(cháng)極其迅猛，ABI Research的數據顯示，預計到2024年，設備端AI推理功能將覆蓋60%的設備。

但許多可以利用AI/ML功能的網(wǎng)絡(luò )邊緣設備，往往需要在極其嚴苛的功耗限制下運行，充一次電或者僅依靠收集和存儲能量就要工作幾個(gè)月甚至幾年。另一方面，近十年來(lái)AI模型快速發(fā)展，不斷有新的實(shí)現方式產(chǎn)生，需要有更出色的硬件來(lái)承載，這就需要硬件和算法上的優(yōu)化。

作為萊迪思推出的業(yè)界第一款用于網(wǎng)絡(luò )邊緣設備端AI處理的完整解決方案集合，SensAITM提供了供開(kāi)發(fā)人員評估、開(kāi)發(fā)和部署基于FPGA的機器學(xué)習/人工智能解決方案所需的全部資源，包括模塊化硬件平臺、演示示例、參考設計、神經(jīng)網(wǎng)絡(luò )IP核、軟件開(kāi)發(fā)工具和定制化設計服務(wù)，旨在解決系統對于日益嚴格的功耗和小尺寸(5mm2到100mm2)的要求，目前已演進(jìn)到最新的6.0版本。

初識sensAI 6.0

增強對高性能機器視覺(jué)AI解決方案的支持，是此次sensAI 6.0版本推出的初衷。根據IoT Analytics報告，2020年，制造業(yè)和工業(yè)中的人工智能機器視覺(jué)市場(chǎng)規模約為41億美元，預計到2025年將增加至152億美元，年復合年增長(cháng)率(GAGR)為30%，而傳統機器視覺(jué)部署的年復合增長(cháng)率僅為6.5%。

如此高的年復合增長(cháng)率是因為下一代實(shí)時(shí)邊緣人工智能機器視覺(jué)的應用，不僅限于質(zhì)量保證和產(chǎn)品檢測應用，還要幫助制造商和使用者獲得更多的正常運行時(shí)間、獲得預防性維護的能力、提高生產(chǎn)力和確保工人安全等諸多受益。

為順應這一趨勢，sensAI 6.0對硬件平臺的支持從最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant，這也是萊迪思新推出的低功耗中端FPGA平臺。與此前的產(chǎn)品相比，Avant平臺在性能和硬件資源方面得到了進(jìn)一步的強化，例如邏輯單元容量達到了500K，相比以往100K-150K的配置，提升了5倍；帶寬提升了10倍，計算性能提升30倍。它的面世不但意味著(zhù)萊迪思邁入了中端FPGA供應商的行列，還打開(kāi)了一扇通往30億美元增量市場(chǎng)的新大門(mén)。

萊迪思sensAI 6.0解決方案集合

萊迪思sensAI 6.0解決方案集合中的IP核包括多種類(lèi)型的卷積神經(jīng)網(wǎng)絡(luò )(CNN)加速器——CNN、CNN Plus、CNN Compact、Advanced CNN、以及一個(gè)CNN協(xié)處理器引擎，能讓開(kāi)發(fā)人員使用其他人發(fā)布的廣泛使用的各類(lèi)CNN，例如Mobilenet v1/v2、Resent、SSD、VGG、OpenCV和標準機器學(xué)習(ML)訓練平臺，或者根據需要自定義CNN模型，再依托萊迪思FPGA的并行處理能力、分布式存儲器和DSP資源，極大簡(jiǎn)化了超低功耗AI設計的實(shí)現。

SensAI支持多種AI算法模型

軟件工具層面，sensAI Studio設計環(huán)境是一種基于圖形用戶(hù)界面(GUI)的工具，擁有AI模型庫，經(jīng)過(guò)配置和訓練可適用于各類(lèi)主流應用場(chǎng)景，可幫助開(kāi)發(fā)人員快速構建機器學(xué)習應用，此番在sensAI 6.0中與編譯器工具一起獲得更新，用以支持新的AI加速引擎。

Glance by Mirametrix^?計算機視覺(jué)軟件(V10.0)的更新，則主要集中在對用戶(hù)界面、攝像頭功能、外部用戶(hù)界面(UI)模式的優(yōu)化和低功耗FPGA的支持，是本次更新的重點(diǎn)內容之一。

Glance是由Mirametrix公司開(kāi)發(fā)的注意力感應軟件，軟件配合IR Camera(紅外攝像頭)可捕捉用戶(hù)的面部、眼睛和凝視動(dòng)作，從而了解用戶(hù)的意識和注意力。利用這項獨特的技術(shù)開(kāi)發(fā)的智能設備，能提供更自然和沉浸式的用戶(hù)體驗和設備交互。2021年，萊迪思通過(guò)全現金方式交易收購Mirametrix公司，將Mirametrix的專(zhuān)業(yè)知識與萊迪思創(chuàng )新的硬件和軟件解決方案堆棧相結合，從而創(chuàng )建出了一個(gè)從硬件到應用層的端到端AI和計算機視覺(jué)解決方案。

塑造深度情境感知能力

萊迪思FPGA提供可編程I/O，經(jīng)配置可支持傳感器接口常用的多種電氣接口標準，公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議。由于FPGA長(cháng)期以來(lái)在傳感器融合方面具有顯著(zhù)優(yōu)勢，因此萊迪思sensAI 6.0解決方案集合包括許多參考設計示例，演示了多種智能傳感器融合的應用案例，它們可以同時(shí)運行，實(shí)現深入的情景感知，例如：

●   人員偵測

該參考設計使用CMOS圖像傳感器持續檢測人員的存在?；诖嗽O計的AI系統可以使用深度學(xué)習框架（例如Caffe或Tensorflow）更新所提供的訓練模型來(lái)檢測和定位任何感興趣的目標。該參考設計包括一個(gè)神經(jīng)網(wǎng)絡(luò )模型、一個(gè)訓練數據集和可使用常用訓練工具訓練的腳本。

●   條形碼檢測和讀取

條形碼檢測和讀取是一種應用程序，通常使用混合了傳統和基于A(yíng)I/ML的算法的加速工業(yè)PC運行。由于設計者希望降低部署成本，具有內置條形碼讀取功能的攝像頭可以更簡(jiǎn)單地實(shí)現應用程序。因此，此參考設計演示了使用CertusPro NX FPGA語(yǔ)音和視覺(jué)機器學(xué)習板的條形碼檢測，該板實(shí)現了基于Yolov5 NN模型的攝像頭條形碼檢測功能。

資料顯示，該參考設計允許640 x 480的圖像分辨率輸入，裁剪并縮小到160 x 120進(jìn)行處理，檢測結果可在FPGA內疊加至輸入圖像的頂部。同時(shí)，使用Yolov5型網(wǎng)絡(luò )，實(shí)現了在小占地面積內提高精度的目標。

條形碼檢測和讀取參考設計

●   目標檢測、分類(lèi)、追蹤和計數

該參考設計提供了目標檢測、分類(lèi)、追蹤和計數的示例，擁有完整的設計，包括用于萊迪思開(kāi)發(fā)板的FPGA RTL、神經(jīng)網(wǎng)絡(luò )模型、示例訓練數據集以及用于重新創(chuàng )建和更新設計的腳本。

目標分類(lèi)參考設計

●   手勢檢測

該參考設計使用IR圖像傳感器，實(shí)現了一個(gè)基于A(yíng)I的低功耗手勢檢測系統。該參考設計提供了一個(gè)訓練數據集、可使用常用神經(jīng)網(wǎng)絡(luò )訓練工具訓練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò )模型，方便用戶(hù)進(jìn)行修改。

●   人臉檢測

該參考設計使用圖像傳感器實(shí)現基于CNN的人臉識別，并且可以通過(guò)修改訓練數據庫來(lái)識別其他類(lèi)型的目標。

●   關(guān)鍵詞檢測

該參考設計使用數字MEMS麥克風(fēng)持續檢測關(guān)鍵詞話(huà)語(yǔ)。設計人員可以使用深度學(xué)習框架（例如Caffe、Tensorflow或Keras）更新提供的訓練數據集，為系統添加喚醒詞功能。參考設計包括一個(gè)訓練數據集、可使用常用神經(jīng)網(wǎng)絡(luò )訓練工具訓練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò )模型，方便用戶(hù)進(jìn)行修改。

與此同時(shí)，萊迪思還正與合作伙伴和客戶(hù)合作，利用多模式、智能傳感器融合和AI/ML技術(shù)，不斷提升PC/筆記本電腦用戶(hù)的體驗，并顯著(zhù)降低筆記本電腦的運行功耗，在某些應用中，電池使用時(shí)間最多提高了28%。

結語(yǔ)

此次更新的Automate?3.0和sensAI?6.0解決方案集合，均在萊迪思低功耗FPGA上運行，可實(shí)現高效、靈活和安全的工業(yè)應用開(kāi)發(fā)，同時(shí)帶來(lái)低功耗和小尺寸優(yōu)勢。設計人員可以在不依賴(lài)云端的情況下，快速為網(wǎng)絡(luò )邊緣設備提供更多計算資源，從而最大程度幫助客戶(hù)實(shí)現最新的工廠(chǎng)自動(dòng)化和工業(yè)機器視覺(jué)應用。