基于i.MX 95 的AI攝像頭或AI工業(yè)電腦展示推理性能

智慧浪潮崛起：AI與邊緣計算的時(shí)代 正悄然深植于我們的日常生活之中，無(wú)論是火熱的 ChatGPT 與 DeepSeek 語(yǔ)言模型，亦或是 Meta 智能眼鏡，AI 技術(shù)已經(jīng)無(wú)形地影響著(zhù)我們的生活。這股變革浪潮并未停歇，而是進(jìn)一步催生了更高效、更貼近現實(shí)需求的技術(shù)演進(jìn)。 

然而，隨著(zhù) AI 應用場(chǎng)景的拓展，傳統云計算在實(shí)時(shí)性、隱私保護與帶寬等方面逐漸面臨瓶頸。特別是在自動(dòng)駕駛、智慧醫療、工業(yè)自動(dòng)化等高精度應用中，毫秒級的延遲可能導致關(guān)鍵決策錯誤。因此，邊緣計算(Edge Computing) 應運而生，它讓數據處理更接近來(lái)源端 實(shí)現更低延遲、更高安全性與更高效率的 AI計算模式。

這一轉變的核心驅動(dòng)力來(lái)自于 神經(jīng)運算處理單元(Neural Processing Unit, NPU) 的發(fā)展，使小型化設備具備更強的計算能力，降低了數據傳輸的延遲與成本，同時(shí)提升了隱私安全性，使 AI 能夠在更多元的場(chǎng)景中落地。 

視覺(jué)AI的崛起：改變世界的關(guān)鍵應用 從醫療診斷到自動(dòng)駕駛，視覺(jué)AI的應用范圍愈加廣泛，并深刻改變著(zhù)各大產(chǎn)業(yè)的運作模式。

以下是AI在視覺(jué)領(lǐng)域的重要應用：

• 智能監控：智能監控(Intelligent Surveillance)：通過(guò)實(shí)時(shí)目標檢測、行為分析與入侵預警，強化城市安全與監控系統。

• 智慧零售(Smart Retail)：通過(guò)顧客行為分析與智能貨架管理，提升購物體驗，優(yōu)化銷(xiāo)售策略。

• 醫療影像分析(Medical Image Analysis)：運用AI協(xié)助醫生進(jìn)行疾病診斷，如腫瘤檢測與病變識別，提高醫療準確性。

• 工業(yè)質(zhì)檢(Industrial Quality Inspection)：自動(dòng)化檢測產(chǎn)品瑕疵，提高制造業(yè)質(zhì)量管控與生產(chǎn)效率。

• 高級輔助駕駛系統(ADAS)：通過(guò)AI處理視覺(jué)信息，分析道路環(huán)境、行人及障礙物，提升行車(chē)安全與決策能力。

• 農業(yè)監測(Agricultural Monitoring)：通過(guò)AI視覺(jué)技術(shù)，農民可以監測作物健康狀況，檢測病蟲(chóng)害，優(yōu)化農業(yè)管理，提高產(chǎn)量和品質(zhì)。

• 自走車(chē)(Autonomous Mobile Robots)：自走車(chē)利用AI技術(shù)，通過(guò)傳感器和算法，自主導航并避開(kāi)障礙物，應用于物流、巡檢等多種場(chǎng)景。

• 機械手臂(Robotic Arms)：在制造業(yè)中，機械手臂結合AI與視覺(jué)系統，能夠精確地執行組裝、焊接等任務(wù)，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。

• 自動(dòng)送餐系統(Automated Food Delivery Systems)：外賣(mài)平臺如 Uber Eats，正在美國多個(gè)城市部署由 Serve Robotics 開(kāi)發(fā)的送餐機器人，這些機器人配備 AI 技術(shù)，能自主導航至顧客所在地，提供高效的送餐服務(wù)。

• 無(wú)人機影像分析(Drone Image Analysis)：AI驅動(dòng)的視覺(jué)系統使無(wú)人機能夠進(jìn)行地形測繪、災害評估和基礎設施檢查，提供高效的數據收集和分析。 

當 AI 與邊緣計算技術(shù)結合后，這些應用將變得更高效、更可靠，也更貼近人們的實(shí)際需求。未來(lái)的世界，將是一個(gè)充滿(mǎn)智慧、無(wú)縫連接的數字時(shí)代，AI 不僅是技術(shù)，更是推動(dòng)產(chǎn)業(yè)變革與人類(lèi)進(jìn)步的關(guān)鍵動(dòng)力。

圖1 i.MX95 EVM板應用場(chǎng)景 

NXP 的 i.MX 95 應用處理器系列以其強大的多核心架構，為高性能和實(shí)時(shí)應用提供了堅實(shí)的基礎。該系列處理器配備六個(gè) Arm? Cortex-A55 核心、一個(gè) Arm Cortex-M7 核心，以及一個(gè) Arm Cortex-M33 核心，這種配置使系統能夠在應用層面、系統層面和實(shí)時(shí)處理等多個(gè)領(lǐng)域實(shí)現卓越的性能。 

為了進(jìn)一步提升 人工智能(AI) 應用的效率，i.MX 95 系列整合了 NXP 的 eIQ? Neutron 神經(jīng)處理單元(Neural Processing Unit, NPU)，提供高達 2 TOPS (每秒萬(wàn)億次運算) 的運算能力。這使得推理計算的時(shí)間大幅縮短，例如，在運行常見(jiàn)的物體檢測模型 YOLOv5 時(shí)，處理單張圖片僅需約 5 毫秒 (ms) 即可完成識別，展現了極高的運算速度。 

此外，i.MX 95 系列還配備了先進(jìn)的 影像處理單元(Image Signal Processor, ISP)和 2D/3D 圖形處理器(Graph Processor Unit)，支持 4K 分辨率下每秒 60 幀的編解碼能力這些功能使得傳統的圖像縮放、格式轉換和視頻解碼等任務(wù)得以高效處理，確保圖像流的優(yōu)化。

圖2 i.MX 95 方塊圖示意圖圖文出處：NXP 官網(wǎng) 

i.MX 95 應用處理器系列提供豐富的 I/O 接口，方便用戶(hù)連接各種周邊設備，滿(mǎn)足多樣化的應用需求。其支持的接口包括：

• MIPI-CSI：支持多個(gè)攝像頭的連接 (最高支持 8 路)，適用于高分辨率圖像采集，滿(mǎn)足先進(jìn)的圖像處理和機器視覺(jué)應用需求。

• 以太網(wǎng)接口：配備 1 個(gè) 10GbE 和 2 個(gè) Gb 以太網(wǎng)接口，支持時(shí)間敏感網(wǎng)絡(luò )(TSN)、音視頻橋接(AVB) 和 IEEE 1588 同步協(xié)議，確保高速且精確的數據傳輸，適用于工業(yè)自動(dòng)化和車(chē)載網(wǎng)絡(luò )等需要高可靠性和低延遲的應用。

• USB 接口：提供 1 個(gè) USB 3.0 Type C 和 1 個(gè) USB 2.0 Type C 接口，支持高速數據傳輸和多種外接設備，提升系統的擴展性和靈活性。

• CAN FD 接口：具備 5 個(gè) CAN FD 接口，適用于車(chē)輛和工業(yè)控制系統，提供可靠的通信能力，支持更高的數據速率和更高效的數據傳輸。

• 串行通信接口：支持 8 個(gè) UART、8 個(gè) I2C、8 個(gè) SPI 和 2 個(gè) I3C 接口，提供多樣化的通信選項，方便與各種傳感器、執行器和其他外圍設備的連接。

• 模數轉換器（ADC）：包含 1 個(gè) 8 通道、12 位ADC，適用于精確的模擬信號測量，如傳感器數據采集和監控應用。

• FlexIO 接口：提供 2 個(gè) 32 引腳的 FlexIO 接口，可配置為 UART、SPI、I2C 和 I2S 等通信接口，增加系統設計的靈活性，滿(mǎn)足特定應用需求。

• PCIe 接口：配備 2 個(gè) PCIe Gen 3 通道，支持高速數據傳輸和擴展，適用于連接高性能外設，如高速存儲設備和網(wǎng)卡。

• MIPI-DSI 顯示接口：支持高達 350 MHz 的 MIPI-DSI，采用四通道配置，每個(gè)通道的數據傳輸速率為 2.5 Gbps，能夠實(shí)現 4K 分辨率 (每秒 30 幀) 或 3840x1440 分辨率 (每秒 60 幀) 的顯示輸出，滿(mǎn)足高分辨率顯示需求。

• LVDS 顯示接口：支持最高 1080p@60fps 的 LVDS 傳輸，可配置為 2 組 4 通道或 1 組 8 通道，提供靈活的顯示接口選項，滿(mǎn)足不同的顯示應用需求。 

本方案是基于 i.MX 95 的 AI 攝像頭或 AI 工業(yè)電腦來(lái)展示模塊推理性能，結合了多項核心技術(shù)，包括神經(jīng)處理單元(NPU)、圖形處理單元(GPU) 和圖像信號處理器(ISP)，使其在人工智能(AI)和圖像處理應用中表現出色，

其中 實(shí)現多種 AI 功能，例如：

• 物體檢測(Object Detection)：識別并定位圖像中的各種物體。

• 肢體識別(Pose Estimation)：分析人體姿態(tài)，追蹤關(guān)鍵點(diǎn)位置。

• 物體分割(Object Segmentation)：將圖像中的物體從背景中分離出來(lái)。

• 工地安全帽檢測(Construction Helmet Detection)：確認工人是否佩戴安全帽。

• 車(chē)輛檢測(Vehicle Detection)：識別并追蹤車(chē)輛。

• 口罩檢測(Mask Detection)：判斷人員是否佩戴口罩。

• 水果檢測(Fruit Detection)：識別不同種類(lèi)的水果。

• 人體特征點(diǎn)檢測(Human Keypoint Detection)：定位人體關(guān)鍵點(diǎn)。

• 手部骨架檢測(Hand Skeleton Detection)：追蹤手部關(guān)節位置。

• 深度估計(Depth Estimation)：估計圖像中物體與相機之間的距離。

這些功能的實(shí)現得益于 i.MX 95 處理器的高性能，系統能夠以每秒 30 幀 (FPS) 的速度處理影像，且僅占用約一個(gè) CPU 核心的資源，大幅減輕了 CPU 的運算負擔，滿(mǎn)足大多數邊緣計算應用的需求。

圖3 i.MX 95 AI DEMO 示意圖  

NXP (恩智浦) 在推動(dòng) 人工智能(AI) 計算平臺方面展現了卓越的進(jìn)步。通過(guò) eIQ 能夠快速應用 TensorFlow、TensorFlow Lite、ONNX、Keras 等深度學(xué)習框架。如同下圖所示，只需將影像、聲音等相應的數據委托(Delegate) 給任意一個(gè)深度學(xué)習框架進(jìn)行推理，即可快速解析神經(jīng)網(wǎng)絡(luò )架構以獲得結果。而該框架將通過(guò) Neutron Delegate 進(jìn)行優(yōu)化加速運算處理。經(jīng)實(shí)際測試，YOLOv5s 目標檢測，推理速度約可達到每秒 190 幀 (FPS)。

圖4 NXP I.MX95 EVK深度學(xué)習應用示意圖

從 i.MX 8M Plus、i.MX 93 到最新的 i.MX 95 系列，性能提升顯著(zhù)，特別是在物體檢測等常見(jiàn) AI 應用中，運算速度大幅提高。即使在物理規格相近的情況下 i.MX 95 的神經(jīng)處理單元(NPU)相比于 i.MX 8M Plus，運算速度更快。提升了近四倍。

圖5 i.MX 95 AI 性能示意圖 

i.MX 95 系列處理器不僅具備強大的運算能力，還提供豐富且多樣化的 I/O 接口配置。這使開(kāi)發(fā)者能夠靈活地連接各種外設，滿(mǎn)足不同應用場(chǎng)景的需求，提供高度的設計自由度和擴展性。實(shí)際應用中，這些處理器展現了極大的靈活性，可廣泛應用于物聯(lián)網(wǎng)(IoT)、工業(yè) 4.0、自動(dòng)駕駛等領(lǐng)域。充分實(shí)現 邊緣計算(Edge Computing) 的概念，創(chuàng )造更高的應用價(jià)值。 

另外，NXP 為開(kāi)發(fā)者提供了強大的工具，助力他們在各種創(chuàng )新應用中實(shí)現 AI 能力。

• eIQ? 工具包用于端到端模型開(kāi)發(fā)和部署

• eIQ?模型水印技術(shù)

• eIQ 示例

• eiq模型庫

• nxp-nnstreamer-示例

• GUI 指南

• 由WPI提供的AI演示

• WPI 提供的 ATU 模型庫

?場(chǎng)景應用圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢

◆ 搭配算力 2 TOPS 的 eIQ? Neutron 神經(jīng)處理器(Neural Processing Unit，NPU)，具備強大的機器學(xué)習推理能力。相比廣為人知的圖形處理器(Graphics Processing Unit，GPU)，更省電、效率更高，是專(zhuān)門(mén)為深度學(xué)習和人工智能設計的處理器！ ◆ 獨立 SOM 開(kāi)發(fā)板設計，并搭配強大的 NXP i.MX 95 芯片，可根據需求自由配置 I/O 接口，與 SOM 搭配使用。這種靈活性使開(kāi)發(fā)者能夠針對特定應用場(chǎng)景設計符合需求的硬件平臺，充分發(fā)揮 i.MX 95 芯片的性能和功能。 ◆ 結合 I/O 開(kāi)發(fā)板能夠提供齊全的周邊配置。例如高清多媒體接口(HDMI)、低壓差分信號技術(shù)接口(LVDS)、以太網(wǎng)(Ethernet)、控制器局域網(wǎng)(CAN bus)、異步收發(fā)傳輸器(UART)、通用串行總線(xiàn)接口(USB Type A/C)、3.5 mm 耳機音頻接口、攝像頭數據傳輸接口(MIPI-CSI)、顯示數據傳輸接口(MIPI-DSI)、M.2 - PCIe 3.0 傳輸接口。 ◆ 可快速上手應用 eIQ / PyeIQ 機器學(xué)習開(kāi)發(fā)環(huán)境，提供 TensorFlow、TensorFlow Lite、ONNX、Keras、Pytorch 等多種深度學(xué)習框架的應用示例。

?方案規格

MPU (NXP i.MX95, MX95LPD5EVK-19CM) 核心規格： ◆ 強大的六核 Arm Cortex-A55 處理器，主頻高達 1.8 GHz ◆ eIQ? Neutron 神經(jīng)處理單元，性能高達 2 TOPS ◆ 雙圖像信號處理器(ISP)，支持 RGB-IR 格式 ◆ 兩個(gè) MIPI-CSI 攝像頭接口，用于視覺(jué)處理應用 ◆ 強大的 3D/2D 圖形加速(Arm Mali-G310) ◆ 強大的視頻編碼器和解碼器，支持高達 4Kp60 幀率 (包括 JPEG、H.264 和 H.265) ◆ 高清顯示：MIPI-DSI 支持 4Kp30，LVDS 支持 1080p ◆ 內置 eMMC 5.1，存儲容量為 64GB ◆ 支持外部?jì)却?，數據速率高達 6.4 GT/s，32 位接口，支持 LPDDR5/LPDDR4X MPU (NXP i.MX95, MX95LPD5EVK-19CM) I/O 規格： ◆ 1 個(gè) 10GbE + 2 個(gè) Gb 以太網(wǎng)，支持 TSN、AVB 和 IEEE 1588 同步 ◆ 1 個(gè)帶 PHY 的 USB 3.0 Type C + 1 個(gè)帶 PHY 的 USB 2.0 Type C ◆ 5 個(gè) CAN FD 接口 ◆ 8 個(gè) UART，8 個(gè) I2C，8 個(gè) SPI，2 個(gè) I3C ◆ 1 個(gè) 8 通道、12 位 ADC ◆ 2 個(gè) 32 針 FlexIO 接口 ◆ 2 個(gè) PCIe Gen 3 單通道接口