只需1小時(shí)，輕松玩轉視覺(jué)AI？Xilinx Kria KV260視覺(jué)AI套件評測

本文來(lái)為貿澤電子獨家原創(chuàng )文章

視覺(jué)AI應用發(fā)展至今，已經(jīng)遍地開(kāi)花，你能想到的或想不到的地方，它都存在。至于它的邊界在哪里，說(shuō)是潛力無(wú)限也好不夸張，就像今天要評測的Xilinx Kria? KV260視覺(jué)AI套件，他刷新了我對視覺(jué)AI及FPGA上手難易度的認知。

 1  套件介紹及開(kāi)箱

Xilinx Kria? KV260視覺(jué)AI入門(mén)套件是一個(gè)開(kāi)箱即用平臺，開(kāi)發(fā)人員可以通過(guò)首選設計環(huán)境，在任何抽象層添加定制和差異化功能，包括應用軟件、AI模型乃至FPGA設計。該套件是超快速簡(jiǎn)易平臺，用于開(kāi)發(fā)應用以使用Kria? K26系統模塊（SOM）進(jìn)行批量部署。

這個(gè)套件包括最多支持八個(gè)接口的多攝像頭、三個(gè)MIPI傳感器接口、一個(gè)USB攝像頭、一個(gè)內置ISP組件、HDMI DisplayPort輸出以及千兆以太網(wǎng)和USB 3.0/2.0連接功能。該套件還允許開(kāi)發(fā)人員針對任何傳感器或接口進(jìn)行擴展，并訪(fǎng)問(wèn)Pmod生態(tài)系統。KV260針對視覺(jué)應用進(jìn)行了優(yōu)化，通過(guò)安森美半導體的影像接入系統（IAS）和Raspberry Pi連接器提供多攝像頭支持。

圖1

在拿到了板卡之后，內部主要有兩個(gè)盒子，一個(gè)是板卡包裝盒，可以從外包裝上看到，這個(gè)就是Kria? 板卡的外包裝，此板卡為視覺(jué)AI套件，和視覺(jué)AI套件對應的還有機器人套件：

圖2

另一個(gè)是配件包盒子，配件包盒子就是一個(gè)簡(jiǎn)簡(jiǎn)單單的牛皮紙盒，但內部提供的配件是非常多的：

圖3

打開(kāi)板卡包裝盒，板卡正面特寫(xiě)，可以看到板卡由核心板和一個(gè)載板構成，該板卡提供了非常多的外部接口，如千兆以太網(wǎng)、4個(gè)USB3.0，1個(gè)HDMI，1個(gè)DP接口以及一個(gè)12V電源輸入接口，兩個(gè)MIPI接口，一個(gè)PMOD接口，串口等等，外設接口提供的非常全面，美中不足的是沒(méi)有提供開(kāi)關(guān)：

圖4

板卡背面特寫(xiě)：

圖5

電源適配器需單獨購買(mǎi)：

圖6

電源適配器貼心的提供了不同標準接口：

圖7

HDMI連接線(xiàn)：

圖8

千兆網(wǎng)線(xiàn)：

圖9

MicroUSB線(xiàn)：

圖10

Cmos Sensor：

圖11

Sensor正面：

圖12

Sensor背面：

圖13

提供的SD卡架和TF卡，這個(gè)出廠(chǎng)里面是空的，并沒(méi)有燒錄鏡像。

圖14

此外，Xilinx還提供了一個(gè)安裝架，用來(lái)固定板卡，安裝完成后十分的漂亮（如圖15所示）。

 2  套件外觀(guān)與接口通過(guò)基本外觀(guān)

圖15可以看到，板卡其實(shí)是由兩部分構成的，在紅色風(fēng)扇下面壓著(zhù)的，就是我們的核心板，底部的就是載板，通常被稱(chēng)為Carrier Board。

圖15

這種通過(guò)核心板+擴展版的設計方法能夠有效的減少設計時(shí)間與設計風(fēng)險，核心板與底板可以替換、升級，非常方便。Xilinx將他們的核心板成為SOM(System-on-Module)，這塊板卡所使用的核心板型號為K26 SOM，官網(wǎng)頁(yè)面如下圖16所示：

圖16

這個(gè)SOM核心器件使用了Xilinx的ZYNQ Ultrascale+系列SOC/FPGA，該SOM資源種類(lèi)、資源量、接口種類(lèi)都非常豐富，如下表1所示：

表1

通過(guò)以上資源，給了我們非常大的空間與舞臺，讓我們在這個(gè)SOM上實(shí)現我們的想法。

對于這個(gè)視覺(jué)開(kāi)發(fā)套件的載板，也就是Carrier Board，也提供了非常多的外部接口，如下表所示，它針對AI應用，引出了K26 SOM內偏向于視覺(jué)的接口，供我們針對性選用。

KV260載板的硬件框圖如下圖17所示：

圖17

KV260對應此硬件框圖，提供的外部接口資源如下圖18所示：

圖18

 3  上手體驗&運行Demo

Xilinx為我們提供了頁(yè)面，告訴我們如何開(kāi)始，官網(wǎng)頁(yè)面點(diǎn)此查看。

  首先，根據頁(yè)面我們需要準備好一些配件：

● KV260電源和適配器（12V，3A）

● MicroSD卡（16GB）

● USB-A至micro-B電纜

● 13MP自動(dòng)聚焦RGB攝像頭（AR1335）模塊

● 以太網(wǎng)電纜

● HDMI電纜（連接至監視器）

此外，我還準備了讀卡器和DP線(xiàn)纜。

根據頁(yè)面所述，我們可以選擇直接使用編譯好的ubuntu或者petalinux，我選擇使用petalinux。點(diǎn)擊下方按鈕繼續：

圖19

接下來(lái)就是下載鏡像和一些燒錄，格式化TF卡等等工具，鏡像下載界面點(diǎn)此查看。

燒錄器下載鏈接：https://www.balena.io/etcher/

除了頁(yè)面要求外，我另外準備了串口通信工具M(jìn)obaXterm，這個(gè)軟件的Home版本是免費的，足夠我們使用。

另外，TF卡格式化工具我選擇了老牌的SDFormatter，簡(jiǎn)單可靠好用。

鏡像與工具準備完成如下圖20所示：

圖20

然后，進(jìn)入“開(kāi)始設計”的步驟2，按照動(dòng)圖提示，先鏈接其他連線(xiàn)、TF卡、Sensor，最后再給板卡鏈接適配器進(jìn)行供電。

通過(guò)終端連接板卡，如下圖21所示，可以看到已經(jīng)有啟動(dòng)的log信息輸出：

圖21

提示進(jìn)行登錄：

圖22

由于是第一次進(jìn)入板卡系統，要求設置個(gè)新密碼并確認，按照要求輸入即可。

成功進(jìn)入系統：

圖23

然后我們可以嘗試進(jìn)行運行Xilinx提供的只能攝像頭加速應用。

Xilinx憑借Kria? KV260視覺(jué)AI入門(mén)套件向用戶(hù)推出“加速應用”的概念。這些是為AI及軟件開(kāi)發(fā)者預先構建的應用，可幫助他們領(lǐng)先一步開(kāi)發(fā)目標終端應用。

您可以快速運行一款我們的加速應用，甚至可以使用不同的人工智能模型或傳感器對其進(jìn)行定制。聽(tīng)起來(lái)讓人很振奮！我們來(lái)試用一下智能相機加速應用。

KV260 Vision AI入門(mén)套件的獨特之處在于：它能夠加載和運行能通過(guò)配置硬件來(lái)實(shí)現多種功能的應用?！皒mutil”實(shí)用程序可用于加載各種應用。一個(gè)加速應用可在既定的時(shí)間加載。我們將首先加載一個(gè)應用，將SOM編程為智能相機，該應用能夠處理來(lái)自MIPI或USB相機的1080p視頻流，并通過(guò)HDMI或DisplayPort進(jìn)行顯示，或通過(guò)有線(xiàn)以太網(wǎng)進(jìn)行流處理。

 4  智能攝像頭加速應用簡(jiǎn)介

內置機器學(xué)習并能執行面部/行人檢測的超高清攝像頭，支持從各種視頻源（Mipi攝像頭、視頻文件&USB攝像頭）捕獲信息，能夠通過(guò)基于ROI編碼的視頻的HDMI、DisplayPort或RTSP傳輸功能輸出處理過(guò)的視頻。

最普及的使用案例：智慧城市應用（面部、行人檢測和交通管理）和視頻分析功能。

圖24

系統可輸入直流或交流電進(jìn)行供電，通過(guò)AC-DC或DC-DC電路進(jìn)行變換后與系統的多模式電源管理系統交互，PAC5556支持UART、SPI、CAN和IIC等多種通信方式，隨后通過(guò)驅動(dòng)電路驅動(dòng)電機進(jìn)行旋轉，通過(guò)霍爾傳感器反饋位置或無(wú)霍爾傳感器的轉子位置估算技術(shù)進(jìn)行換向及調速，同時(shí)系統支持信號監測技術(shù)，可實(shí)時(shí)監測電流、電壓及功率等信息。

 5  啟動(dòng)智能攝像頭加速應用

在運行目標上動(dòng)態(tài)安裝智能相機應用軟件包。Xilinx能夠采用運行時(shí)軟件包管理（rpm）格式為用戶(hù)提供軟件包饋送，使他們能夠在使用dnf軟件包管理器實(shí)用程序命令“dnf install”運行 Linux 啟動(dòng)器映像的基礎上，動(dòng)態(tài)加載 Xilinx加速應用。此外，Xilinx還可提供xmutil實(shí)用程序（xmutil getpkgs），用于搜索軟件包饋送并查詢(xún)針對Vision AI入門(mén)套件提供的加速應用軟件包組。命令如下：

1）運行sudo xmutil getpkgs命令，獲取所提供的應用軟件包組列表。

圖25

2）運行sudo dnf install packagegroup-kv260-smartcam.noarch命令，從上表安裝智能相機加速應用軟件包組。出現提示時(shí)，按“是”，等待大約2分鐘，安裝204個(gè)軟件包。

圖26

出現提示，輸入Y確認安裝。

圖27

正在下載…

圖28

自動(dòng)進(jìn)行安裝：

圖29

安裝完成。

圖30

 6  加載智能相機加速應用固件

在執行/opt/xilinx/bin上提供的新安裝應用之前，需要使用xmutil實(shí)用程序命令加載 FPGA 固件（PL 位流+設備樹(shù)覆蓋+ PL驅動(dòng)程序）。按照以下步驟在Vision AI入門(mén)套件上加載智能相機加速應用固件。

1）運行sudo xmutil listapps命令，列出Vision AI入門(mén)套件上可用的現有應用固件。

圖31

2）運行sudo xmutil unloadapp命令，卸載默認的“kv260-dp”應用固件。

圖32

3）運行sudo xmutil loadapp kv260-smartcam命令，加載智能相機加速應用固件。

圖33

運行智能相機加速應用。

將AR1335攝像頭模塊對準用戶(hù)面部并運行智能相機加速應用。要使用IAS攝像頭模塊運行加速應用，請使用以下命令：

圖34

注：“--usb”的參數0取決于USB網(wǎng)絡(luò )攝像頭在Vision AI入門(mén)套件上運行Linux時(shí)檢測到的媒體節點(diǎn)。在本案例中，它是/dev/media0，所以我們使用“--usb 0”。

您也可從Jupyter Notebook控制智能相機應用。Linux啟動(dòng)完成后，請通過(guò)在瀏覽器中輸入SOM的IP地址來(lái)啟動(dòng)Jupyter筆記本。通過(guò)該筆記本的單元來(lái)練習Kria? SOM的智能相機功能。

 7  運行人臉識別加速器效果

直接拍攝快速識別到人臉，當遮擋時(shí)識別不到，移開(kāi)后又識別到人臉。

圖35

 8  小結

Xilinx Kria? KV260視覺(jué)AI入門(mén)套件板載接口充足，最令人欣喜的是加速應用生態(tài)系統，可以通過(guò)首選設計環(huán)境在任何抽象等級添加定制和差異化功能，從應用軟件到AI模型再到FPGA設計。我相信各類(lèi)開(kāi)發(fā)人員，不管有沒(méi)有FPGA經(jīng)驗都可以在短時(shí)間內運行應用程序，是我目前見(jiàn)過(guò)最快最簡(jiǎn)單的開(kāi)發(fā)平臺。