用小型載板傳輸4臺相機的數據流：快速原型設計
加入技術(shù)交流群
嵌入式視覺(jué)組件一直很受歡迎，被眾多應用所采用。所有這些應用的共同點(diǎn)是需要在狹小的空間內集成越來(lái)越多的功能。通常，讓這些系統在邊緣做出決策也是很有利的。為了支持此類(lèi)系統，包括快速原型設計的能力，Teledyne FLIR 推出了 Quartet? 嵌入式 TX2 解決方案。這種定制的載板可在滿(mǎn)帶寬下輕松集成最多 4 臺 USB3 機器視覺(jué)相機。它包括 NVidia Jetson 深度學(xué)習硬件加速器，預先集成了 Teledyne FLIR 的 Spinnaker? SDK。通常，讓這些系統在邊緣做出決策也是很有利的，尤其是在檢查、移動(dòng)機器人、交通系統和各種類(lèi)型的無(wú)人載具領(lǐng)域。
圖1 所有四個(gè)應用程序的原型設置
在這篇非常實(shí)用的文章中，為了強調 Quartet 能夠實(shí)現的功能，我們描述了開(kāi)發(fā)受 ITS（交通系統）啟發(fā)的原型的步驟，該原型同時(shí)運行四個(gè)應用程序，其中三個(gè)采用了深度學(xué)習：
● 應用程序 1：利用深度學(xué)習識別車(chē)牌
● 應用程序 2：利用深度學(xué)習實(shí)現車(chē)輛類(lèi)型分類(lèi)
● 應用程序 3：利用深度學(xué)習實(shí)現車(chē)輛顏色分類(lèi)
● 應用程序 4：透過(guò)擋風(fēng)玻璃觀(guān)察（透過(guò)反光和眩光）
購物清單：硬件和軟件組件
1）用于處理的 SOM：
用于 TX2 的新 Teledyne FLIR Quartet 載板包括：
● 4 個(gè) TF38 連接器，配備專(zhuān)用的 USB3 控制器
● Nvidia Jetson TX2 模塊
● 預裝了 Teledyne FLIR 功能強大且便于使用的 Spinnaker SDK，以確保在即插即用情況下兼容 Teledyne FLIR Blackfly S 板級相機
● Nvidia Jetson 深度學(xué)習硬件加速器可在緊湊型單板上實(shí)現完整的決策系統
圖2 帶TX2的Quartet嵌入式解決方案，可配備4臺Blackfly S相機和4根FPC電纜
2）相機和電纜
● 3 臺標準 Teledyne FLIR Blackfly S USB3 板級攝像頭，采用與盒裝版相同的豐富功能集，適用于最新的 CMOS 傳感器，可與 Quartet 無(wú)縫集成
● 1 臺定制相機：Blackfly S USB3 板級相機，帶 Sony IMX250MZR 偏振傳感器
● 線(xiàn)纜：TF38 FPC 電纜，可用單根電纜傳輸電源和數據，節省了空間
圖3 Blackfly S板級相機，帶FPC電纜
3）照明：LED 燈可提供充足的照明，以避免車(chē)牌的運動(dòng)模糊。
應用程序 1：利用深度學(xué)習識別車(chē)牌
開(kāi)發(fā)時(shí)間：2-3 周，主要是為了使其更加穩健，運行速度更快
訓練圖像：LPDNet 附帶
對于車(chē)牌識別，我們通過(guò) Nvidia 部署了現成的車(chē)牌檢測 (LPDNet) 深度學(xué)習模型，以檢測車(chē)牌的位置。為了識別字母和號碼，我們使用了 Tesseract 開(kāi)源 OCR 引擎。該相機為 Blackfly S 板級 890 萬(wàn)像素彩色相機 (BFS-U3-88S6C-BD)，配備了 Sony IMX267 傳感器。我們限制了車(chē)牌檢測的偵測區域，以加快運行速度，并利用跟蹤來(lái)提高穩健性。輸出包括車(chē)牌的邊界框，以及相應的車(chē)牌字符。
圖4 傳輸車(chē)牌邊界框和車(chē)牌字符
應用程序2：利用深度學(xué)習實(shí)現車(chē)輛類(lèi)型分類(lèi)
開(kāi)發(fā)時(shí)間：約 12 小時(shí)，包括圖像采集和注釋
訓練圖像：~300
在車(chē)型分類(lèi)方面，我們利用遷移學(xué)習，用三臺玩具車(chē)（分別是 SUV、轎車(chē)和卡車(chē)）訓練了我們自己的深度學(xué)習目標檢測模型。我們采集了此設置在不同距離和角度下拍攝的約 300 幅訓練圖像。相機為 Blackfly S 板級 500 萬(wàn)像素彩色相機 (BFS-U3-51S5C-BD)，配備了 Sony IMX250 傳感器。我們標出了玩具車(chē)的邊界框，大約耗時(shí) 3 小時(shí)。我們進(jìn)行了遷移學(xué)習，以訓練我們自己的 SSD MobileNet 目標檢測模型，訓練過(guò)程在 Nvidia GTX1080 Ti GPU 上進(jìn)行，耗時(shí)半天左右。通過(guò) GPU 硬件加速器，Jetson TX2 模塊可以高效率地執行深度學(xué)習推斷，并輸出汽車(chē)的邊界框，以及對應的車(chē)輛類(lèi)型。
圖5 傳輸邊界框和預設的車(chē)輛類(lèi)型，以及確認的置信系數
應用程序 3：利用深度學(xué)習實(shí)現車(chē)輛顏色分類(lèi)
開(kāi)發(fā)時(shí)間：重復利用了“車(chē)輛類(lèi)型應用”中的型號，用額外 2 天時(shí)間進(jìn)行顏色分類(lèi)、集成和測試
訓練圖像：重復利用了 300 幅與“車(chē)輛類(lèi)型應用”相同的圖像
對于車(chē)輛顏色分類(lèi)，我們運行了與上述相同的深度學(xué)習對象檢測模型來(lái)檢測汽車(chē)，然后在邊界框上進(jìn)行了圖像分析，以對其顏色進(jìn)行分類(lèi)。輸出包括汽車(chē)的邊界框，以及對應的車(chē)輛顏色。相機為 Blackfly S 板級 300 萬(wàn)像素彩色相機 (BFS-U3-32S4C-BD)，配備了 Sony IMX252 傳感器。
圖6 傳輸邊界框和確認的預設顏色類(lèi)型
應用程序 4：透過(guò)擋風(fēng)玻璃觀(guān)察（透過(guò)反光和眩光）
減少眩光對于交通相關(guān)應用至關(guān)重要，例如透過(guò)擋風(fēng)玻璃觀(guān)察 HOV 車(chē)道、檢查安全帶是否合規，甚至可以檢查駕駛時(shí)是否使用手機。為此，我們將 Blackfly S USB3 板級相機與 500 萬(wàn)像素 Sony IMX250MZR 偏振傳感器相結合，定制了一款相機。這款板級偏振相機不是標準產(chǎn)品，但 Teledyne FLIR 能夠輕松換用不同的傳感器，從而提供定制的相機選項，以展示其消眩光功能。我們只需通過(guò) Teledyne FLIR 的 SpinView GUI 來(lái)傳輸相機圖像流，該 GUI 提供各種“偏振算法”選項，如四通道模式、眩光弱化模式，可以在靜止的玩具車(chē)上顯示眩光弱化效果。
圖7 Spinnaker SDK GUI 提供各種“偏振算法”選項，如四通道模式、眩光弱化模式，可以在靜止的玩具車(chē)上顯示眩光弱化效果。四通道模式可以顯示 4 個(gè)不同的偏振角度所對應的 4 幅圖像
系統總體優(yōu)化
雖然這四個(gè)原型各自獨立工作，但我們注意到，在所有深度學(xué)習模型同時(shí)運行時(shí)，總體性能相當差。Nvidia 的 TensorRT SDK 為 Nvidia 硬件（如 Jetson TX2 模塊）提供深度學(xué)習推斷優(yōu)化器和運行時(shí)。我們用 TensorRT SDK 優(yōu)化了我們的深度學(xué)習模型，使性能提升了 10 倍左右。在硬件方面，我們將一個(gè)散熱器連接到 TX2 模塊，以避免過(guò)熱，因為該模塊在所有應用程序都運行時(shí)會(huì )相當熱。最終，我們設法在所有四個(gè)應用程序一起運行時(shí)實(shí)現了良好的幀率：車(chē)輛類(lèi)型識別為 14 fps，車(chē)輛顏色分類(lèi)為 9 fps，自動(dòng)車(chē)牌識別為 4 FPS，偏振相機為 8 FPS。
由于 Quartet 嵌入式解決方案和 Blackfly S 板級相機的易用性和可靠性，我們在相對較短的時(shí)間內開(kāi)發(fā)出了此原型。預裝了 Spinnaker SDK 的 TX2 模塊可確保在即插即用的情況下兼容所有 Blackfly S 板級相機，這些相機可在滿(mǎn) USB3 帶寬下，通過(guò) TF38 連接器實(shí)現可靠的傳輸。Nvidia 提供了多種工具來(lái)促進(jìn) TX2 模塊的開(kāi)發(fā)和優(yōu)化。Quartet 現在可從 fir.com 上在線(xiàn)購買(mǎi)，也可以通過(guò)我們的辦事處和全球經(jīng)銷(xiāo)商網(wǎng)絡(luò )購買(mǎi)。
評論