嵌入式視覺(jué)設計要創(chuàng )新，選擇FPGA成關(guān)鍵

　　什么樣的積極創(chuàng )新可以幫助您設計出這樣一個(gè)系統——它能夠提醒用戶(hù)有兒童在游泳池中溺水，或是有入侵者試圖闖入住宅或者辦公場(chǎng)所?這種技術(shù)還能夠提醒駕駛員道路上即將發(fā)生的危險，甚至可以制止他們并線(xiàn)、加速及其它可能會(huì )給自身或他人帶來(lái)危險的操作。它能夠給軍用無(wú)人機或其他機器人配上電子“眼”，使這些設備部分實(shí)現甚至完全實(shí)現自動(dòng)化操作。它能夠協(xié)助內科醫生診斷患者的病情。它能夠準確地進(jìn)行面部識別，隨后啟動(dòng)一系列操作(例如自動(dòng)登錄用戶(hù)賬號，或者獲取相關(guān)新聞及其它信息)，解讀姿態(tài)， 甚至覺(jué)察人的情緒狀態(tài)。與GPS、指南針、加速計、陀螺儀和其他功能配合，它還能夠提供數據強化(data augmented) 的場(chǎng)景再現。

　　上面談到的應用實(shí)例都采用了一項共同的技術(shù)，即嵌入式視覺(jué)。該技術(shù)正準備書(shū)寫(xiě)新一代電子系統的成功篇章。嵌入式視覺(jué)最初應用于組裝生產(chǎn)線(xiàn)檢測、光學(xué)字符識別、機器人、監視和軍用系統等傳統的計算機視覺(jué)應用。不過(guò)近年來(lái)，隨著(zhù)關(guān)鍵技術(shù)構建塊成本的不斷下降以及功能的不斷豐富，嵌入式視覺(jué)技術(shù)不斷向主要的大批量市場(chǎng)加速滲透。

　　例如，在日益豐富和不斷提高的應用需求的推動(dòng)下，圖像傳感器的分辨率、低亮度性能、幀速率、尺寸、功耗和成本等關(guān)鍵特性都有著(zhù)明顯的改善。同樣，嵌入式視覺(jué)應用也要求處理器具備高性能、低成本、低功耗以及靈活的可編程功能。這些理想的特性在不計其數的產(chǎn)品設計中正日漸變?yōu)楝F實(shí)。最新一代光學(xué)系統、照明模塊、易失性和非易失性存儲器以及I/O 標準也正在實(shí)現類(lèi)似的特性?xún)?yōu)化。因此，算法到了迎接挑戰的關(guān)口，需要充分利用這些硬件性能的改進(jìn)來(lái)提供更穩健可靠的分析結果。

　　嵌入式視覺(jué)指的是能夠通過(guò)視覺(jué)方式理解其所處環(huán)境的機器。“嵌入式”的意思指內置圖像傳感器的非通用型計算機系統。比如，嵌入式可以是手機、平板電腦、監視系統、地面或者具備飛行能力的機器人、安裝有一套 360°攝像頭的車(chē)輛或者是醫療診斷設備。它也可以是有線(xiàn)或者無(wú)線(xiàn)用戶(hù)界面外設。這方面微軟針對 Xbo x360 游戲機提供的 Kinect 可能是最好的例證，上市頭 2 個(gè)月就銷(xiāo)售出 800萬(wàn)件。

　　FPGA 的商機：案例研究

　　可供選用的穩健可靠的嵌入式視覺(jué)處理產(chǎn)品豐富多樣，如微處理器與嵌入式控制器、專(zhuān)用 SoC、DSP、圖形處理器、ASIC 和 FPGA。FPGA 是一款用于實(shí)現嵌入式視覺(jué)技術(shù)的極富吸引力的芯片平臺，因為它將 ASIC的高性能和低功耗硬件以及可運行在CPU、GPU 或 DSP 上的軟件算法的靈活性和快速上市優(yōu)勢集于一身。在嵌入式視覺(jué)市場(chǎng)處于襁褓時(shí)期的當前階段，靈活性具有特別重要的意義。因為為了支持多樣化的算法選擇，迅速完成缺陷修正和特性集改進(jìn)是一種常態(tài)，而非偶然。FPGA 的硬件可配置能力也便于讓設計經(jīng)簡(jiǎn)單直觀(guān)修改就能適用于支持各種串行和并行(以及模擬和數字)接口的圖像傳感器。

　　嵌入式視覺(jué)聯(lián)盟是由世界各地的開(kāi)發(fā)商和提供商組成的統一的全球性聯(lián)盟，其宗旨是以豐富、迅速和高效的方式將嵌入式視覺(jué)的潛力變?yōu)楝F實(shí)(見(jiàn)側邊欄)。該聯(lián)盟的兩個(gè)創(chuàng )始成員 (BDTI) 伯克利設計技術(shù)公司和賽靈思已聯(lián)合開(kāi)發(fā)出一個(gè)參考設計，用于證實(shí)嵌入式視覺(jué)技術(shù)不可估量的市場(chǎng)前景以及 FPGA 在實(shí)現該前景中可能發(fā)揮的作用。這個(gè)項目的目的是探索系統設計人員在開(kāi)發(fā)高度復雜的智能視覺(jué)平臺時(shí)可進(jìn)行的典型架構決策，該平臺所包含的元件需要高強度硬件處理和復雜的軟件及算法控制。

　　BDTI 和賽靈思對設計進(jìn)行了分區，其中 FPGA 架構負責處理數字信號處理密集型運算，而 CPU 則負責處理復雜的控制和預測算法。在這個(gè)探索性實(shí)現方案中，CPU 電路板通過(guò)以太網(wǎng)接口連接到 FPGA 開(kāi)發(fā)板。FPGA 執行高帶寬處理，僅有元數據通過(guò)網(wǎng)絡(luò ) (network tether) 進(jìn)行交換。該項目還探索了軟硬件同步開(kāi)發(fā)，故要求在最終的 FPGA 硬件實(shí)現之前使用精準的仿真模型。

　　第一階段：道路標志檢測

　　項目的第一階段和第二階段均采用了兩個(gè)基于 PC 的專(zhuān)門(mén)功能：正在開(kāi)發(fā)中的賽靈思視頻 IP 模塊的仿真模型和一個(gè)由 BDTI 開(kāi)發(fā)的處理應用(見(jiàn)圖 1)。輸入數據為 720p 高清分辨率、60 fps 的 YUV 編碼視頻流，代表車(chē)輛正前方攝像頭可能采集到的圖像。其目的是識別(雖然沒(méi)有采用光學(xué)字符職別技術(shù)“讀取”，但這項功能可以自然延伸出來(lái))視頻幀中的四種類(lèi)型的對象，以輔助駕駛員駕駛：

　　• 綠色方向標志
　　• 黃色和桔紅色危險標志
　　• 藍色信息標志
　　• 桔紅色安全錐

　　賽靈思提供的 IP 模塊仿真模型負責輸出用于識別每幀中各顏色像素組的位置和大小的元數據，這些也是最終硬件 IP 模塊生成的元數據。許多嵌入式視覺(jué)系統的精度受多種外部因素的影響，比如成像傳感器的噪聲、突然的照度變化以及難以預測的外部運動(dòng)。對本項目的必要要求之一是要求FPGA 硬件在盡量節約硬件資源的情況下，借助能夠容忍大量外部干擾且不降低檢測精確度的預測性軟件，在有大量外部干擾的條件下完成圖像處理并生成元數據。

　　BDTI 針對這種特定應用，對這些IP 模塊豐富的配置參數集進(jìn)行了優(yōu)化，而且 BDTI 的后處理算法還提供了進(jìn)一步的優(yōu)化和預測功能。例如，在某些情況下，該硬件只能部分識別一幀中的對象，但應用層軟件使用跟蹤算法能夠繼續預測對象的位置。這種方法非常有效，因為在許多情況下物理探測無(wú)法做到持續不斷，因此軟件智能層對提供持續的預測起著(zhù)關(guān)鍵作用。

　　再舉一個(gè)例子。高速公路綠色指路標志上的黑色或白色字符可能會(huì )擾亂 IP 模塊普通的圖像分析功能，會(huì )將路標錯誤地分解成多像素的子集合(見(jiàn)圖 2)。根據該應用中使用的成像傳感器的質(zhì)量和設置，IP 模塊還會(huì )混淆紅色和桔紅色，從而將其他車(chē)輛的尾燈或剎車(chē)燈誤認為交通錐或交通標識。

圖 2 - 采用專(zhuān)門(mén)針對應用定制的二級算法進(jìn)一步處理 FPGA 的視頻分析硬件電路輸出的元數據