3D手勢識別背后的技術(shù)

隨著(zhù)觸摸屏技術(shù)的不斷推廣，用戶(hù)已經(jīng)適應并逐漸熟悉了與機器的互動(dòng)?，F在，人機互動(dòng)技術(shù)已邁上了更高的臺階，進(jìn)入了手勢識別時(shí)代，不過(guò)這也并不是一帆風(fēng)順的。手勢識別現已在娛樂(lè )及游戲市場(chǎng)出現，然而這種技術(shù)將對我們的日常生活產(chǎn)生怎樣的影響呢?不妨假想一下，有人坐在沙發(fā)上，只需一揮手就能操控燈光和電視，或者汽車(chē)自動(dòng)檢測附近是否有行人。隨著(zhù)手勢識別技術(shù)支持人機互動(dòng)的不斷深入發(fā)展，這些及其它功能將很快得以實(shí)現。手勢識別技術(shù)長(cháng)期以來(lái)一直采用 2D 視覺(jué)進(jìn)行研究，但隨著(zhù) 3D 傳感器技術(shù)的出現，其應用將日益廣泛并多樣化。

2D視覺(jué)的局限

計算機視覺(jué)技術(shù)一直在努力向堪比人類(lèi)智慧的智能方向發(fā)展，以更好地了解場(chǎng)景。如果不能解釋周?chē)氖澜?，計算機就無(wú)法與人實(shí)現自然交流對接。計算機在了解周?chē)鷪?chǎng)景方面面臨的主要問(wèn)題包括細分、對象表征、機器學(xué)習與識別等。由于 2D 場(chǎng)景表征本身存在局限性，手勢識別系統必須應用其它各種提示信息才能得到包含更有用信息的更好結果。在可能性信息包含整個(gè)身體跟蹤時(shí)，盡管將多種提示信息整合在一起，單靠 2D 表征也很難獲得超越手勢識別的任何信息。

“z”(深度)創(chuàng )新

向 3D 視覺(jué)及手勢識別發(fā)展過(guò)程中的挑戰一直都是第三坐標 —z 軸坐標的獲取。人眼能看到 3D 對象，能自然識別 (x,y,z) 坐標軸，從而能夠看到一切事物，而后大腦能夠以 3D 影像的形式表達這些坐標軸。機器無(wú)法獲得 3D 視覺(jué)的一大挑戰就在于影像分析技術(shù)。目前有 3 種應對 3D 采集問(wèn)題的常見(jiàn)解決方案，每種方案都有其獨特的功能與特定的用途。這三種方案分別為：立體視覺(jué)、結構光模式以及渡越時(shí)間 (TOF)。有了這些技術(shù)提供的 3D 影像輸出，就可實(shí)現手勢識別技術(shù)。

立體視覺(jué)

立體視覺(jué)系統可能是最為人所熟知的 3D 采集系統。該系統使用 2 個(gè)攝像機獲得左右立體影像，該影像有些輕微偏移，與人眼同序。計算機通過(guò)比較這兩個(gè)影像，就可獲得對應于影像中物體位移的不同影像。該不同影像或地圖可以是彩色的，也可以為灰階，具體取決于特定系統的需求。立體視覺(jué)系統目前通常用于 3D 電影，能帶來(lái)低成本而又震撼人心的娛樂(lè )體驗。

結構光模式

結構光模式可用來(lái)測量或掃描 3D 對象。在該類(lèi)系統中，可在整個(gè)對象上照射結構光模式，光模式可使用激光照明干擾創(chuàng )建，也可使用投影影像創(chuàng )建。使用類(lèi)似于立體視覺(jué)系統的攝像機，有助于結構光模式系統獲得對象的 3D 坐標。此外，單個(gè) 2D 攝像機系統也可用來(lái)測量任何單條的移位，然后通過(guò)軟件分析獲得坐標。無(wú)論使用什么系統，都可使用坐標來(lái)創(chuàng )建對象外形的數字 3D 圖形。

渡越時(shí)間 (TOF)

渡越時(shí)間 (TOF) 傳感器是一種相對較新的深度信息系統。TOF 系統是一種光雷達 (LIDAR) 系統，同樣可從發(fā)射極向對象發(fā)射光脈沖。接收器則可通過(guò)計算光脈沖從發(fā)射器到對象，再以像素格式返回到接收器的運行時(shí)間來(lái)確定被測量對象的距離。

TOF 系統不是掃描儀，因為其不支持點(diǎn)對點(diǎn)測量。TOF 系統可同時(shí)獲得整個(gè)場(chǎng)景，確定 3D 范圍影像。利用測量得到的對象坐標可創(chuàng )建 3D 影像，并可用于機器人、制造、醫療技術(shù)以及數碼攝影等領(lǐng)域的設備控制。

實(shí)施 TOF 系統所需的半導體器件現已開(kāi)始供貨。目前的器件支持實(shí)現 TOF 系統所需的處理性能、速度與帶寬。

3D 視覺(jué)技術(shù)的比較

不同的應用或市場(chǎng)適用于不同的 3D 視覺(jué)技術(shù)。圖 1 顯示了不同 3D 視覺(jué)技術(shù)的比較及其相關(guān)響應時(shí)間、軟件復雜性、成本及準確性的相對優(yōu)缺點(diǎn)。

立體視覺(jué)技術(shù)需要極高的軟件復雜性才能獲得高精度 3D 深度數據，其通?？赏ㄟ^(guò)數字信號處理器 (DSP) 或多內核標量處理器進(jìn)行處理。立體視覺(jué)系統支持小巧的外形與低成本，是移動(dòng)電話(huà)等消費類(lèi)設備的良好選擇。不過(guò)，立體視覺(jué)系統的精確度與響應時(shí)間不及其它技術(shù)，因此對于制造質(zhì)量控制系統等要求高精度的系統來(lái)說(shuō)不太理想。

結構光技術(shù)是包括 3D 計算機輔助設計 (CAD) 系統在內的 3D 對象掃描的良好解決方案。這些系統的相關(guān)軟件復雜性可通過(guò)硬接線(xiàn)邏輯解決(如 ASIC 與 FPGA 等)，其需要高昂的開(kāi)發(fā)及材料成本。此外，該計算復雜性還可導致較慢的響應時(shí)間。在實(shí)現微觀(guān)層面上的高精度方面，結構光模式技術(shù)優(yōu)于其它 3D 視覺(jué)技術(shù)。

TOF 系統取得了性能與成本的平衡，非常適用于需要快速響應時(shí)間的制造與消費類(lèi)電子設備等應用領(lǐng)域的設備控制。TOF 系統軟件復雜程度通常較低，不過(guò)這些系統需要昂貴的照明部件(LED、激光二極管)以及高速接口相關(guān)部件(快速 ADC、快速串行/并行接口、快速 PWM 驅動(dòng)器)，這將提升材料成本。圖 1 顯示了這三種 3D 傳感器技術(shù)的對比情況。

“z”(深度)如何影響人機界面

隨著(zhù)“z”坐標的加入，顯示與影像更接近自然，更貼近人類(lèi)。人們在顯示屏上能看到人眼從周邊環(huán)境所看到的逼真事物。增加這第三維坐標改變了可使用的顯示與應用類(lèi)型。

顯示

立體顯示屏

立體顯示屏通常需要用戶(hù)佩戴 3D 眼鏡。這種顯示屏為左右眼提供不同的影像，兩眼看到的影像不同，讓大腦誤以為看到了 3D 影像。這種顯示屏目前廣泛用于眾多 3D 電視與 3D 電影院。

多視點(diǎn)顯示屏

多視點(diǎn)顯視屏不同于立體顯示屏，無(wú)需佩戴特殊眼鏡。這些顯示屏可同時(shí)投射多個(gè)影像，每個(gè)影像稍微有些位移，形成適當的角度，讓用戶(hù)可在每個(gè)視點(diǎn)角度看到相同對象的不同投射影像。這些顯示屏支持全息攝影效果，在不久的將來(lái)將實(shí)現全新的 3D 體驗。

檢測與應用

處理并顯示“z”坐標的功能將實(shí)現全新的應用，其中包括游戲、制造控制、安全、互動(dòng)數字標牌、遠程醫療、汽車(chē)以及機器人視覺(jué)等。圖 2 是身體骨架與深度映射傳感技術(shù)所支持的某些應用領(lǐng)域視圖。

人類(lèi)手勢識別(消費類(lèi))

人類(lèi)手勢識別是一項深受歡迎的新技術(shù)，可為游戲、消費類(lèi)以及移動(dòng)產(chǎn)品帶來(lái)新的輸入方式。用戶(hù)能夠以極其自然、直觀(guān)的方法與設備進(jìn)行互動(dòng)，從而可促進(jìn)產(chǎn)品推廣。這些人類(lèi)手勢識別產(chǎn)品包括從 160 x 120 像素到 640 x 480 像素，30 到 60 fps 的各種分辨率的 3D 數據。原始數據到z深度解析、雙手跟蹤以及全身跟蹤等軟件模塊需要數字信號處理器 (DSP) 對 3D 數據進(jìn)行高效快速處理，才能實(shí)現實(shí)時(shí)游戲與跟蹤。

工業(yè)

工業(yè)與制造傳感器等大多數 3D 視覺(jué)工業(yè)應用都采用至少 1 像素至數 100k 像素的影像系統。3D 影像可使用 DSP 技術(shù)進(jìn)行控制分析，確定制造瑕疵或者從部件集中選擇正確的部件。

互動(dòng)數字標牌(精確定位的市場(chǎng)營(yíng)銷(xiāo)工具)

每天我們都在遭受廣告的轟炸，無(wú)論是看電視、開(kāi)車(chē)還是在機場(chǎng)登機都是如此。有了互動(dòng)數字標牌，企業(yè)就可通過(guò)精確定位的市場(chǎng)營(yíng)銷(xiāo)工具提供適合每位消費者的內容。例如，有人走過(guò)一個(gè)數字標牌，標牌上可能就會(huì )馬上顯示額外的消息確認該客戶(hù)。如果客戶(hù)停下來(lái)閱讀信息，該標牌可能會(huì )理解為客戶(hù)對產(chǎn)品感興趣，并提供更有針對性的消息。麥克風(fēng)則將讓廣告牌檢測并識別關(guān)鍵短語(yǔ)，進(jìn)一步精確定位所提供的消息。

這些互動(dòng)數字標牌系統將需要 3D 傳感器進(jìn)行全面的身體跟蹤，2D 傳感器進(jìn)行面部識別，并需要麥克風(fēng)進(jìn)行語(yǔ)音識別。這些系統的軟件將運行在更高級的 DSP 及通用處理器 (GPP) 上，不但可實(shí)現面部識別、全面的身體跟蹤以及 Flash 媒體播放器等應用，而且還可提供諸如 MPEG4 視頻解碼等功能。

醫療(無(wú)故障虛擬/遠程護理)

3D 視覺(jué)將為醫療領(lǐng)域帶來(lái)前所未有的全新應用。醫生無(wú)需跟患者共處一室就可問(wèn)診。遠程虛擬護理采用高精度 3D 傳感器支持的醫學(xué)機器人視覺(jué)系統，可確保為每一位患者提供最優(yōu)質(zhì)的醫療護理，無(wú)論他們身處何方。

汽車(chē)(安全)

近期，汽車(chē)應用在交通信號、車(chē)道以及障礙檢測方面使用 2D 傳感器技術(shù)取得了長(cháng)足發(fā)展。隨著(zhù) 3D 傳感技術(shù)的到來(lái)，3D 傳感器的“z”數據將大幅提升場(chǎng)景分析的可靠性。汽車(chē)通過(guò)使用 3D 視覺(jué)系統，現已有了預防事故的新途徑，無(wú)論白天還是夜間都非常適用。采用 3D 傳感器，車(chē)輛能可靠檢測并解讀周邊環(huán)境，確定對象是否對車(chē)輛及車(chē)內乘客構成安全威脅。這些系統要求軟硬件支持 3D 視覺(jué)系統，并需要密集型 DSP 及 GPP 處理性能在極短時(shí)間內解讀 3D 圖形，避免事故。

視頻會(huì )議

視覺(jué)會(huì )議技術(shù)經(jīng)過(guò)多年發(fā)展，已經(jīng)從間斷脫節傳輸影像發(fā)展成當前的高清系統。未來(lái)增強型視頻會(huì )議將充分發(fā)揮 3D 傳感器的優(yōu)勢，提供更真實(shí)、更具互動(dòng)性的視頻會(huì )議體驗。該增強型視頻會(huì )議系統具有集成型 2D 傳感器以及 3D 傳感器及麥克風(fēng)組合，將能夠與其它增強型系統連接，實(shí)現高質(zhì)量的視頻處理、面部識別、3D 影像、噪聲消除以及內容播放器(Flash 等)等應用。隨著(zhù)這種密集型音視頻處理需求的出現，需要具備最佳性能及外設組合的 DSP。

技術(shù)處理步驟

對許多應用而言，需要同時(shí)具備 2D 和 3D 攝像機系統才能充分實(shí)現應用技術(shù)。圖 3 顯示了這些系統的基本數據路徑。從傳感器獲取數據，然后進(jìn)行視覺(jué)分析，這并不像數據路徑示意圖看上去那么簡(jiǎn)單。具體而言，TOF 傳感器需要的帶寬相當于 2D 傳感器的 16 倍之多，這可導致高輸入/輸出 (I/O) 問(wèn)題。另一個(gè)瓶頸則存在于原始 3D 數據向 3D 點(diǎn)云轉換的處理過(guò)程中。通過(guò)正確的軟硬件組合解決這些問(wèn)題，對于手勢識別及 3D 的成功應用至關(guān)重要。當前數據路徑可通過(guò)DSP/GPP 處理器組合加上分立式模擬組件及軟件庫實(shí)現。

3D 視覺(jué)嵌入式系統的挑戰

輸入挑戰

如前所述，輸入帶寬限制對 3D 視覺(jué)嵌入式系統提出了極大的挑戰。此外，輸入接口也沒(méi)有標準化。設計人員可為 2D 傳感器與通用外部存儲器接口選擇采用不同的輸入選項，其中包括串行與并行接口。在支持最佳帶寬的標準輸入接口出現之前，設計人員只能使用現有的接口。

兩種不同的處理器架構

圖 3 所示的 3D 深度映射處理可分為兩類(lèi)：一是以數據為中心的視覺(jué)專(zhuān)用處理，二是應用上層處理。以數據為中心的視覺(jué)專(zhuān)用處理需要處理器架構能夠執行單指令多數據 (SIMD) 快速浮點(diǎn)乘法及加法運算，以及快速搜索算法。DSP 是快速可靠執行這種處理功能的完美選擇。對于應用上層處理而言，高級操作系統 (OS) 及協(xié)議棧則可提供任何應用上層所需的必要特性集。

根據兩種處理器架構要求，提供高數據速率 I/O GPP+DSP+SIMD 處理器的片上系統 (SoC) 非常適合 3D 視覺(jué)處理，其可支持必要的數據及應用上層處理。

缺乏標準中間件

3D 視覺(jué)處理領(lǐng)域的中間件是多種來(lái)源的眾多不同組件的整合，包括開(kāi)源(如 OpenCV)與專(zhuān)有商業(yè)源等。商業(yè)庫主要針對身體跟蹤應用，這是一種特定的 3D 視覺(jué)應用。目前尚未開(kāi)發(fā)出針對所有不同 3D 視覺(jué)應用標準化的中間件接口。

“z”(深度)之后會(huì )有什么精彩?

沒(méi)有人質(zhì)疑 3D 視覺(jué)的誘人因素。工程師早已在期待未來(lái)的應用發(fā)展。那么不久的將來(lái)會(huì )出現哪些最新技術(shù)?研究人員已經(jīng)在開(kāi)發(fā)針對人和對象的各種視覺(jué)技術(shù)了。全球研究人員正在使用多路徑光分析技術(shù)，探索實(shí)現轉角視覺(jué)或繞開(kāi)對象的視覺(jué)途徑。透明研究將帶來(lái)可透視對象和材料的系統，而運動(dòng)檢測系統則將帶來(lái)查看人類(lèi)大腦內部的應用，從而可檢驗一個(gè)人是否在撒謊。

3D 視覺(jué)與手勢識別技術(shù)的發(fā)展會(huì )帶來(lái)無(wú)盡的可能性。不過(guò)，如果沒(méi)有支持這些振奮人心的新技術(shù)所必須的硬件及中間件，該研究將沒(méi)有任務(wù)意義。提供 GPP+DSP+SIMD(通用處理器+數字信號處理器+單指令多數據流)架構的 SoC(系統芯片)不斷發(fā)展，將提供處理性能、外設支持以及必要帶寬的完美組合，從而可實(shí)現這種振奮人心的技術(shù)與應用。