全面詳解機器視覺(jué)三維成像方法及應用
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
機器視覺(jué)三維成像目前應用最多的光學(xué)成像法包括：飛行時(shí)間法、激光掃描法、激光投影成像、立體視覺(jué)成像等。
▍飛行時(shí)間3D成像
飛行時(shí)間（TOF）相機每個(gè)像素利用光飛行的時(shí)間差來(lái)獲取物體的深度。
目前較成熟的飛行時(shí)間面陣相機商業(yè)化產(chǎn)品包括Mesa Imaging AG SR-4000，PMD Technologies Cam Cube 3.0，微軟Kinect V2等。
TOF成像可用于大視野、遠距離、低精度、低成本的3D圖像采集，其特點(diǎn)是：檢測速度快、視野范圍較大、工作距離遠、價(jià)格便宜，但精度低，易受環(huán)境光的干擾。例如Camcueb3.0可靠的深度精度（<3mm @ 4m)，每個(gè)像素對應一個(gè)3D數據。
▍掃描3D成像
掃描3D成像方法可分為掃描測距、主動(dòng)三角法、色散共焦法。
掃描測距利用一條準直光束通過(guò)測距掃描整個(gè)目標表面實(shí)現3D測量，測量精度較高；主動(dòng)三角法基于三角測量原理，利用準直光束、一條或多條平面光束掃描目標表面完成3D成像，如圖2所示。但測量復雜結構面形時(shí)容易產(chǎn)生遮擋，需要通過(guò)合理規劃末端路徑與姿態(tài)來(lái)解決。
色散共焦法通過(guò)分析反射光束的光譜，獲得對應光譜光的聚集位置， 如圖3。色散共焦法適合測量透明物體、高反與光滑表面的物體。但缺點(diǎn)是速度慢、效率低；用于機械手臂末端時(shí)，可實(shí)現高精度3D測量，但不適合機械手臂實(shí)時(shí)3D引導與定位，因此應用場(chǎng)合有限。
線(xiàn)結構光掃描三維點(diǎn)云生成示意圖
色散共焦掃描三維成像示意圖
▍結構光投影3D成像
結構光投影三維成像是目前機器3D視覺(jué)感知的主要方式。
結構光成像系統是由若干個(gè)投影儀和相機組成。基本工作原理是：投影儀向目標物體投射特定的結構光照明圖案，由相機攝取被目標調制后的圖像，再通過(guò)圖像處理和視覺(jué)模型求出目標物體的三維信息。
根據結構光投影次數劃分，結構光投影三維成像可以分成單次投影3D和多次投影3D方法。
單次投影3D主要采用空間復用編碼和頻率復用編碼形式實(shí)現。由于單次投影曝光和成像時(shí)間短，抗振動(dòng)性能好，適合運動(dòng)物體的3D成像。但是深度垂直方向上的空間分辨率受到目標視場(chǎng)、鏡頭倍率和相機像素等因素的影響，大視場(chǎng)情況下不容易提升。
多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問(wèn)題。但也有如下不足之處：
1）對于連續相移投影方法，3D重構的精度容易受到投影儀、相機的非線(xiàn)性和環(huán)境變化的影響；
2）抗振動(dòng)性能差，不合適測量連續運動(dòng)的物體；
3）實(shí)時(shí)性差；不過(guò)隨著(zhù)投影儀投射頻率和CCD/CMOS圖像傳感器采集速度的提高，多次投影方法實(shí)時(shí)3D成像的性能也在逐步改進(jìn)。
對于粗糙表面，結構光可以直接投射到物體表面進(jìn)行視覺(jué)成像；但對于大反射率光滑表面和鏡面物體3D成像，結構光投影不能直接投射到被成像表面，需要借助鏡面偏折法。
偏折法對于復雜面型的測量，通常需要借助多次投影方法，因此和多次投影方法有同樣的缺點(diǎn)。另外偏折法對曲率變化大的表面測量有一定的難度，因為條紋偏折后反射角的變化率是被測表面曲率變化率的2倍，因此對被測物體表面的曲率變化比較敏感，很容易產(chǎn)生遮擋難題。
▍立體視覺(jué)3D成像
立體視覺(jué)一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構目標物體3D結構或深度信息。
立體視覺(jué)可分為被動(dòng)成像和主動(dòng)成像兩種形式。
被動(dòng)視覺(jué)成像依賴(lài)相機接收到的由目標場(chǎng)景產(chǎn)生的光輻射信息，常用于特定條件下的3D成像場(chǎng)合，如室內等光線(xiàn)變動(dòng)不大的場(chǎng)景，或幾何規則明顯，控制點(diǎn)比較容易確定的工業(yè)零部件等。
主動(dòng)立體視覺(jué)是利用光調制（如編碼結構光、激光調制等）照射目標場(chǎng)景，對目標場(chǎng)景表面的點(diǎn)進(jìn)行編碼標記，然后對獲取的場(chǎng)景圖像進(jìn)行解碼，以便可靠地求得圖像之間的匹配點(diǎn)，再通過(guò)三角法求解場(chǎng)景的3D結構。主動(dòng)立體視覺(jué)的優(yōu)點(diǎn)是抗干擾性能強、對環(huán)境兼容性強（如通過(guò)帶通濾波消除環(huán)境光干擾），3D測量精度、重復性和可靠性高；缺點(diǎn)是對于結構復雜的場(chǎng)景容易產(chǎn)生遮擋等問(wèn)題。
▍三維成像工業(yè)應用
基于結構光測量技術(shù)和3D物體識別技術(shù)開(kāi)發(fā)的機器人3D視覺(jué)引導系統，可對較大測量深度范圍內散亂堆放的零件進(jìn)行全自由的定位和拾取。
相比傳統的2D視覺(jué)定位方式只能對固定深度零件進(jìn)行識別且只能獲取零件的部分自由度的位置信息，具有更高的應用柔性和更大的檢測范圍?？蔀闄C床上下料、零件分揀、碼垛堆疊等工業(yè)問(wèn)題提供有效的自動(dòng)化解決方案。
機器視覺(jué)3D引導系統框架
▍3D重建和識別技術(shù)
3D掃描儀可獲準確并且快速地獲取場(chǎng)景的點(diǎn)云圖像，通過(guò)3D識別算法，可實(shí)現在對點(diǎn)云圖中的多種目標物體進(jìn)行識別和位姿估計。
▍3D重建和識別效率
▍多種材質(zhì)識別效果測試
基于重建算法和識別算法，可對不同材質(zhì)的零件進(jìn)行穩定的重建和識別，即便是反光比較嚴重的鋁材料及黑色零件都能獲得較好的重建和識別效果，可適用于廣泛的工業(yè)場(chǎng)景。
▍機器人路徑規劃
獲得零件信息后，要成功拾取零件還需要完成以下幾件事：
▍性能比較
類(lèi)似于飛行時(shí)間相機、光場(chǎng)相機這類(lèi)的相機，可以歸類(lèi)為單相機3D成像范圍，它們體積小，實(shí)時(shí)性好，適合隨動(dòng)成像眼在手系統執行3D測量、定位和實(shí)時(shí)引導。但是，飛行時(shí)間相機、光場(chǎng)相機短期內還難以用來(lái)構建普通的隨動(dòng)成像眼在手系統，主要原因如下：
1.飛行時(shí)間相機空間分辨率和3D精度低，不適合高精度測量、定位與引導。
2.對于光場(chǎng)相機，目前商業(yè)化的工業(yè)級產(chǎn)品只有為數不多的幾家，如德國Raytrix，雖然性能較好，精度適中，但價(jià)格貴，使用成本太高。
結構光投影3D系統，精度和成本適中，有較好的應用市場(chǎng)前景。它由若干個(gè)相機-投影儀組成的，如果把投影儀當作一個(gè)逆向的相機，可以認為該系統是一個(gè)雙目或多目3D三角測量系統。
被動(dòng)立體視覺(jué)3D成像，目前在工業(yè)領(lǐng)域也得到較好應用，但應用場(chǎng)合有限。因為單目立體視覺(jué)實(shí)現有難度，雙目和多目立體視覺(jué)要求目標物體紋理或幾何特征清晰。
結構光投影3D、雙目立體視覺(jué)3D都存在下列缺點(diǎn)：體積較大，容易產(chǎn)生遮擋。針對這個(gè)問(wèn)題雖然可以增加投影儀或相機覆蓋被遮擋的區域，但會(huì )增加成像系統的體積，減小應用的靈活性。
▍總結
雖然光學(xué)3D視覺(jué)成像測量方法種類(lèi)繁多，但能夠安裝在工業(yè)機器人上，組成一種合適的隨動(dòng)成像眼在手系統，對位置變動(dòng)的目標執行3D成像測量、引導機器人手臂準確定位和實(shí)施精準操作的方法有限。
從工業(yè)應用的角度來(lái)說(shuō)，我們更關(guān)心的是3D視覺(jué)傳感器的精度、速度、體積與重量。鑒于機器人末端能夠承受的端載荷有限，允許傳感器占用的空間有限，傳感器在滿(mǎn)足成像精度的條件下，重量越輕體積越小也就越實(shí)用。
對于隨動(dòng)成像眼在手系統，最佳3D成像方法是采用被動(dòng)單目（單相機）3D成像方法，這樣不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難題。
來(lái)源 | BFT機器人
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
