基于圖像的機器人視覺(jué)伺服實(shí)驗研究

dsp圖像處理系統及圖像處理

　　系統簡(jiǎn)介

　　本實(shí)驗中采用的是北京合眾達公司的seed-vpm642視頻處理系統，該系統是一款專(zhuān)為各種視頻應用而開(kāi)發(fā)的pci插卡或帶10/100m以太網(wǎng)接口的處理系統。它是在tms320dm642芯片基礎上通過(guò)外擴容量為4m×64位的同步動(dòng)態(tài)存儲器sdram;容量為4m×8位的在線(xiàn)電可擦/寫(xiě)異步存儲器flash;可配置為rs232/rs422/rs485標準的兩路uart串行接口;4路pal/ntsc標準模擬視頻輸入，1路pal/ntsc標準模擬視頻輸出;4路立體聲音頻輸入/輸出;實(shí)時(shí)時(shí)鐘rtc和512×8位eeprom;32位的33mhz、支持主/從模式的pci接口或者10/100mbase-tx標準以太網(wǎng)接口;標準ata硬盤(pán)接口;以及esam硬件加密模塊。系統可實(shí)時(shí)實(shí)現多路數字視頻/音頻的編解碼運算，如mpeg4、h.264、g.729等;可實(shí)時(shí)接收4路視頻/音頻輸入，并實(shí)時(shí)輸出。并能實(shí)現與其他io設備、計算機、存儲設備、以太網(wǎng)絡(luò )進(jìn)行實(shí)時(shí)數據的高速傳輸和處理。系統由實(shí)驗箱體、ccd攝像頭、seed-vpm642處理板等組成。在箱體上已固定好兩個(gè)串行接口、硬盤(pán)接口、4路圖像輸入和輸出接口、液晶顯示器等［8］。

　　圖像處理

　　本實(shí)驗圖像處理具體實(shí)現過(guò)程如圖4所示。

　　由ccd攝像頭攝取的按4:2：2格式傳輸的彩色模擬視頻信號經(jīng)過(guò)解碼芯片的采集，對y、cb、cr信號按照2:1：1采樣率進(jìn)行采樣，并將它們分離開(kāi)來(lái)。在dsp系統中將彩色圖像轉變成灰度圖像，對該圖像進(jìn)行閾值二值化后變成二值圖像，然后經(jīng)過(guò)中值濾波濾除噪聲點(diǎn)，使用sobel算子進(jìn)行邊界提取。對該邊界圖像信號使用點(diǎn)hough質(zhì)心求取算法求取質(zhì)心圖像坐標［3］，并通過(guò)串口通訊將質(zhì)心坐標值傳遞給工控機程序;同時(shí)，處理后的數字視頻信號經(jīng)過(guò)編碼芯片編碼后，送顯示設備實(shí)時(shí)顯示。

機器人視覺(jué)伺服系統工作流程

　　硬件流程

　　本實(shí)驗系統由工控機、pmac運動(dòng)控制卡、松下交流伺服系統、dsp圖像處理系統和機器人組成。了解和熟悉松下交流伺服系統的原理和功能后，調試機器人關(guān)節伺服電機的運行，優(yōu)化相關(guān)控制參數以求獲得最好伺服效果;研究pmac運動(dòng)控制卡的原理和功能，并與松下交流伺服系統配合，編寫(xiě)運動(dòng)程序，不斷調整和優(yōu)化pmac卡的控制參數，以求獲得滿(mǎn)意的運動(dòng)控制效果;對seed-vpm642圖像處理系統進(jìn)行深入學(xué)習和研究后，開(kāi)發(fā)視頻圖像處理程序。組成該系統的硬件流程圖如圖5所示。

　　pmac控制卡安裝在工控機中，它通過(guò)isa總線(xiàn)與工控機通訊。工控機主要運行主控程序、pmac應用程序、dsp應用軟件ccs。seed-vpm642實(shí)驗箱通過(guò)rs232串口數據線(xiàn)與工控機相連并進(jìn)行數據通訊。pmac控制卡通過(guò)電纜連接松下交流伺服系統，接收松下伺服控制器輸出的編碼器信號，輸出指令信號給松下交流伺服系統。ccd攝像頭攝取目標物體圖像，輸出連續彩色視頻圖像給dsp圖像處理系統。seed-vpm642圖像處理系統處理攝像頭攝取的圖像，求取圓形物體的質(zhì)心圖像坐標，通過(guò)串口傳遞給工控機。

系統工作流程

　　給定期望目標物體質(zhì)心圖像坐標，主控程序計算其與由dsp圖像處理系統反饋的質(zhì)心圖像坐標值的差值，判斷系統是否已到達伺服位置，若已到達，則結束伺服過(guò)程;否則，求解圖像雅可比矩陣的逆陣，得到機器人兩個(gè)關(guān)節應轉動(dòng)的角度值，并將其輸出給pmac運動(dòng)程序，pmac卡按運動(dòng)程序計算并輸出轉矩指令給松下伺服控制器，由它直接控制機器人關(guān)節電機的運轉，通過(guò)編碼器檢測關(guān)節的位置，反饋給伺服控制器和pmac卡（伺服控制器對編碼器信號進(jìn)行處理后自身使用并可同時(shí)輸出）。ccd攝像頭跟隨機器人運動(dòng)，攝取目標物體圖像，通過(guò)dsp圖像處理程序處理后求得目標物體質(zhì)心圖像坐標，通過(guò)串口通訊傳遞給主控程序作為視覺(jué)反饋量，形成視覺(jué)伺服循環(huán)。

實(shí)驗結果

　　基于上述系統原理，在vc++6.0環(huán)境下編寫(xiě)主控程序，主控程序主要包括界面的顯示和人機交互部分、圖像雅可比矩陣逆陣部分、pmac應用程序部分，串口通信部分、數據存儲部分。程序運行界面如圖6所示。

　　程序界面能對期望像素值、實(shí)際像素值的初始值、增益矩陣、關(guān)節初始轉角、數據采集間隔等進(jìn)行設置。程序能夠對實(shí)際像素值、關(guān)節角度增量值和關(guān)節實(shí)際位置值等進(jìn)行實(shí)時(shí)顯示，并存儲相關(guān)數據。通過(guò)調用pmac動(dòng)態(tài)鏈接庫函數，實(shí)現與pmac卡的通訊。增益矩陣為對角矩陣，用來(lái)設置關(guān)節角度變化的放大比例。程序設置了兩個(gè)定時(shí)器，一個(gè)用于采集兩個(gè)關(guān)節的實(shí)際位置值，另一個(gè)用于定時(shí)接收串口數據值、計算雅可比矩陣、與pmac卡通訊等，也即為系統的伺服周期。

　　本實(shí)驗利用兩個(gè)時(shí)刻的像素誤差作為控制量，來(lái)驗證視覺(jué)伺服算法是否正確和上述系統是否實(shí)際可行。通過(guò)設置關(guān)節1、關(guān)節2的初始角度分別為0和0.2弧度，期望像素值u和w分別為200和110，實(shí)際像素u和w初始值分別為95和150，矩陣增益1和2分別為0.06和0.05，pmac卡采集時(shí)間設定為100ms，伺服周期設定為1.2s。下面兩表是根據以上設置進(jìn)行實(shí)驗的一組數據。表1是物體質(zhì)心圖像坐標兩相鄰時(shí)刻的變化值，表2是由程序計算出的機器人兩個(gè)關(guān)節角度變化值。

　　根據以上數據運用originpro軟件繪制的圖形如下：圖7是圖像坐標兩相鄰時(shí)刻的變化值曲線(xiàn)，圖8是機器人兩個(gè)關(guān)節角度變化值曲線(xiàn)。

　　在實(shí)驗中，根據目標物體圖像坐標像素的變化，得到機器人關(guān)節轉動(dòng)角度的變化，通過(guò)pmac卡和松下交流伺服系統的作用實(shí)現了機器人的視覺(jué)伺服運動(dòng)。從上述兩表和兩圖可看出，圖像坐標的變化和機器人關(guān)節角度值的變化是一種非常復雜的非線(xiàn)性關(guān)系，這也從另一方面證實(shí)了圖像雅可比矩陣的非線(xiàn)性關(guān)系和求解困難性。從公式（5）可看出，圖像雅可比矩陣既跟當前時(shí)刻的像素值有關(guān)，還與攝像機的相關(guān)參數、機器人的相關(guān)參數和關(guān)節的角度值有關(guān)，是一個(gè)時(shí)時(shí)刻刻都隨這些量的變化而變化的矩陣，因而其非線(xiàn)性非常嚴重，求解也非常困難，本文中假定了機器人的轉動(dòng)角度初始值，才使得求解稍容易一點(diǎn)。本實(shí)驗只是基于圖像的機器人視覺(jué)伺服實(shí)驗研究的起始階段實(shí)驗，其效果并不太理想。本文系統的攝像頭是運動(dòng)的，目標物體是不動(dòng)的，所處理的圖像是動(dòng)態(tài)視頻圖像，這就對dsp系統和視頻圖像處理方法提出了較高要求;因而圖像處理算法還有待進(jìn)一步改進(jìn)和開(kāi)發(fā)，并脫離dsp仿真環(huán)境下載到系統中運行，也有待于對整個(gè)系統的伺服算法做更深入的研究。

結語(yǔ)

　　本文分析了機器人視覺(jué)伺服系統的基本原理，采用基于圖像的視覺(jué)伺服方法，繞過(guò)三維空間重建和坐標變換，建立了機器人視覺(jué)伺服系統的數學(xué)模型，并應用到實(shí)際機器人系統中來(lái)。組建了由工控機、pmac運動(dòng)控制卡、松下交流伺服系統、dsp圖像處理系統和兩桿平面機器人組成的視覺(jué)伺服機器人系統，在對各子系統深入研究的基礎上，開(kāi)發(fā)了pmac運動(dòng)程序、dsp圖像處理程序和工控機主控程序，在實(shí)際機器人系統中初步實(shí)現了視覺(jué)伺服控制，系統能根據目標物體質(zhì)心圖像坐標值的變化，求解出機器人兩關(guān)節應運動(dòng)的角度值，并控制機器人按相應角度值運動(dòng)，實(shí)現視覺(jué)伺服。實(shí)驗結果表明，系統初步實(shí)現了基于圖像的機器人視覺(jué)伺服在實(shí)際機器人系統中的實(shí)現。本實(shí)驗只是該課題的起始階段實(shí)驗，其效果也不理想，下一步將對整個(gè)系統進(jìn)行更深入的研究。