Linux系統下USB攝像頭驅動(dòng)程序開(kāi)發(fā)
加入技術(shù)交流群
USB攝像頭以其良好的性能和低廉的價(jià)格得到廣泛應用。同時(shí)因其靈活、方便的特性，易于集成到嵌入式系統中。但是如果使用現有的符合Video for Linux標準的驅動(dòng)程序配合通用應用程序，難以充分利用USB帶寬，幀速不高，不易滿(mǎn)足實(shí)時(shí)監控等要求。本文首先介紹在Linux系統下USB攝像頭驅動(dòng)編制的一般方法，然后說(shuō)明在此基礎上如何提高幀速。
USB設備驅動(dòng)程序完全符合通用設備驅動(dòng)的準則，不同的是內核提供了一些特別的API函數，方便驅動(dòng)注冊、銷(xiāo)毀自己，例如usb_reSister()和usb_dereSister()；2．4版的內核還提供了對于hotplug的支持。
1．1 USB攝像頭驅動(dòng)的一般編寫(xiě)方法
攝像頭屬于視頻類(lèi)設備。在目前的Linux核心中，視頻部分的標準是Video for Linux(簡(jiǎn)稱(chēng)V4L)。這個(gè)標準其實(shí)定義了一套接口，內核、驅動(dòng)、應用程序以這個(gè)接口為標準進(jìn)行交流。目前的V4L涵蓋了視、音頻流捕捉及處理等內容，USB攝像頭也屬于它支持的范疇。
因此，USB攝像頭的驅動(dòng)應當與內核提供的視頻驅動(dòng)掛鉤。即首先在驅動(dòng)中聲明一個(gè)video_device結構，并為其指定文件操作函數指針數組．fops，向系統注冊。在應用程序發(fā)出文件操作的相關(guān)命令時(shí)，核心根據這些指針調用相應函數，并將該結構作為參數傳遞給它們。這樣，就完成了驅動(dòng)和核心之間的通信。例如：
| static struct video_device vdev_template＝{……}； /／聲明video_device，指出掛接驅動(dòng) static struct file_operations ov511_fops＝{……}； ／／聲明本驅動(dòng)的文件操作函數指針 struct video_device*vdev＝video_devdata(file)； ／／從文件指針中提取出video_device結構 |
在video_device結構中，有一個(gè)私有指針priv，可以將它指向一塊保留內存。在這塊內存中，保存著(zhù)本驅動(dòng)、本設備的相關(guān)初始化信息。這塊內存的申請、初始化、指針指向等工作都是在USB驅動(dòng)的枚舉函數.probe中完成。這樣，在枚舉函數將控制權返還給系統后，因為內核不銷(xiāo)毀保留內存，所以驅動(dòng)仍然保留著(zhù)自己的信息。這點(diǎn)與Windows系統中WDM驅動(dòng)有異曲同工之處。當然，在驅動(dòng)卸載函數中，應當將申請的各塊內存全部釋放。
1．2 使用雙URB輪流通信
眾所周知，USBl．1總線(xiàn)標準定義了控制、中斷、批量、等時(shí)等四種管道。對于時(shí)間性極強但是準確度要求不高的視頻捕捉應用來(lái)說(shuō)，攝像頭應當使用等時(shí)傳輸方式。為了盡可能快地得到圖像數據，應當在URB中指定USB_ISO_ASAP標志。
urb->transfer_flags＝USB_ISO_ASAP；／／盡可能快地發(fā)出本URB
Linux系統中任何USB傳輸都通過(guò)URB實(shí)現。為提高速度，可以考慮擴大URB的緩沖，這樣可以降低每個(gè)USB事務(wù)中握手信息所占比例，提高有效數據的傳輸速度。但是受限于總線(xiàn)帶寬和具體的USB設備芯片，單純擴大URB的緩沖不能無(wú)限制地解決問(wèn)題。具體分析一下USB傳輸在操作系統中的實(shí)現：每次傳輸都要包括URB的建立、發(fā)出、回收、數據整理等階段，這些時(shí)間不產(chǎn)生有效數據。因此可以建立兩個(gè)URB，在等待一個(gè)URB被回收時(shí)，也就是圖像正在被傳感器采集時(shí)，處理、初始化另一個(gè)URB，并在回收后立刻將其發(fā)出。兩個(gè)URB交替使用，大大減少了額外時(shí)間。工作流程如圖1所示。
|
這個(gè)過(guò)程是在URB的完成例程中實(shí)現的，有兩點(diǎn)需要注意：首先處理再次初始化的代碼時(shí)間不能長(cháng)，否則會(huì )造成完成例程的重人，如果確實(shí)來(lái)不及，可以在完成例程中設定標志，例如“數據采集好”旗語(yǔ)，由應用程序使用阻塞ioctl()來(lái)查詢(xún)該旗語(yǔ)并做處理；其次由于CPU可能會(huì )在完成例程中停留較長(cháng)時(shí)間，系統負擔較大，可以在．open函數中初始化兩個(gè)URB并將其發(fā)出，有限度地減輕系統負擔。
1．3 使用雙幀緩沖提高效率
Linux系統中，文件操作通常是由read、write等系統調用來(lái)完成。這些系統調用在驅動(dòng)中的解決方法就是用copy_to_user()、copy_from_user()等函數在核態(tài)、戶(hù)態(tài)內存空間中互相拷貝。但是對于大批量的圖像數據，采用拷貝的方法顯然會(huì )增加時(shí)間開(kāi)銷(xiāo)，因此用內存映射的方法解決。首先使用vmalloc()申請足夠大的核態(tài)內存，將其作為圖像數據緩沖空間，兩個(gè)URB帶回的圖像數據在這里暫存；然后使用remap_page_range()函數將其逐頁(yè)映射到用戶(hù)空間中。戶(hù)態(tài)的圖像處理程序使用mmap()函數，直接讀寫(xiě)核態(tài)圖像緩沖內存，大大減少額外開(kāi)銷(xiāo)。
圖像數據的處理可能要花費比較長(cháng)的時(shí)間，不同的算法對于數據保留時(shí)間的要求也不一樣。因此可以申請兩幀圖像緩沖，在處理一幀圖像的同時(shí)，將兩個(gè)URB帶回的數據全部填充到另一幀緩沖中，這樣可以免去時(shí)間沖突上的麻煩。
值得注意的是：這種方法要求時(shí)刻持有當前幀的序號、每一幀的起始地址等信息，不能將兩幀圖像混淆。這些信息可以保存在保留內存中，當前幀的數據整理、序號改變在URB完成例程中實(shí)現。
二、 V4L標準的改進(jìn)
V4L標準目前已經(jīng)發(fā)展到第二版V4L2，其基本思路與V4L相同。
2．1 標準分析
根據V4L標準，戶(hù)態(tài)程序在需要一幀圖像時(shí)，CPU的走向如圖2。CPU按照123456的順序完成一個(gè)循環(huán)。在這里，有一個(gè)細節被忽略：在完成例程中，也就是圖2中步驟6，該URB被立刻發(fā)出，但是由于這時(shí)用戶(hù)程序正在阻塞等待，沒(méi)辦法再次提出獲得圖像的申請，因此在判斷有無(wú)新請求時(shí)，判斷的結果必然是當前無(wú)請求，導致下一個(gè)URB帶回的數據被驅動(dòng)丟棄；由于核態(tài)、戶(hù)態(tài)的切換需要一定的時(shí)間，加上戶(hù)態(tài)多進(jìn)程同步等開(kāi)銷(xiāo)，等到應用程序能夠再次發(fā)出獲得一副圖像的申請時(shí)，已經(jīng)有不止一個(gè)URB帶回的數據被丟棄掉，這些URB包含的數據正好是新一幀圖像的開(kāi)始部分。因此驅動(dòng)必須等到再下一幀圖像才能保存數據、緩沖。這樣憑白損失了一幀圖像，幀速最少下降一半。
2．2 改進(jìn)思路：不間斷采集
為了解決這個(gè)問(wèn)題，可以改進(jìn)V4L標準作，使其增加新的功能：通過(guò)新的參數，讓ioetl()函數通知驅動(dòng)不間斷采集、緩沖圖像數據，輪流保存在兩幀緩沖區中，并在一幀圖像采集好后，設定“圖像采集好”旗語(yǔ)。戶(hù)態(tài)程序只需要發(fā)出一次“獲得圖像”請求，就可以通過(guò)阻塞等待該旗語(yǔ)，不斷獲得圖像。在采集結束后，再次通過(guò)新的參數，讓驅動(dòng)停止緩沖即可。CPU工作流程圖如圖3。
注意到圖2、圖3，兩種“判斷有無(wú)新請求”的不同，即可發(fā)現新方法假定一直有請求，因此不丟棄每個(gè)URB帶回的數據，輪流保存在兩個(gè)幀緩沖內。
V4L已經(jīng)作為約定俗成的標準被內核支持，因此如果使用全新的參數，工作量將相當巨大，并且不能和現有的應用程序兼容?？紤]到現有的圖像采集應用程序使用VIDIOCMCAPTURE作為參數，并提供幀序號，要求驅動(dòng)將圖像保存到指定序號的幀緩沖內。由于驅動(dòng)通常僅僅提供幾幀緩沖，因此該序號不會(huì )大于某個(gè)數字，如10。因此可以繼續使用VIDIOCMCAPTURE參數，搭配較大的序號來(lái)表示新增的功能，例如用10000和10001來(lái)分別表示開(kāi)始和停止緩沖圖像數據的要求。驅動(dòng)在收到VIDIOCMCAPTURE要求后，檢查這個(gè)序號。如果小于10000，則按照正常的方法處理，否則按照改進(jìn)方法。這種思路可以有效解決兼容性問(wèn)題。
2．3 實(shí)驗結果
在賽揚366、USBl．1接口的計算機平臺上，采用上述不間斷采集改進(jìn)V4L標準，配合雙URB、雙幀緩沖等方法后，幀速提高兩倍有余，有效數據傳輸速度達960KB／s，接近等時(shí)傳輸方式下USB總線(xiàn)的帶寬極限。 推薦閱讀：《rh9實(shí)現視頻的捕獲》，該文檔中有詳細的代碼
linux操作系統文章專(zhuān)題:linux操作系統詳解（linux不再難懂）
評論