《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 設(shè)計(jì)應(yīng)用 > Linux系統(tǒng)下USB攝像頭驅(qū)動(dòng)程序開發(fā)
Linux系統(tǒng)下USB攝像頭驅(qū)動(dòng)程序開發(fā)
摘要: USB攝像頭以其良好的性能和低廉的價(jià)格得到廣泛應(yīng)用,。同時(shí)因其靈活、方便的特性,,易于集成到嵌入式系統(tǒng)中,。但是如果使用現(xiàn)有的符合Video for Linux標(biāo)準(zhǔn)的驅(qū)動(dòng)程序配合通用應(yīng)用程序,,難以充分利用USB帶寬,幀速不高,,不易滿足實(shí)時(shí)監(jiān)控等要求,。本文首先介紹在Linux系統(tǒng)下USB攝像頭驅(qū)動(dòng)編制的一般方法,然后說明在此基礎(chǔ)上如何提高幀速,。
關(guān)鍵詞: 軟件 Linux USB 攝像頭
Abstract:
Key words :

一,、 Linux系統(tǒng)中的USB攝像頭驅(qū)動(dòng)程序
        USB攝像頭以其良好的性能和低廉的價(jià)格得到廣泛應(yīng)用。同時(shí)因其靈活,、方便的特性,,易于集成到嵌入式系統(tǒng)中。但是如果使用現(xiàn)有的符合Video for Linux標(biāo)準(zhǔn)的驅(qū)動(dòng)程序配合通用應(yīng)用程序,,難以充分利用USB帶寬,,幀速不高,不易滿足實(shí)時(shí)監(jiān)控等要求,。本文首先介紹在Linux系統(tǒng)下USB攝像頭驅(qū)動(dòng)編制的一般方法,,然后說明在此基礎(chǔ)上如何提高幀速。
        USB設(shè)備驅(qū)動(dòng)程序完全符合通用設(shè)備驅(qū)動(dòng)的準(zhǔn)則,,不同的是內(nèi)核提供了一些特別的API函數(shù),,方便驅(qū)動(dòng)注冊(cè)、銷毀自己,,例如usb_reSister()和usb_dereSister(),;2.4版的內(nèi)核還提供了對(duì)于hotplug的支持,。

1.1 USB攝像頭驅(qū)動(dòng)的一般編寫方法
        攝像頭屬于視頻類設(shè)備。在目前的Linux核心中,,視頻部分的標(biāo)準(zhǔn)是Video for Linux(簡稱V4L),。這個(gè)標(biāo)準(zhǔn)其實(shí)定義了一套接口,內(nèi)核,、驅(qū)動(dòng),、應(yīng)用程序以這個(gè)接口為標(biāo)準(zhǔn)進(jìn)行交流。目前的V4L涵蓋了視,、音頻流捕捉及處理等內(nèi)容,,USB攝像頭也屬于它支持的范疇。 
        因此,,USB攝像頭的驅(qū)動(dòng)應(yīng)當(dāng)與內(nèi)核提供的視頻驅(qū)動(dòng)掛鉤,。即首先在驅(qū)動(dòng)中聲明一個(gè)video_device結(jié)構(gòu),并為其指定文件操作函數(shù)指針數(shù)組.fops,,向系統(tǒng)注冊(cè),。在應(yīng)用程序發(fā)出文件操作的相關(guān)命令時(shí),核心根據(jù)這些指針調(diào)用相應(yīng)函數(shù),,并將該結(jié)構(gòu)作為參數(shù)傳遞給它們,。這樣,就完成了驅(qū)動(dòng)和核心之間的通信,。例如:

static struct video_device vdev_template={……},;
//聲明video_device,指出掛接驅(qū)動(dòng)
static struct file_operations ov511_fops={……},;
//聲明本驅(qū)動(dòng)的文件操作函數(shù)指針
struct video_device*vdev=video_devdata(file),;
//從文件指針中提取出video_device結(jié)構(gòu)



在video_device結(jié)構(gòu)中,,有一個(gè)私有指針priv,,可以將它指向一塊保留內(nèi)存。在這塊內(nèi)存中,,保存著本驅(qū)動(dòng),、本設(shè)備的相關(guān)初始化信息。這塊內(nèi)存的申請(qǐng),、初始化,、指針指向等工作都是在USB驅(qū)動(dòng)的枚舉函數(shù).probe中完成。這樣,,在枚舉函數(shù)將控制權(quán)返還給系統(tǒng)后,,因?yàn)閮?nèi)核不銷毀保留內(nèi)存,所以驅(qū)動(dòng)仍然保留著自己的信息,。這點(diǎn)與Windows系統(tǒng)中WDM驅(qū)動(dòng)有異曲同工之處,。當(dāng)然,,在驅(qū)動(dòng)卸載函數(shù)中,應(yīng)當(dāng)將申請(qǐng)的各塊內(nèi)存全部釋放,。

1.2 使用雙URB輪流通信
眾所周知,,USBl.1總線標(biāo)準(zhǔn)定義了控制、中斷,、批量,、等時(shí)等四種管道。對(duì)于時(shí)間性極強(qiáng)但是準(zhǔn)確度要求不高的視頻捕捉應(yīng)用來說,,攝像頭應(yīng)當(dāng)使用等時(shí)傳輸方式,。為了盡可能快地得到圖像數(shù)據(jù),應(yīng)當(dāng)在URB中指定USB_ISO_ASAP標(biāo)志,。
urb->transfer_flags=USB_ISO_ASAP,;//盡可能快地發(fā)出本URB


Linux系統(tǒng)中任何USB傳輸都通過URB實(shí)現(xiàn)。為提高速度,,可以考慮擴(kuò)大URB的緩沖,,這樣可以降低每個(gè)USB事務(wù)中握手信息所占比例,提高有效數(shù)據(jù)的傳輸速度,。但是受限于總線帶寬和具體的USB設(shè)備芯片,,單純擴(kuò)大URB的緩沖不能無限制地解決問題。具體分析一下USB傳輸在操作系統(tǒng)中的實(shí)現(xiàn):每次傳輸都要包括URB的建立,、發(fā)出,、回收、數(shù)據(jù)整理等階段,,這些時(shí)間不產(chǎn)生有效數(shù)據(jù),。因此可以建立兩個(gè)URB,在等待一個(gè)URB被回收時(shí),,也就是圖像正在被傳感器采集時(shí),,處理、初始化另一個(gè)URB,,并在回收后立刻將其發(fā)出,。兩個(gè)URB交替使用,大大減少了額外時(shí)間,。工作流程如圖1所示,。


這個(gè)過程是在URB的完成例程中實(shí)現(xiàn)的,有兩點(diǎn)需要注意:首先處理再次初始化的代碼時(shí)間不能長,,否則會(huì)造成完成例程的重人,,如果確實(shí)來不及,可以在完成例程中設(shè)定標(biāo)志,例如“數(shù)據(jù)采集好”旗語,,由應(yīng)用程序使用阻塞ioctl()來查詢?cè)撈煺Z并做處理,;其次由于CPU可能會(huì)在完成例程中停留較長時(shí)間,系統(tǒng)負(fù)擔(dān)較大,,可以在.open函數(shù)中初始化兩個(gè)URB并將其發(fā)出,,有限度地減輕系統(tǒng)負(fù)擔(dān)。

1.3 使用雙幀緩沖提高效率
Linux系統(tǒng)中,,文件操作通常是由read,、write等系統(tǒng)調(diào)用來完成。這些系統(tǒng)調(diào)用在驅(qū)動(dòng)中的解決方法就是用copy_to_user(),、copy_from_user()等函數(shù)在核態(tài),、戶態(tài)內(nèi)存空間中互相拷貝。但是對(duì)于大批量的圖像數(shù)據(jù),,采用拷貝的方法顯然會(huì)增加時(shí)間開銷,,因此用內(nèi)存映射的方法解決。首先使用vmalloc()申請(qǐng)足夠大的核態(tài)內(nèi)存,,將其作為圖像數(shù)據(jù)緩沖空間,,兩個(gè)URB帶回的圖像數(shù)據(jù)在這里暫存;然后使用remap_page_range()函數(shù)將其逐頁映射到用戶空間中,。戶態(tài)的圖像處理程序使用mmap()函數(shù),,直接讀寫核態(tài)圖像緩沖內(nèi)存,大大減少額外開銷,。

圖像數(shù)據(jù)的處理可能要花費(fèi)比較長的時(shí)間,,不同的算法對(duì)于數(shù)據(jù)保留時(shí)間的要求也不一樣。因此可以申請(qǐng)兩幀圖像緩沖,,在處理一幀圖像的同時(shí),,將兩個(gè)URB帶回的數(shù)據(jù)全部填充到另一幀緩沖中,這樣可以免去時(shí)間沖突上的麻煩,。
值得注意的是:這種方法要求時(shí)刻持有當(dāng)前幀的序號(hào),、每一幀的起始地址等信息,不能將兩幀圖像混淆,。這些信息可以保存在保留內(nèi)存中,,當(dāng)前幀的數(shù)據(jù)整理,、序號(hào)改變?cè)赨RB完成例程中實(shí)現(xiàn),。

二、 V4L標(biāo)準(zhǔn)的改進(jìn)
V4L標(biāo)準(zhǔn)目前已經(jīng)發(fā)展到第二版V4L2,,其基本思路與V4L相同,。

2.1 標(biāo)準(zhǔn)分析
根據(jù)V4L標(biāo)準(zhǔn),戶態(tài)程序在需要一幀圖像時(shí),,CPU的走向如圖2,。CPU按照123456的順序完成一個(gè)循環(huán),。在這里,,有一個(gè)細(xì)節(jié)被忽略:在完成例程中,,也就是圖2中步驟6,,該URB被立刻發(fā)出,,但是由于這時(shí)用戶程序正在阻塞等待,,沒辦法再次提出獲得圖像的申請(qǐng),,因此在判斷有無新請(qǐng)求時(shí),,判斷的結(jié)果必然是當(dāng)前無請(qǐng)求,,導(dǎo)致下一個(gè)URB帶回的數(shù)據(jù)被驅(qū)動(dòng)丟棄,;由于核態(tài),、戶態(tài)的切換需要一定的時(shí)間,加上戶態(tài)多進(jìn)程同步等開銷,,等到應(yīng)用程序能夠再次發(fā)出獲得一副圖像的申請(qǐng)時(shí),,已經(jīng)有不止一個(gè)URB帶回的數(shù)據(jù)被丟棄掉,這些URB包含的數(shù)據(jù)正好是新一幀圖像的開始部分,。因此驅(qū)動(dòng)必須等到再下一幀圖像才能保存數(shù)據(jù),、緩沖。這樣憑白損失了一幀圖像,,幀速最少下降一半,。

2.2 改進(jìn)思路:不間斷采集
為了解決這個(gè)問題,可以改進(jìn)V4L標(biāo)準(zhǔn)作,,使其增加新的功能:通過新的參數(shù),,讓ioetl()函數(shù)通知驅(qū)動(dòng)不間斷采集、緩沖圖像數(shù)據(jù),,輪流保存在兩幀緩沖區(qū)中,,并在一幀圖像采集好后,設(shè)定“圖像采集好”旗語,。戶態(tài)程序只需要發(fā)出一次“獲得圖像”請(qǐng)求,,就可以通過阻塞等待該旗語,不斷獲得圖像,。在采集結(jié)束后,,再次通過新的參數(shù),讓驅(qū)動(dòng)停止緩沖即可,。CPU工作流程圖如圖3,。

注意到圖2、圖3,,兩種“判斷有無新請(qǐng)求”的不同,,即可發(fā)現(xiàn)新方法假定一直有請(qǐng)求,因此不丟棄每個(gè)URB帶回的數(shù)據(jù),輪流保存在兩個(gè)幀緩沖內(nèi),。
V4L已經(jīng)作為約定俗成的標(biāo)準(zhǔn)被內(nèi)核支持,,因此如果使用全新的參數(shù),工作量將相當(dāng)巨大,,并且不能和現(xiàn)有的應(yīng)用程序兼容,。考慮到現(xiàn)有的圖像采集應(yīng)用程序使用VIDIOCMCAPTURE作為參數(shù),,并提供幀序號(hào),,要求驅(qū)動(dòng)將圖像保存到指定序號(hào)的幀緩沖內(nèi)。由于驅(qū)動(dòng)通常僅僅提供幾幀緩沖,,因此該序號(hào)不會(huì)大于某個(gè)數(shù)字,,如10。因此可以繼續(xù)使用VIDIOCMCAPTURE參數(shù),,搭配較大的序號(hào)來表示新增的功能,,例如用10000和10001來分別表示開始和停止緩沖圖像數(shù)據(jù)的要求。驅(qū)動(dòng)在收到VIDIOCMCAPTURE要求后,,檢查這個(gè)序號(hào),。如果小于10000,則按照正常的方法處理,,否則按照改進(jìn)方法,。這種思路可以有效解決兼容性問題。

2.3 實(shí)驗(yàn)結(jié)果
在賽揚(yáng)366,、USBl.1接口的計(jì)算機(jī)平臺(tái)上,,采用上述不間斷采集改進(jìn)V4L標(biāo)準(zhǔn),配合雙URB,、雙幀緩沖等方法后,,幀速提高兩倍有余,有效數(shù)據(jù)傳輸速度達(dá)960KB/s,,接近等時(shí)傳輸方式下USB總線的帶寬極限,。 推薦閱讀:《rh9實(shí)現(xiàn)視頻的捕獲》,該文檔中有詳細(xì)的代碼
 

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。