摘 要: 為了在紅外遙控系統(tǒng)中實(shí)現(xiàn)手勢(shì)交互,設(shè)計(jì)了一種基于雙DSP結(jié)構(gòu)的具有動(dòng)態(tài)手勢(shì)視覺(jué)識(shí)別功能的紅外遙控系統(tǒng),。針對(duì)手勢(shì)識(shí)別圖像算法的復(fù)雜性,,系統(tǒng)采用了一種流水線式的動(dòng)態(tài)圖像處理模式并提出了一種基于雙端口RAM通信的雙DSP圖像處理硬件系統(tǒng)結(jié)構(gòu)。結(jié)構(gòu)前級(jí)負(fù)責(zé)實(shí)時(shí)采集圖像數(shù)據(jù)及手勢(shì)圖像預(yù)處理,,后級(jí)結(jié)合以幀差法為核心的手勢(shì)識(shí)別算法負(fù)責(zé)動(dòng)作識(shí)別處理,,從而節(jié)省單DSP需要的等待時(shí)間,,手勢(shì)圖像處理任務(wù)同步進(jìn)行,,加快動(dòng)態(tài)圖像處理的速度。另外,,雙DSP結(jié)構(gòu)使得系統(tǒng)資源得到有效分配,,復(fù)雜處理算法同步運(yùn)行,再配合自學(xué)習(xí)紅外遙控模塊實(shí)現(xiàn)紅外遙控功能,。實(shí)驗(yàn)結(jié)果表明,,系統(tǒng)一次手勢(shì)動(dòng)作的最短識(shí)別時(shí)間為1.5 s,動(dòng)作識(shí)別的準(zhǔn)確率達(dá)到93.75%,,具有良好的穩(wěn)定性和可操作性,。
關(guān)鍵詞: 雙DSP結(jié)構(gòu);CMOS數(shù)字?jǐn)z像頭,;手勢(shì)識(shí)別,;紅外遙控
隨著人機(jī)交互技術(shù)的發(fā)展,手勢(shì)識(shí)別交互的原理和應(yīng)用已被國(guó)內(nèi)外許多學(xué)者從不同的角度,、不同的層次進(jìn)行了研究[1-2],。近年來(lái),傳統(tǒng)按鍵式的紅外遙控器已經(jīng)成為現(xiàn)代家庭電子消費(fèi)品中廣為人知的一種電子產(chǎn)品,,而基于視覺(jué)的手勢(shì)識(shí)別交互技術(shù)與傳統(tǒng)紅外遙控技術(shù)的結(jié)合,,逐漸成為人們研究手勢(shì)人機(jī)交互應(yīng)用的新熱點(diǎn)[3]。手勢(shì)識(shí)別紅外遙控系統(tǒng)整合了新一代手勢(shì)人機(jī)交互技術(shù),,從而改變了傳統(tǒng)的按鍵模式,,在某些紅外遙控的場(chǎng)合具有傳統(tǒng)遙控器所無(wú)可比擬的便捷和人性化的用戶體驗(yàn)。手勢(shì)紅外遙控系統(tǒng)的結(jié)構(gòu)大多都基于PC實(shí)現(xiàn),,若要在專門系統(tǒng)獨(dú)立實(shí)現(xiàn),,硬件系統(tǒng)一般都要根據(jù)具體要求進(jìn)行特別的設(shè)計(jì)[4-5],。在充分考慮了算法實(shí)現(xiàn)的靈活性和實(shí)現(xiàn)結(jié)構(gòu)的可行性之后[4,6-11],,本文提出并設(shè)計(jì)了一種基于雙DSP結(jié)構(gòu)的硬件處理平臺(tái),,快速實(shí)現(xiàn)手勢(shì)定位及特征提取,從而成功開(kāi)發(fā)了一種簡(jiǎn)便實(shí)用,、容易操作及性價(jià)比高的動(dòng)態(tài)手勢(shì)紅外遙控,。
1 系統(tǒng)總體方案
系統(tǒng)基于雙DSP C2000系列芯片結(jié)構(gòu)的硬件平臺(tái),采用流水線處理結(jié)構(gòu),,結(jié)合圖像幀差法實(shí)現(xiàn)手勢(shì)背景分離,,通過(guò)圖像濾波、灰度直方圖等方法實(shí)現(xiàn)手勢(shì)定位及特征提取,。雙DSP兩級(jí)流水線的圖像處理流程,,保證了系統(tǒng)動(dòng)態(tài)手勢(shì)圖像處理的流暢和實(shí)時(shí)性,再集成紅外控制模塊,,實(shí)現(xiàn)了手勢(shì)識(shí)別技術(shù)和紅外遙控技術(shù)的結(jié)合,,從而實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)紅外遙控。設(shè)計(jì)的動(dòng)態(tài)手勢(shì)紅外遙控系統(tǒng)總體方案如圖1所示,。系統(tǒng)主要由DSP1前級(jí)處理,、DSP2后級(jí)處理、紅外控制模塊三大部分組成,,其中DSP1和DSP2均為TI公司C2000系列芯片中的TMS320F2812信號(hào)處理芯片系統(tǒng),,系統(tǒng)采用兩級(jí)流水線的系統(tǒng)處理方法,DSP1負(fù)責(zé)與圖像傳感器通信,,實(shí)時(shí)采集圖像數(shù)據(jù),,并對(duì)圖像進(jìn)行初步的圖像濾波處理。DSP2主要負(fù)責(zé)實(shí)時(shí)圖像的后級(jí)處理,,包括手勢(shì)背景分離,、手勢(shì)特征提取、手勢(shì)動(dòng)作識(shí)別,、指令判斷以及與紅外控制模塊的通信,。系統(tǒng)的紅外控制模塊具有收發(fā)一體功能,能夠自定義學(xué)習(xí)紅外指令以適應(yīng)各種遙控對(duì)象,。
手勢(shì)識(shí)別算法主要包括:手勢(shì)圖像預(yù)處理,、手勢(shì)背景分離、特征提取和動(dòng)作識(shí)別,。系統(tǒng)基于幀差法實(shí)現(xiàn)手部圖像分割方法就是對(duì)視頻圖像序列中的相鄰的或一定時(shí)間間隔的兩幀進(jìn)行逐個(gè)像素比較,,來(lái)獲得前后兩幀圖像亮度差的絕對(duì)值。利用間隔短暫時(shí)間的兩幀圖像比較,可以得到兩張圖像運(yùn)動(dòng)方向的邊緣圍成的一小段白色區(qū)域,。用這段白色區(qū)域代替手部位置,。幀差法能夠消除大部分的背景,并且經(jīng)過(guò)幀差法處理之后圖像中的噪聲類型單一,,容易用特定的濾波算法消除[7,,12]。對(duì)幀間差分法得到的圖像按選定的閾值進(jìn)行二值化,,得到目標(biāo)圖像序列的二值化圖像序列Fk(x,,y)。其中,,
2.1 圖像采集模塊
為了實(shí)現(xiàn)手勢(shì)圖像的實(shí)時(shí)采集,,本系統(tǒng)采用了一款以O(shè)V7620圖像傳感芯片為核心的型號(hào)為C3188的數(shù)字圖像傳感模組作為圖像采集攝像頭,同時(shí)為了與DSP1的工作速度匹配,,圖像采集電路使用了型號(hào)為AL422B的FIFO緩沖存儲(chǔ)芯片,。圖像數(shù)據(jù)采集電路示意圖如圖3所示。OV7620是Omni Vision公司生產(chǎn)的一款高集成度的高分辨率逐行/隔行掃描CMOS數(shù)字彩色/黑白視頻攝像芯片,。芯片輸出視頻的同時(shí)提供了3根同步信號(hào)線,,分別為場(chǎng)同步信號(hào)VSN,奇偶場(chǎng)同步信號(hào)FODD,,行同步信號(hào)HREF和像素輸出時(shí)鐘PCLK,。使用DSP的GPIO控制4根信號(hào)線,,就可以完整讀取視頻圖像數(shù)據(jù),。
2.2 雙DSP硬件結(jié)構(gòu)
為了使得最大工作頻率只有150 MHz的DSP F2812芯片能夠進(jìn)行有效快速的圖像處理工作,結(jié)合實(shí)際考慮,,本系統(tǒng)獨(dú)立設(shè)計(jì)了基于雙DSP F2812芯片的并行處理電路[10-11],,系統(tǒng)電路示意圖如圖4所示。雙DSP芯片通過(guò)雙端口RAM CY7C028存儲(chǔ)芯片建立數(shù)據(jù)通道,,從而實(shí)現(xiàn)將手勢(shì)識(shí)別圖像處理分離為流水線般的處理模式,,使得雙DSP配合工作,前級(jí)DSP1進(jìn)行圖像的采集與預(yù)處理,,后級(jí)DSP2同時(shí)地進(jìn)行手勢(shì)圖像特征提取及識(shí)別等工作,。這樣可以大大提高單DSP的工作效率,從而可以勝任復(fù)雜的手勢(shì)識(shí)別的圖像處理工作,。
3 軟件設(shè)計(jì)
系統(tǒng)軟件的編寫(xiě)包括兩方面,,一是DSP1端的控制程序,主要為圖像采集和圖像預(yù)處理,;二是DSP2端的控制程序,,主要為手勢(shì)分割、特征提取、動(dòng)作識(shí)別,、紅外控制程序,。DSP芯片處理實(shí)現(xiàn)必要的圖像算法之外,還包括相應(yīng)外部控制模塊的驅(qū)動(dòng)控制程序,。DSP1端的模塊控制程序部分主要包括OV7620攝像頭模塊的數(shù)據(jù)讀寫(xiě)程序,、RTL8019AS網(wǎng)絡(luò)芯片的控制程序。DSP2端的模塊控制程序部分為HXD019控制程序,。根據(jù)各模塊的時(shí)序圖建立相應(yīng)的時(shí)序算法即可實(shí)現(xiàn)對(duì)各模塊的控制,。DSP端軟件流程簡(jiǎn)圖如圖6所示。
4 測(cè)試實(shí)驗(yàn)
利用自主設(shè)計(jì)的基于DSP C2000系列芯片搭建的雙DSP處理平臺(tái),,根據(jù)并行流水處理的思想,,實(shí)現(xiàn)了基于機(jī)器視覺(jué)的動(dòng)態(tài)手勢(shì)紅外遙控系統(tǒng)的研制,圖7為手勢(shì)分割及定位效果圖,。
由表1可知,,手與系統(tǒng)距離在2 m位置,系統(tǒng)的手勢(shì)識(shí)別率達(dá)到最高,,高達(dá)88.75%以上,。在距離小于2 m或大于2 m位置,手勢(shì)識(shí)別率都有所下降,。通過(guò)實(shí)驗(yàn)測(cè)試,,可以得到本系統(tǒng)性能參數(shù),如表2所示,。從表2可以看出,,一次動(dòng)作的最短識(shí)別時(shí)間為1 s,識(shí)別速度雖然相對(duì)較慢,,但考慮到紅外遙控的應(yīng)用實(shí)際,,本系統(tǒng)仍然具有實(shí)用價(jià)值。
動(dòng)態(tài)手勢(shì)交互實(shí)現(xiàn)需要多方面技術(shù)和算法的綜合,,其優(yōu)化也是多方面的,,包括手勢(shì)圖像采集、圖像預(yù)處理,、手勢(shì)背景分離,、特征提取和動(dòng)作識(shí)別等。本系統(tǒng)使用雙DSP結(jié)構(gòu)可達(dá)到資源合理分配和快速并行處理的目的,,節(jié)省了單DSP需要等待的時(shí)間,,加快了動(dòng)態(tài)圖像處理的速度,從而實(shí)現(xiàn)了基于動(dòng)態(tài)手勢(shì)交互的紅外遙控功能,。測(cè)試結(jié)果表明,,系統(tǒng)一次手勢(shì)動(dòng)作的最短識(shí)別時(shí)間為1.5 s,,動(dòng)作識(shí)別的準(zhǔn)確率達(dá)到93.75%,具有良好的穩(wěn)定性和可操作性,,可應(yīng)用于電視機(jī)遙控,、空調(diào)遙控和燈光遙控等家用設(shè)備的控制系統(tǒng)中。該系統(tǒng)簡(jiǎn)易實(shí)用,,在滿足用戶手勢(shì)紅外遙控基本操作的同時(shí),,具有一定的趣味性和臨場(chǎng)感,給用戶帶來(lái)了新一代手勢(shì)交互的新體驗(yàn),?;陔pDSP結(jié)構(gòu)的處理平臺(tái),采用流水線式的算法實(shí)現(xiàn)結(jié)構(gòu),,能將復(fù)雜的算法任務(wù)進(jìn)行逐步分解,,同步處理,從而加快復(fù)雜任務(wù)的處理速度,。在手勢(shì)識(shí)別應(yīng)用方面,,即使總體上系統(tǒng)仍有很大的改進(jìn)和提升空間,但這是一次新嘗試,。隨著手勢(shì)識(shí)別等復(fù)雜應(yīng)用任務(wù)被廣泛關(guān)注,,雙DSP結(jié)構(gòu)的流水線處理思路可以為同行提供一個(gè)新的參考。
參考文獻(xiàn)
[1] WALDHERR S,, ROMERO R,, THRUN S. A gesture based interface for human-robot interaction[J]. Autonomous Robots, 2000,,9(2):151-173.
[2] TRIESCH J,, MALSBURG C. Robotic gesture recognition[C]. In Gesture Workshop,1997,,233-244.
[3] STENGER B,, WOODLEY T, CIPOLLA R. A Vision-Based Remote Control[M]. Computer Vision: Recognition,, Registration and Reconstruction, Springer,, 2010.
[4] Shi Lei,, Wang Yangsheng, Li Jituo. A real time vision-based hand gestures recognition System[J]. Advances In Computation and Intelligence,, 2010,,6382:349-358.
[5] 曾翔,王賢秋.電視機(jī)手勢(shì)遙控系統(tǒng)設(shè)計(jì)[J].電視技術(shù),,2011,,35(1):42-44.
[6] 趙永嘉,戴樹(shù)嶺.基于點(diǎn)分布模型的可變形手勢(shì)跟蹤方法[J].系統(tǒng)仿真學(xué)報(bào),2009(S1):1-5.
[7] 任海兵,,祝遠(yuǎn)新,,徐光祐,等.復(fù)雜背景下的手勢(shì)分割與識(shí)別[J].自動(dòng)化學(xué)報(bào),,2002(2):256-261.
[8] VIBLIS M K,, KYRIAKOPOULOS K J. Gesture recognition: the gesture segmentation problem[J]. Journal of Intelligent & Robotic Systems, 2000,,28(1-2):151-158.
[9] IWAI Y,, HATA T, YACHIDA M. Gesture recognition from image motion based on subspace method and hidden Markov model[C]. International conference on Intertlipent Robots and Systems,,1997,,2:960-966.
[10] 黎玉剛,張英敏,,付強(qiáng)文.雙口RAM在組合導(dǎo)航系統(tǒng)中的應(yīng)用[J].電子技術(shù)應(yīng)用,,2005(9):75-78.
[11] 李超,姜戎,,羅傳勇,,等.基于雙DSP的飛艇組合導(dǎo)航系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程,2007(17):259-261.
[12] 劉俊梅,,阮秋琦.一種復(fù)雜背景下的手勢(shì)分割新方法[J].北京電子科技學(xué)院學(xué)報(bào),,2006,14(2):23-27.