摘  要： 設(shè)計(jì)了一種基于雙目視覺技術(shù)的觸摸屏實(shí)現(xiàn)方法,，采用兩個(gè)普通攝像頭作為傳感器實(shí)時(shí)捕捉觸摸物的存在及其動(dòng)作,，并利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)對(duì)普通顯示屏幕的虛擬觸摸功能，使其具有單擊,、雙擊,、拖動(dòng)以及多點(diǎn)觸摸等功能。
關(guān)鍵詞： 計(jì)算機(jī)視覺,；觸摸屏,；圖像處理；人機(jī)交互,；序列圖像

    觸摸是人類最簡(jiǎn)單和最本能的行為之一,，觸摸屏技術(shù)方便了用戶對(duì)計(jì)算機(jī)的操作。與鼠標(biāo),、鍵盤,、手寫板相比，觸摸屏技術(shù)實(shí)現(xiàn)了人機(jī)互動(dòng)的最簡(jiǎn)單,、最直接的方式,。尤其是近年來iphone手機(jī)風(fēng)靡全球，使得“多點(diǎn)觸摸”成為另一熱點(diǎn)話題,。它將進(jìn)一步推進(jìn)觸摸屏的流行,，同時(shí)也將推升多點(diǎn)觸控功能的深入人心。但目前對(duì)于超大觸摸屏硬件實(shí)現(xiàn)成本很高,，多點(diǎn)觸摸技術(shù)還不成熟,。因此,，觸摸行業(yè)仍有很大的提升空間，具有十分廣闊的研究前景,。
    用軟件代替昂貴的硬件從而降低成本將成為可能,，計(jì)算機(jī)視覺技術(shù)成為首選?；谝曈X的手勢(shì)交互領(lǐng)域中存在許多困難和挑戰(zhàn)[1],，如復(fù)雜背景和光照變化的影響、人手快速運(yùn)動(dòng)的變形,、手指之間的相互遮擋等,，這無(wú)疑使得精確的圖像分隔和特征提取成為難點(diǎn)[2]。為降低視覺處理的復(fù)雜性,，人們用特殊標(biāo)記手套等輔助工具來獲取手的位置和方向[3]、手部自然色信息進(jìn)行特征提取[4],、利用三路或四路攝像頭分組獲取圖像,，從而定位手指[5]等，以實(shí)現(xiàn)人機(jī)交互,。
    本文提出了一種新的基于雙目視覺的手指屏幕交互方法,。該方法主要采用兩個(gè)攝像裝置來構(gòu)建，通過對(duì)獲取的雙圖像進(jìn)行分析,，并計(jì)算觸摸點(diǎn)位置和定義觸摸的過程,。
1 系統(tǒng)概述
    基于雙目視覺技術(shù)來[6]實(shí)現(xiàn)對(duì)普通顯示屏的觸摸功能，系統(tǒng)主要由兩個(gè)一維圖像采集裝置(攝像頭),、普通顯示屏幕和計(jì)算機(jī)識(shí)別定位軟件三部分組成,。系統(tǒng)裝置參考圖如圖1所示。

    兩個(gè)圖像采集裝置安裝在顯示屏幕的同側(cè)任意位置,，但要保證兩者的視角范圍覆蓋整個(gè)顯示屏幕,。在每個(gè)圖像采集裝置獲取到的一維圖像中，顯示屏幕均以一條直線形式呈現(xiàn),。構(gòu)建一個(gè)虛擬的觸摸屏平行于顯示屏幕的正前方,，當(dāng)觸摸物接觸到虛擬觸摸屏就能立即被攝像頭捕捉到。在一維圖像顯示屏幕的直線上會(huì)有點(diǎn)出現(xiàn),，進(jìn)而用識(shí)別定位軟件進(jìn)行轉(zhuǎn)換處理,，為虛擬觸摸屏中的二維坐標(biāo)，并完成相應(yīng)的觸控操作,，以此來實(shí)現(xiàn)人機(jī)交互功能,。系統(tǒng)實(shí)現(xiàn)原理示意圖如圖2所示。
2 系統(tǒng)標(biāo)定
    系統(tǒng)標(biāo)定的目的是分別確定兩個(gè)攝像頭的圖像坐標(biāo)系與屏幕坐標(biāo)系之間的映射關(guān)系[7],。本文的屏幕坐標(biāo)系是指顯示器用于圖像顯示的坐標(biāo)系,，本實(shí)驗(yàn)選用的是47英寸液晶電視機(jī)作為顯示屏幕,。
    在顯示屏幕的每邊上逐一顯示如圖3所示的若干個(gè)均勻分布的參考點(diǎn)，一旦有接觸物接觸顯示屏幕,，分別由兩個(gè)攝像頭采集這組點(diǎn)在圖像中的位置,，計(jì)算機(jī)記錄下圖像坐標(biāo)與屏幕坐標(biāo)的對(duì)應(yīng)關(guān)系(x1)(x2)(x，y),。其中,，x1和x2分別為兩個(gè)攝像頭采集的一維圖像中的坐標(biāo)，(x,，y)為對(duì)應(yīng)的虛擬觸摸屏四邊上的二維坐標(biāo),。

    本系統(tǒng)的攝像頭安裝在屏幕的下邊沿兩角上。攝像頭邏輯坐標(biāo)的確立是在坐標(biāo)映射之后自動(dòng)完成的,，默認(rèn)采用的是屏幕上邊沿中間和右上角兩個(gè)參考點(diǎn)A1和A2,，利用二分法查找[8]并確定屏幕下邊的對(duì)應(yīng)參考點(diǎn)B1和B2，連接參考點(diǎn)A1和B1獲得屏幕內(nèi)的左下角攝像頭的一條直線,，連接參考點(diǎn)A2和B2獲得另一條直線,，兩條直線相交，獲得左下角攝像頭的邏輯坐標(biāo),。同理,，可以確定右下角攝像頭的邏輯坐標(biāo)。攝像頭邏輯坐標(biāo)確立方法如圖4所示,。

3 觸摸定位和動(dòng)作判定
3.1 觸摸定位
    在攝像頭采集到的一維圖像上,，整個(gè)虛擬觸摸屏顯示為一條直線段；觸摸物在虛擬觸摸屏上的點(diǎn)擊顯示為在直線段上出現(xiàn)的一個(gè)點(diǎn),；觸摸物在虛擬觸摸屏上的運(yùn)動(dòng)顯示為點(diǎn)在直線段上的移動(dòng),。在兩個(gè)攝像頭采集的兩幅圖像中直線段上的點(diǎn)和二維虛擬觸摸屏四邊上的點(diǎn)存在一一對(duì)應(yīng)的關(guān)系。
    當(dāng)觸摸物在顯示屏幕上任意一X處進(jìn)行觸摸時(shí),，其在兩個(gè)攝像頭采集的圖像直線段上有對(duì)應(yīng)位置X′和X″,。根據(jù)坐標(biāo)映射已知的一維圖像坐標(biāo)與二維屏幕四邊上坐標(biāo)的對(duì)應(yīng)關(guān)系，可獲得與X在兩個(gè)攝像頭的圖像直線段上位置相同的屏幕邊上的點(diǎn)Y1和Y2,。連接Y1和已知的左下角攝像頭以獲得屏幕內(nèi)的過觸摸點(diǎn)X的一條直線,，連接Y2和已知的右下角攝像頭以獲得屏幕內(nèi)的過觸摸點(diǎn)X的另一條直線，兩條直線相交,，得到的就是觸摸點(diǎn)的坐標(biāo),，從而完成觸摸物的定位。圖5(a),、(b)為左右兩個(gè)攝像頭采集的圖像,，中間區(qū)域?yàn)樘摂M觸摸屏的一維圖像線陣，圖5(c)為顯示屏幕上的圖像，亮點(diǎn)為對(duì)應(yīng)的坐標(biāo)位置,。

    同理,，可以根據(jù)Y方向的位移大小來判斷觸摸物體的上下方向運(yùn)動(dòng)。其中,，坐標(biāo)系左上角為(0,，0)點(diǎn)。
通過以上類似的方法來定義為雙擊,、拖動(dòng)和多點(diǎn)觸控等動(dòng)作,。
4 實(shí)驗(yàn)結(jié)果
    本實(shí)驗(yàn)所使用的計(jì)算機(jī)的主頻為2.0 GHz，內(nèi)存為1 GB,，圖像采集設(shè)備為普通的網(wǎng)絡(luò)攝像頭,，顯示屏幕選用的是47英寸液晶電視機(jī)。兩個(gè)攝像頭同步地采集序列圖像,，分別跟蹤手指運(yùn)動(dòng)的軌跡,，從而實(shí)現(xiàn)手指運(yùn)動(dòng)和點(diǎn)擊操作的實(shí)時(shí)檢測(cè)。實(shí)驗(yàn)系統(tǒng)的視覺處理部分速度可以達(dá)到15幀/s,。實(shí)驗(yàn)中不斷用手指在顯示屏幕上任意位置點(diǎn)擊測(cè)試,，記錄系統(tǒng)跟蹤獲取的觸摸位置與人工標(biāo)定真實(shí)值之間的對(duì)比結(jié)果。將整個(gè)顯示屏幕分成5個(gè)區(qū)域,，用手指點(diǎn)觸任意位置進(jìn)行測(cè)試，記錄并分析測(cè)試結(jié)果如表1所示,。

    實(shí)驗(yàn)結(jié)果表明,，由于受到圖像采集裝置角度的限制以及大屏幕顯示器的長(zhǎng)寬比約束，4個(gè)角區(qū)域的定位誤差稍比中間區(qū)域大,，但誤差率最大不超過2個(gè)像素,，整體來講，對(duì)于顯示屏幕系統(tǒng)可以對(duì)觸摸物進(jìn)行魯棒性的跟蹤,，完成比較精確的觸摸物定位,，迅速響應(yīng)點(diǎn)擊操作，從而有效地實(shí)現(xiàn)了人機(jī)交互的功能,。并且系統(tǒng)抗干擾能力強(qiáng),，在環(huán)境光照發(fā)生很大變化時(shí)也能很好地運(yùn)行。
    本文介紹了一種新的基于雙目視覺技術(shù)的觸摸屏實(shí)現(xiàn)方法,，通過觸摸物在顯示屏幕上的移動(dòng)和點(diǎn)擊很好地完成人機(jī)交互操作,。該方法使用兩個(gè)普通攝像頭來實(shí)現(xiàn)，攝像頭只要求安裝在顯示屏幕的四周,，獲取整個(gè)顯示屏幕呈直線就可以,，其邏輯坐標(biāo)完全是通過觸摸物點(diǎn)擊屏幕進(jìn)行坐標(biāo)映射后自動(dòng)完成的。本文有效地避免了手指的互相遮擋等問題，使得實(shí)時(shí)魯棒的觸摸點(diǎn)跟蹤和動(dòng)作的判定成為了可能,。而且對(duì)周圍光照等沒有嚴(yán)格的要求,，可以應(yīng)用在多種人機(jī)交互、信息展示以及娛樂場(chǎng)所,。
    目前,，本系統(tǒng)實(shí)現(xiàn)了觸摸物的定位和點(diǎn)擊功能，今后如何有效地定義右擊,、并且區(qū)分單擊,、雙擊，以及如何有效地對(duì)多點(diǎn)觸摸物進(jìn)行定位和動(dòng)作上的判定,，尤其是多點(diǎn)的識(shí)別區(qū)分是難點(diǎn)等,，還有待進(jìn)一步深入研究，以構(gòu)建更加強(qiáng)大,、更人性化的人機(jī)交互系統(tǒng),。
參考文獻(xiàn)
[1] 侯義斌，陳晨.視覺交互系統(tǒng)中的目標(biāo)檢測(cè)與運(yùn)動(dòng)分析[J].計(jì)算機(jī)工程與應(yīng)用,，2004,，40(27).
[2] PAVLOVIC V I， SHAMA R,， HUANG T S. Visual interpretation of hand gestures for human computer interaction： a review [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,， 1997. 19(7)： 677-695.
[3] ULHAAS K D， SCHMALSTIEG D. Finger tracking for interaction in augmented environments[C]. Proceeding of the 2nd ACM/IEEE International Symposium on Augmented Reality,， New York,， USA， October 29-30,， 2001.
[4] HALL D,， GAL C L， MARTIN J,， et al. Magicboard. a contribution  to an intelligent office environment [J]. Robotics and Autonomous Systems,， 1999， 35(3-4)： 211-220.
[5] 王德鑫,，張茂軍.四路攝像頭分組重建的多觸點(diǎn)定位方法[J].電子與信息學(xué)報(bào),，2010，32(2).
[6] 周亦鵬.雙目視覺技術(shù)在計(jì)算機(jī)輔助檢測(cè)中的應(yīng)用研究[J].計(jì)算機(jī)測(cè)量與控制,，2008.16(5).
[7] 于舒春,，朱延河，閆繼宏.基于新型雙目機(jī)構(gòu)的立體視覺系統(tǒng)標(biāo)定[J].機(jī)器人,，2007,，29(4).
[8] 冼允廷，路小波，施毅.基于投影二分法的車牌字符分割方法[J].交通與計(jì)算機(jī),，2007,，25(5).
[9] 孫艷忠，柴毅,，尹宏鵬.基于邊緣檢測(cè)與改進(jìn)最大類間方差法的火箭序列圖像分割算法[J].計(jì)算機(jī)應(yīng)用,，2009(11).