摘  要： 設(shè)計了一種基于雙目視覺技術(shù)的觸摸屏實(shí)現(xiàn)方法,，采用兩個普通攝像頭作為傳感器實(shí)時捕捉觸摸物的存在及其動作，并利用計算機(jī)視覺技術(shù)實(shí)現(xiàn)對普通顯示屏幕的虛擬觸摸功能,，使其具有單擊,、雙擊、拖動以及多點(diǎn)觸摸等功能,。
關(guān)鍵詞： 計算機(jī)視覺,；觸摸屏；圖像處理,；人機(jī)交互,；序列圖像

    觸摸是人類最簡單和最本能的行為之一，觸摸屏技術(shù)方便了用戶對計算機(jī)的操作,。與鼠標(biāo),、鍵盤、手寫板相比,，觸摸屏技術(shù)實(shí)現(xiàn)了人機(jī)互動的最簡單,、最直接的方式。尤其是近年來iphone手機(jī)風(fēng)靡全球,，使得“多點(diǎn)觸摸”成為另一熱點(diǎn)話題,。它將進(jìn)一步推進(jìn)觸摸屏的流行，同時也將推升多點(diǎn)觸控功能的深入人心,。但目前對于超大觸摸屏硬件實(shí)現(xiàn)成本很高,，多點(diǎn)觸摸技術(shù)還不成熟。因此,，觸摸行業(yè)仍有很大的提升空間,，具有十分廣闊的研究前景。
    用軟件代替昂貴的硬件從而降低成本將成為可能,，計算機(jī)視覺技術(shù)成為首選,。基于視覺的手勢交互領(lǐng)域中存在許多困難和挑戰(zhàn)[1]，如復(fù)雜背景和光照變化的影響,、人手快速運(yùn)動的變形,、手指之間的相互遮擋等，這無疑使得精確的圖像分隔和特征提取成為難點(diǎn)[2],。為降低視覺處理的復(fù)雜性,，人們用特殊標(biāo)記手套等輔助工具來獲取手的位置和方向[3]、手部自然色信息進(jìn)行特征提取[4],、利用三路或四路攝像頭分組獲取圖像,，從而定位手指[5]等，以實(shí)現(xiàn)人機(jī)交互,。
    本文提出了一種新的基于雙目視覺的手指屏幕交互方法,。該方法主要采用兩個攝像裝置來構(gòu)建，通過對獲取的雙圖像進(jìn)行分析,，并計算觸摸點(diǎn)位置和定義觸摸的過程。
1 系統(tǒng)概述
    基于雙目視覺技術(shù)來[6]實(shí)現(xiàn)對普通顯示屏的觸摸功能,，系統(tǒng)主要由兩個一維圖像采集裝置(攝像頭),、普通顯示屏幕和計算機(jī)識別定位軟件三部分組成。系統(tǒng)裝置參考圖如圖1所示,。

    兩個圖像采集裝置安裝在顯示屏幕的同側(cè)任意位置,，但要保證兩者的視角范圍覆蓋整個顯示屏幕。在每個圖像采集裝置獲取到的一維圖像中,，顯示屏幕均以一條直線形式呈現(xiàn),。構(gòu)建一個虛擬的觸摸屏平行于顯示屏幕的正前方，當(dāng)觸摸物接觸到虛擬觸摸屏就能立即被攝像頭捕捉到,。在一維圖像顯示屏幕的直線上會有點(diǎn)出現(xiàn),，進(jìn)而用識別定位軟件進(jìn)行轉(zhuǎn)換處理，為虛擬觸摸屏中的二維坐標(biāo),，并完成相應(yīng)的觸控操作,，以此來實(shí)現(xiàn)人機(jī)交互功能。系統(tǒng)實(shí)現(xiàn)原理示意圖如圖2所示,。
2 系統(tǒng)標(biāo)定
    系統(tǒng)標(biāo)定的目的是分別確定兩個攝像頭的圖像坐標(biāo)系與屏幕坐標(biāo)系之間的映射關(guān)系[7],。本文的屏幕坐標(biāo)系是指顯示器用于圖像顯示的坐標(biāo)系，本實(shí)驗(yàn)選用的是47英寸液晶電視機(jī)作為顯示屏幕,。
    在顯示屏幕的每邊上逐一顯示如圖3所示的若干個均勻分布的參考點(diǎn),，一旦有接觸物接觸顯示屏幕，分別由兩個攝像頭采集這組點(diǎn)在圖像中的位置,，計算機(jī)記錄下圖像坐標(biāo)與屏幕坐標(biāo)的對應(yīng)關(guān)系(x1)(x2)(x,，y)。其中,，x1和x2分別為兩個攝像頭采集的一維圖像中的坐標(biāo),，(x,，y)為對應(yīng)的虛擬觸摸屏四邊上的二維坐標(biāo)。

    本系統(tǒng)的攝像頭安裝在屏幕的下邊沿兩角上,。攝像頭邏輯坐標(biāo)的確立是在坐標(biāo)映射之后自動完成的,，默認(rèn)采用的是屏幕上邊沿中間和右上角兩個參考點(diǎn)A1和A2，利用二分法查找[8]并確定屏幕下邊的對應(yīng)參考點(diǎn)B1和B2,，連接參考點(diǎn)A1和B1獲得屏幕內(nèi)的左下角攝像頭的一條直線,，連接參考點(diǎn)A2和B2獲得另一條直線，兩條直線相交,，獲得左下角攝像頭的邏輯坐標(biāo),。同理，可以確定右下角攝像頭的邏輯坐標(biāo),。攝像頭邏輯坐標(biāo)確立方法如圖4所示,。

3 觸摸定位和動作判定
3.1 觸摸定位
    在攝像頭采集到的一維圖像上，整個虛擬觸摸屏顯示為一條直線段,；觸摸物在虛擬觸摸屏上的點(diǎn)擊顯示為在直線段上出現(xiàn)的一個點(diǎn),；觸摸物在虛擬觸摸屏上的運(yùn)動顯示為點(diǎn)在直線段上的移動。在兩個攝像頭采集的兩幅圖像中直線段上的點(diǎn)和二維虛擬觸摸屏四邊上的點(diǎn)存在一一對應(yīng)的關(guān)系,。
    當(dāng)觸摸物在顯示屏幕上任意一X處進(jìn)行觸摸時,，其在兩個攝像頭采集的圖像直線段上有對應(yīng)位置X′和X″。根據(jù)坐標(biāo)映射已知的一維圖像坐標(biāo)與二維屏幕四邊上坐標(biāo)的對應(yīng)關(guān)系,，可獲得與X在兩個攝像頭的圖像直線段上位置相同的屏幕邊上的點(diǎn)Y1和Y2,。連接Y1和已知的左下角攝像頭以獲得屏幕內(nèi)的過觸摸點(diǎn)X的一條直線，連接Y2和已知的右下角攝像頭以獲得屏幕內(nèi)的過觸摸點(diǎn)X的另一條直線,，兩條直線相交,，得到的就是觸摸點(diǎn)的坐標(biāo)，從而完成觸摸物的定位,。圖5(a),、(b)為左右兩個攝像頭采集的圖像，中間區(qū)域?yàn)樘摂M觸摸屏的一維圖像線陣,，圖5(c)為顯示屏幕上的圖像,，亮點(diǎn)為對應(yīng)的坐標(biāo)位置。

    同理,，可以根據(jù)Y方向的位移大小來判斷觸摸物體的上下方向運(yùn)動,。其中，坐標(biāo)系左上角為(0,，0)點(diǎn),。
通過以上類似的方法來定義為雙擊、拖動和多點(diǎn)觸控等動作。
4 實(shí)驗(yàn)結(jié)果
    本實(shí)驗(yàn)所使用的計算機(jī)的主頻為2.0 GHz,，內(nèi)存為1 GB,，圖像采集設(shè)備為普通的網(wǎng)絡(luò)攝像頭，顯示屏幕選用的是47英寸液晶電視機(jī),。兩個攝像頭同步地采集序列圖像,，分別跟蹤手指運(yùn)動的軌跡，從而實(shí)現(xiàn)手指運(yùn)動和點(diǎn)擊操作的實(shí)時檢測,。實(shí)驗(yàn)系統(tǒng)的視覺處理部分速度可以達(dá)到15幀/s,。實(shí)驗(yàn)中不斷用手指在顯示屏幕上任意位置點(diǎn)擊測試，記錄系統(tǒng)跟蹤獲取的觸摸位置與人工標(biāo)定真實(shí)值之間的對比結(jié)果,。將整個顯示屏幕分成5個區(qū)域,，用手指點(diǎn)觸任意位置進(jìn)行測試，記錄并分析測試結(jié)果如表1所示,。

    實(shí)驗(yàn)結(jié)果表明,，由于受到圖像采集裝置角度的限制以及大屏幕顯示器的長寬比約束，4個角區(qū)域的定位誤差稍比中間區(qū)域大,，但誤差率最大不超過2個像素,，整體來講，對于顯示屏幕系統(tǒng)可以對觸摸物進(jìn)行魯棒性的跟蹤,，完成比較精確的觸摸物定位，迅速響應(yīng)點(diǎn)擊操作,，從而有效地實(shí)現(xiàn)了人機(jī)交互的功能,。并且系統(tǒng)抗干擾能力強(qiáng)，在環(huán)境光照發(fā)生很大變化時也能很好地運(yùn)行,。
    本文介紹了一種新的基于雙目視覺技術(shù)的觸摸屏實(shí)現(xiàn)方法,，通過觸摸物在顯示屏幕上的移動和點(diǎn)擊很好地完成人機(jī)交互操作。該方法使用兩個普通攝像頭來實(shí)現(xiàn),，攝像頭只要求安裝在顯示屏幕的四周,，獲取整個顯示屏幕呈直線就可以，其邏輯坐標(biāo)完全是通過觸摸物點(diǎn)擊屏幕進(jìn)行坐標(biāo)映射后自動完成的,。本文有效地避免了手指的互相遮擋等問題,，使得實(shí)時魯棒的觸摸點(diǎn)跟蹤和動作的判定成為了可能。而且對周圍光照等沒有嚴(yán)格的要求,，可以應(yīng)用在多種人機(jī)交互,、信息展示以及娛樂場所。
    目前,，本系統(tǒng)實(shí)現(xiàn)了觸摸物的定位和點(diǎn)擊功能,，今后如何有效地定義右擊、并且區(qū)分單擊、雙擊,，以及如何有效地對多點(diǎn)觸摸物進(jìn)行定位和動作上的判定,，尤其是多點(diǎn)的識別區(qū)分是難點(diǎn)等，還有待進(jìn)一步深入研究,，以構(gòu)建更加強(qiáng)大,、更人性化的人機(jī)交互系統(tǒng)。
參考文獻(xiàn)
[1] 侯義斌,，陳晨.視覺交互系統(tǒng)中的目標(biāo)檢測與運(yùn)動分析[J].計算機(jī)工程與應(yīng)用,，2004，40(27).
[2] PAVLOVIC V I,， SHAMA R,， HUANG T S. Visual interpretation of hand gestures for human computer interaction： a review [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1997. 19(7)： 677-695.
[3] ULHAAS K D,， SCHMALSTIEG D. Finger tracking for interaction in augmented environments[C]. Proceeding of the 2nd ACM/IEEE International Symposium on Augmented Reality,， New York， USA,， October 29-30,， 2001.
[4] HALL D， GAL C L,， MARTIN J,， et al. Magicboard. a contribution  to an intelligent office environment [J]. Robotics and Autonomous Systems， 1999,， 35(3-4)： 211-220.
[5] 王德鑫,，張茂軍.四路攝像頭分組重建的多觸點(diǎn)定位方法[J].電子與信息學(xué)報，2010,，32(2).
[6] 周亦鵬.雙目視覺技術(shù)在計算機(jī)輔助檢測中的應(yīng)用研究[J].計算機(jī)測量與控制,，2008.16(5).
[7] 于舒春，朱延河,，閆繼宏.基于新型雙目機(jī)構(gòu)的立體視覺系統(tǒng)標(biāo)定[J].機(jī)器人,，2007，29(4).
[8] 冼允廷,，路小波,，施毅.基于投影二分法的車牌字符分割方法[J].交通與計算機(jī)，2007,，25(5).
[9] 孫艷忠,，柴毅，尹宏鵬.基于邊緣檢測與改進(jìn)最大類間方差法的火箭序列圖像分割算法[J].計算機(jī)應(yīng)用,，2009(11).