《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于OpenCV的視頻圖像處理應用研究
基于OpenCV的視頻圖像處理應用研究
來源:微型機與應用2010年第21期
郭 暉1,,陳 光1,,2
(1.東華大學 信息科學與技術學院,,上海 201620;2.東華大學 數字化紡織服裝技術教育部工程研
摘要: 以嵌入式ARM為硬件平臺,,以ARM-Linux為軟件平臺,,在QT/Qtopia圖形用戶界面下,通過調用OpenCV圖形處理庫設計攝像頭應用程序,,最終實現把攝像頭采集到的視頻流數據顯示在Qtopia圖形用戶界面窗體上,。介紹了QT編程的基本原理,闡述了OpenCV圖像處理庫的工作機制與使用方法,。
Abstract:
Key words :

摘  要: 以嵌入式ARM為硬件平臺,,以ARM-Linux" title="ARM-Linux">ARM-Linux為軟件平臺,在QT/Qtopia" title="QT/Qtopia">QT/Qtopia圖形用戶界面下,,通過調用OpenCV" title="OpenCV">OpenCV圖形處理庫設計攝像頭應用程序,,最終實現把攝像頭采集到的視頻流數據顯示在Qtopia圖形用戶界面窗體上。介紹了QT編程的基本原理,,闡述了OpenCV圖像處理庫的工作機制與使用方法,。
關鍵詞: 嵌入式系統" title="嵌入式系統">嵌入式系統;ARM-Linux,;QT/Qtopia,;OpenCV

    隨著計算機和微電子技術的迅速發(fā)展,嵌入式ARM及ARM-Linux操作系統已廣泛應用于工業(yè)控制,、通信,、醫(yī)療儀器等各個領域。許多公共場所和居民小區(qū)等地點都安裝了視頻監(jiān)控系統,,因而視頻監(jiān)控與顯示終端的應用越來越廣泛,。于是,如何以更高的效率和更低的成本設計視頻監(jiān)控設備的硬件和軟件就成為廣大研發(fā)人員關心的問題,。
    本文以嵌入式ARM作為硬件核心,,在ARM-Linux QT/Qtopia圖形操作系統下開發(fā)攝像頭應用程序,實現攝像頭對視頻圖像數據的采集,、處理與顯示,。為了提高應用程序的開發(fā)效率,本設計采用了OpenCV圖形處理庫,。攝像頭視頻顯示的流程為:首先ARM-Linux通過攝像頭驅動程序控制攝像頭采集視頻流數據,,然后利用攝像頭應用程序對采集到的視頻流數據進行處理,最終使經過處理的視頻流數據能夠在LCD屏上顯示,。采用上述平臺具有以下優(yōu)點:(1)ARM-Linux與OpenCV庫同為開源的免費軟件,,開發(fā)者不僅可以根據需要修改源代碼來提高軟件開發(fā)的靈活性,而且可以節(jié)約開發(fā)成本,;(2) OpenCV庫提供了許多視頻圖像處理的函數,,因此開發(fā)者不需要花費大量的時間自己編寫,,可以提高軟件的開發(fā)效率;(3)OpenCV庫中大部分函數都經過匯編優(yōu)化,,基于OpenCV的程序運行起來有更高的效率。
    視頻監(jiān)控與顯示系統的硬件和軟件結構如圖1所示,。

    硬件由三部分組成:(1)攝像頭,。負責采集原始視頻流數據;(2)ARM開發(fā)板,。負責處理原始的視頻流數據,;(3)LCD液晶顯示器。負責圖像數據的顯示,。軟件部分也由三部分組成,,這三部分運行在ARM-Liunx操作系統下:(1)攝像頭驅動程序;(2)攝像頭應用程序,??刂圃贏RM板把攝像頭采集到的視頻流數據讀入內存中,然后對內存中的圖像數據進行處理,,即把原始圖像數據轉化為可以在ARM-Linux QT/Qtopia操作系統下顯示的圖像數據,;(3)LCD顯示驅動程序。本文將著重闡述運行在ARM-Linux QT下的攝像頭應用程序,。
1 嵌入式系統應用程序開發(fā)方法
1.1 硬件平臺

    嵌入式系統開發(fā)平臺由主機PC機和目標機ARM板組成,。
    主機PC要求CPU為Pentium 4或以上,擁有一個25針的并口,、一個9針的RS-232串口和一個20GB的硬盤,。ARM板是由深圳市武耀博德信息技術有限公司生產的270-S平臺。
1.2 軟件開發(fā)平臺
    軟件程序的開發(fā)是在PC機上完成的,,PC機上的開發(fā)環(huán)境是Redhat Linux 9.0,。Redhat提供了許多與程序開發(fā)有關的工具,還要在PC機的Linux操作系統下安裝QT和OpenCV軟件工具包,。
    (1)QT軟件包,。包括QT/X11 2.3.2庫、QT/Embedded 2.3.2庫,、Qtopia 1.7.0庫,、uic工具、qmake工具,、tmake工具和QT designer工具等,。
    (2)OpenCV軟件包。包括Libhighgui.so.0.9.7,、Libhighgui.la,、Libcxcore.so.0.9.7和Libcxcore.la等主要的庫,。
    在開發(fā)攝像頭應用程序之前,要把u-boot,、ARM-Linux操作系統和外部設備的驅動程序移植進入ARM目標板270-S中,,這樣主機PC上開發(fā)的各類應用程序軟件才能在ARM目標板上運行。
2 攝像頭應用程序的構架與關鍵技術
2.1 攝像頭應用程序的結構

    應用程序由兩部分構成:
    (1)在ARM-Linux QT/Qtopia圖形操作系統下的窗口界面設計(即人機界面的設計),。這部分是通過調用QT/Embedded庫的各種庫函數與窗口組件來完成的,。
    (2)對視頻流數據進行處理,并把處理完成的圖像數據顯示在QT/Qtopia圖形界面下,。這部分設計是攝像頭應用程序的核心,,除了調用QT/Embedded庫函數,還要調用OpenCV庫函數,。
攝像頭應用程序結構圖與庫函數的調用關系如圖2所示,。


2.2 攝像頭應用程序的關鍵技術
    本設計應用程序以OpenCV庫和QT庫為核心,負責處理視頻數據與圖像顯示,。
2.2.1 OpenCV簡介
    開放源代碼的計算機圖像處理庫OpenCV(Intel Open Source Computer Vision Library)是由一些C函數和C++類所組成的庫,,用來實現圖像處理及計算機圖像算法。OpenCV可以與英特爾公司所開發(fā)的圖形處理庫IPL兼容,,所以它能夠高效而充分地運行在Intel處理器上,,主要用于對圖像進行高級處理,例如特征檢測與跟蹤,、運動分析及3D重建等,。
2.2.2 嵌入式QT與Qtopia簡介
    QT是跨平臺C++圖形用戶界面工具。由于QT采用面向對象開發(fā),,具有跨多平臺,、界面設計美觀等特點,得到廣泛應用,。因為KDE等項目使用QT作為支持庫,,所以有許多基于X-Windows的PC機上的應用程序可以非常方便地移植到QT上。
    Qtopia是由Trolltech公司開發(fā)的基于QT庫的消費電子設備綜合應用平臺,。Qtopia包含完整的應用層,、靈活的用戶界面、窗口操作系統,、應用程序啟動程序以及開發(fā)框架,,并具有游戲和多媒體、工作輔助應用程序,、同步框架,、PIM應用程序、Internet應用程序等。本設計應用程序顯示在Qtopia中,。
3 QT窗體的設計方法
    在QT編程中,,有兩種設計程序窗體(即人機界面)的方法。第一種方法完全采用面向對象的C++編程語言實現,,開發(fā)者需要手工編寫所有的代碼,;另一種是采用編寫代碼與QT Designer設計工具相結合的方法。QT Designer工具會幫助開發(fā)者完成大部分繪制窗體的工作,。本文攝像頭應用程序的設計采用第二種方法,。QT Designer是QT系統專用的窗口界面開發(fā)工具,它不包含任何編譯器,,而僅僅提供一個可視化界面編輯器。QT Designer將編輯完成的窗體界面通過XML保存為.ui文件,,然后由專用的uic界面編譯器將其轉換為標準C++的源文件,。
4 視頻圖像處理與顯示
    視頻圖像處理與顯示的過程如圖3所示。

    其過程主要由四步組成,。
    (1)初始化視頻結構,。關鍵代碼:
CvCapture*capture=0;
capture=cvCaptureFromCAM(-1),;
cvSetCaptureProperty
(capture,,CV_CAP_PROP_FRAME_WIDTH,320),;
cvSetCaptureProperty
(capture,,CV_CAP_PROP_FRAME_HEIGHT,240),;
    在OpenCV應用程序中都要定義一個CvCapture類型的指針變量capture,。CvCapture類是視頻獲取結構,它沒有公共接口,,各類圖像數據存儲位置的頭地址都可以賦值給指針變量capture,。在capture指針被賦值之后,可以作為其他圖像處理函數的參數使用,,完成各種圖像處理功能,。
    OpenCV庫中用CvCapture*cvCaptureFromCAM(int index)函數對攝像頭分配視頻圖像數據流和初始化CvCapture結構。函數參數index為攝像頭索引值,。如果系統只有一個攝像頭或者使用哪個攝像頭都無所謂,,則index的值為-1。本設計開發(fā)板只連接一個攝像頭,,因此代碼為capture=cvCaptureFromCAM(-1),。
    對視頻數據結構capture設置參數。用到的OpenCV的庫函數為int cvSetCaptureProperty(CvCapture* capture,int property_id,,double value),。參數capture指定哪個視頻獲取結構需要設置參數;property_id為屬性標識符,,由幾個固定值組成,,用來決定設置哪個參數。
    (2)開啟定時器后抓取圖像幀
    關鍵代碼:
QTimer CameraTimer->start(50,,false),;
int cvGrabFrame(capture);
IplImage*frame=cvRetrieveFrame(capture),;
    如果視頻結構初始化成功,,則開啟由QT庫提供的QTimer定時器。代碼表示為:CameraTimer->start(50,,false),。參數“50”表示QT定時器每隔50 ms觸發(fā)一次,即發(fā)出一個內部信號調用一個槽函數,,該槽函數負責從視頻數據流中抓取一幀圖像,。
    該槽函數抓取一幀圖像的方法為:首先調用OpenCV庫函數int cvGrabFrame(CvCapture*capture);從攝像頭實時采集的視頻流中快速抓取一幀圖像數據,,并且把這幀圖像數據存入ARM板的緩存中,,這幀圖像數據對于用戶是不可見的。采用這種機制,,是因為cvGrabFrame()可以把一幀圖像數據以最快的速度存入緩存中[1],。
    接下來,調用OpenCV庫函數cvRetrieveFrame(),。這個函數把剛剛通過cvGrabFrame()抓取的一幀圖像數據從內部緩存重新讀取出來,。具體代碼為:IplImage*frame=cvRetrieveFrame(capture)。事實上在調用這個函數后,,OpenCV內部會完成多步復雜的圖像處理的工作,,例如解碼等。
    (3)視頻格式的轉化
    關鍵代碼:
for(int y=0,;y<height,;y++)
{  for(int x=0; x<width,; x++)
  {  for(int i=0,;i<3;i++)
      {*dst++=*frame->imageData++,;}
      *dst++=0,;}}
    由于cvRetrieveFrame()重新讀取到的一幀圖像數據是IplImage類型,IplImage類型是24位真彩的三通道BGR(BGR24),而QT庫內與圖像處理與顯示相關的函數只支持對1 bit,、8 bit或者32 bit的位圖進行處理[2],。因此為了使IplImage類型幀圖像能夠在QT/Qtopia圖像界面中顯示,又不降低視頻圖像質量,,需要通過程序將24位(BRG24)幀圖像轉化為32位(BRG32)幀圖像,。
    BGR32每一個像素點除了擁有與BGR24相同的紅綠藍三種顏色,每種顏色8 bit外,,要還在這三種顏色共24 bit的數據后面添加一組長度為8 bit的0數據,。因此,圖像格式轉化的方法應該在原始的24位圖像數據中每隔三個字節(jié)加入一個字節(jié)的0,。下列代碼為BGR24->BGR32圖像中一個點的轉化程序,,其中frame->imageData為原始圖像的指針,dst為轉化后圖像的指針,。
for(int i=0,;i<3;i++)
  {*dst++=*frame->imageData++,;}
*dst++=0;
    (4)將視頻圖像數據顯示在QT/Qtopia圖形界面
    關鍵代碼:
QImage image=QImage((uchar*)image32,,frame->width,,
frame->height,32,,NULL,,0,QImage::LittleEndian),;
QPainter display(picCamera),;
display.drawImage(0,0,,image),;
    首先調用QImage構造函數把上一步轉換好的32位(BGR32)圖像數據初始化為QT圖像數據格式;然后調用QT的低水平繪制類QPainter的構造函數對主窗口的顯示器組建初始化,;初始化結束后將調用QPainter類的drawImage成員函數,,把通過QImage類轉換過的圖像數據image繪制在主窗體的顯示器中,代碼為QPainter.drawImage(0,,0,,image)。
    通過以上步驟,,應用程序最終將攝像頭采集到的視頻圖像數據顯示在嵌入式設備的QT/qtopia圖形界面中,。
ARM平臺的手持移動監(jiān)控與顯示終端設備已經廣泛應用于社會的各個領域。OpenCV圖像處理庫以其開源性、高效性,、靈活性幫助開發(fā)者大幅度地縮減開發(fā)周期,。ARM-Linux QT/Qtopia與其他ARM端的圖像界面操作系統相比較有免費、移植性好,、內核精簡,、更加穩(wěn)定的特點。本設計以OpenCV圖像處理庫為核心,,在ARM Linux QT/Qtopia圖形界面操作系統下實現攝像頭顯示的應用程序,,有非常好的實用性,可以廣泛應用于各類ARM終端設備中,。
參考文獻
[1] BRADSKI G,, KAEHLER A. Learning openCV: computer vision with the OpenCV library. O’Reilly Media, 2008,, 9.
[2] Trolltech公司.Qtopia和Qt/Embedded參考文檔[OL]. http://www. qiliang. net/qt/index. html,, 2005.
[3] 韋東山.嵌入式Linux應用開發(fā)完全手冊.北京:人民郵電出版社,2008.

此內容為AET網站原創(chuàng),,未經授權禁止轉載,。