徐弘揚

　　（合肥工業(yè)大學 計算機與信息學院,，安徽 合肥 230009）

　　摘要：系統(tǒng)以三星處理器S3C6410為硬件平臺,，Linux操作系統(tǒng)為軟件平臺，利用OpenCV視覺算法庫和交叉編譯環(huán)境,，在ARM平臺上進行圖像處理與車牌識別，并完成了SD卡模塊,、網(wǎng)絡模塊和圖像采集模塊的驅動開發(fā),。針對在ARM平臺上處理數(shù)字圖像數(shù)據(jù)量大、耗時長的情況,，提出了多線程處理模式和中斷線程化方法,，極大地提高了系統(tǒng)的實時性。

　　關鍵詞：嵌入式Linux,；OpenCV,；車牌識別；多線程,；中斷線程化

0引言

　　與基于X86平臺的傳統(tǒng)圖像處理系統(tǒng)相比,，嵌入式系統(tǒng)具有專用性強、處理速度快,、軟硬件可裁剪等優(yōu)點［1］,。本文基于ARM平臺和OpenCV視覺算法庫，采用多線程處理模式和中斷線程化方法,，實現(xiàn)對車牌圖像的快速處理與識別,。

1系統(tǒng)總體設計

　　本系統(tǒng)主要由S3C6410處理器、圖像采集模塊、紅外對射模塊,、SD卡模塊和網(wǎng)絡通信模塊組成,。總體結構框圖如圖1所示,?！　?/p>

　　紅外對射模塊檢測等待區(qū)是否有車輛，如有車輛停放,，發(fā)送信號給處理器,，并啟動攝像頭采集圖像［2］；SD卡模塊用于存放車牌字符的模板庫,，處理器識別出車牌號并與SD卡中的字符模板進行匹配,；網(wǎng)絡通信模塊將車輛圖像信息直接上傳給服務器。

2Linux平臺搭建

　　2.1OpenCV移植

　　考慮到圖像處理算法設計難度大,、開發(fā)周期長,、代碼效率低等問題，本系統(tǒng)在Linux開發(fā)環(huán)境下,，調用成熟高效的OpenCV函數(shù)庫,，利用交叉編譯，生成在目標機上可運行的代碼,。

　?。?）安裝OpenCV依賴庫

　　OpenCV依賴于libpng、libjpeg,、libstdcpp,、libpthread等庫，而這些庫又依賴于其他一些庫文件,，所有需依賴的庫都要編譯安裝,。

　　（2）配置OpenCV

　　進入OpenCV根目錄,，運行./config,，對OpenCV進行配置：--host=arm-linux指定交叉編譯為ARM平臺；--enablestatic表示生成靜態(tài)庫,。

　　2.2-Uboot移植

　　Bootloader是系統(tǒng)上電/復位后,，內核啟動程序之前的一小段代碼，其功能是初始化硬件設備,，并將操作系統(tǒng)內核裝載到RAM中運行,。U-boot作為一個主流、通用的Bootloader,，被成功移植到包括PowerPC,、ARM,、X86、MIPS等多種體系結構的處理器上,。

　　2.2.1網(wǎng)卡驅動移植

　　系統(tǒng)采用DM9000網(wǎng)卡控制器進行網(wǎng)絡通信,，所以需要在板級配置文件My6410.h中屏蔽掉原有的cs8900配置，并添加對DM9000的支持,。

　　要使掛接在BANK1上的DM9000正常工作,，需要配置SROM控制器相關的寄存器。在板級初始化文件My6410.c中,，添加DM9000初始化函數(shù)dm9000_init(),，并修改寄存器SROM_BCn相應位值。

　　#define DM9000_Tacs0x2/*2clk

　　#define DM9000_Tcos0x1/*0clk

　　#define DM9000_Tacc0x1/*2clk

　　#define DM9000_Tcoh0x0/*0clk

　　#define DM9000_Tcah0x2/*2clk

　　#define DM9000_Tacp0x2/*2clk

　　#define DM9000_PMC0x0/*1data

　　2.2.2SD卡驅動移植

　　U-boot中并沒有實現(xiàn)針對S3C6410 SD/MMC控制器的驅動程序,，需要自行添加代碼,，實現(xiàn)SD卡的初始化、命令處理,、塊設備讀等操作,。

　　驅動文件sd_driver.c中，函數(shù)sd_init()實現(xiàn)SD卡初始化,，它首先對SD/MMC主控制器時鐘,、中斷等進行初始化，然后通過主控制器向SD卡發(fā)送命令,，命令操作通過函數(shù)sd_cmd()實現(xiàn),。SD卡讀操作函數(shù)sd_read用于從SD卡中將源地址從src開始，大小為size的數(shù)據(jù)讀取到dst指定的地址中,。sd_read函數(shù)原型為：

　　sd_read(src,dst,blkcnt *sd_block_size)

　　2.2.3USB驅動移植

　　本系統(tǒng)采用USB接口的圖像采集模塊,，為使該模塊正常工作，需要移植USB驅動,。U-boot中已經實現(xiàn)了較完整的主機OHCI驅動，但沒有USB設備驅動的代碼,，所以需要添加這部分代碼,。

　　在板級配置文件My6410.h中進行相應配置，使U-boot支持USB設備驅動,、USB主機驅動及命令和USB存儲設備,，并在include/s3c6410.h中完善對S3C6410 USB OTG控制器寄存器的定義。

3車輛圖像處理

　　對于攝像頭采集的車輛圖像處理主要分為3個步驟：車牌定位,、字符分割和字符識別,。其中，車牌定位是整個處理過程的基礎,，其定位的準確與否直接影響到車牌的字符分割和識別效果,。圖2給出車牌定位的一般流程,。　　

　　從OpenCV函數(shù)庫角度來說,，調用cvCvtColor函數(shù)對彩色圖像進行灰度化處理,；利用Soble算子對圖像進行垂直方向的邊緣檢測；再對圖像進行閾值分割,，取合適的閾值,，將圖像轉換為二值圖像；為了消除圖像噪聲,，還要對其進行濾波操作,，本系統(tǒng)采用的是形態(tài)學濾波方法，先使用閉運算操作再使用開運算操作,，兩種運算都包含腐蝕與膨脹,；形態(tài)學運算后得到少部分矩形區(qū)域，即為車牌的候選區(qū)域,，可以使用cvFindContours函數(shù)來實現(xiàn)輪廓檢測,，然后根據(jù)我國車牌長寬比的特征，即44:14,，定位車牌區(qū)域,。

　　車牌區(qū)域提取出來后，要將車牌字符分割,，由于可能存在車牌傾斜的情況,，導致字符分割與識別不準確，因此要先使用Hough算法［3］對車牌進行傾斜校正,，然后將車牌字符在垂直方向上投影,，字符之間的間隙會在投影上產生低谷，從而實現(xiàn)字符分割,。分割完成后,，對各個字符進行識別，采用基于模板匹配的ORC算法,，將字符尺寸縮放至與SD卡中存儲的模板大小一致并匹配,，得出最佳的匹配結果。

4系統(tǒng)實時性改進

　　本系統(tǒng)采用三星S3C6410處理器,，該CPU基于ARM1176JZF-S內核,，由8級流水線組成，主頻可達522 MHz,，最高可達667 MHz,，但由于在ARM平臺上處理數(shù)字圖像數(shù)據(jù)量大、過程復雜的特點,，系統(tǒng)實時性還有待提高,。

　　4.1多線程處理

　　線程是進程的一個實體,，是CPU調度和分配的基本單元，它不擁有系統(tǒng)資源,，但可與同一進程中的其他線程共享該進程的所有資源,。本系統(tǒng)采用多線程處理方法，主程序中創(chuàng)建4個線程,，分別用于圖像采集,、圖像解壓、灰度化和網(wǎng)絡通信,。圖像采集線程從圖像傳感器中讀取圖像信息,，圖像解壓線程利用libjpeg庫將讀取到的JPEG圖像轉換為BMP圖像，灰度化線程對得到的BMP圖像進行灰度化處理,，網(wǎng)絡通信線程用于將讀取到的圖像發(fā)送給服務器,。為此，還要創(chuàng)建兩個FIFO,，用于線程間的資源共享,，第一個FIFO用來存放圖像采集線程讀取到的圖像信息，可被圖像解壓線程和網(wǎng)絡通信線程共享,；第二個FIFO用來存放解壓后的圖像數(shù)據(jù),，用于灰度化線程的處理。這4個線程并發(fā)執(zhí)行,，大大提高了CPU的利用率和處理速度,，便于實時控制。

　　得到灰度化圖像之后,，還需對圖像進行進一步處理,，如果按照“邊緣檢測—二值化—形態(tài)學濾波”的步驟執(zhí)行，則耗時太長,，不利于提高系統(tǒng)實時性,。這里開啟3個線程，分別用于邊緣檢測,、二值化和形態(tài)學濾波,。由于這3個線程執(zhí)行過程中有依賴關系，因此還要創(chuàng)建兩個FIFO,，分別用于存放邊緣檢測后的圖像數(shù)據(jù)和二值化后的圖像數(shù)據(jù)。改進后的車牌定位流程圖如圖3所示,?！　?/p>

　　4.2中斷線程化

　　在Linux標準內核中，中斷是最高優(yōu)先級的執(zhí)行單元,，當中斷觸發(fā)時,，內核必須立即響應中斷并執(zhí)行響應的中斷處理程序,，且不會被其他任何程序打斷，這會導致實時任務得不到及時處理,，如果系統(tǒng)IO負載嚴重,，中斷會非常頻繁，實時任務很難有機會運行［4］,。本系統(tǒng)采用中斷線程化方式,，為中斷創(chuàng)建線程，中斷作為內核線程被賦予相應的優(yōu)先級,，該優(yōu)先級可以低于對實時性要求更高的任務,，確保實時任務被優(yōu)先快速執(zhí)行，提高系統(tǒng)實時性［5］,。

　　具體實現(xiàn)方法為：在內核初始化函數(shù)init()中調用init_hardirqs（）函數(shù),，為相應中斷創(chuàng)建一個內核線程，并分配優(yōu)先級,。本系統(tǒng)中主要有3種中斷：SD卡傳輸中斷,、網(wǎng)絡傳輸中斷和OTG中斷。

　　創(chuàng)建中斷線程函數(shù)：desc->thread = kthread_create(do_irqd,，desc,，“IRQ %d”，irq),，irq為相應中斷的中斷號,。

　　當中斷發(fā)生時，系統(tǒng)調用do_IRQ()函數(shù),，處理與架構相關的部分,，然后調用_do_IRQ()函數(shù)判斷中斷描述符的狀態(tài)字段是否包含SA_NODELAY標志，若包含則該中斷已被線程化,，喚醒相應的中斷處理線程,；反之則調用handle_IRQ_event()函數(shù)直接轉入中斷服務程序處理。

5結論

　　本系統(tǒng)基于Linux軟件平臺和ARM硬件平臺,，利用OpenCV視覺算法庫,，在嵌入式系統(tǒng)上實現(xiàn)車牌識別。該系統(tǒng)與基于X86平臺的系統(tǒng)相比,，實現(xiàn)了系統(tǒng)專用性,、便攜性等特點；與基于DSP平臺的系統(tǒng)相比,，大大降低了成本,。針對ARM平臺處理數(shù)字圖像系統(tǒng)實時性不足問題，提出多線程處理和中斷線程化方法,，極大地提高了系統(tǒng)的實時性,。實驗結果表明,，采用這種方法，從采集圖像到完成識別所用時間大大減少,，系統(tǒng)執(zhí)行效率極大提高,，完全能夠滿足實時處理數(shù)字圖像的需求。

參考文獻

　?。?］ 田紅鵬,，焦鑫. 基于嵌入式Linux和OpenCV的車牌定位方法［J］. 計算機工程與設計，2014,，35（11）：39083911.

　?。?］ 郭建，孫青,，黃霞. 基于圖像引導的自動導引小車系統(tǒng)設計［J］. 測控技術,，2012,31（7）：3841.

　　［3］ MUKHOPADHYAY P,，CHAUDHURI B B. A survey of Hough transform［J］.Pattern Recognition,，2015，48（3）：9931010.

　?。?］ 孫首昌,，韓紅芳，孟煜. 嵌入式Linux實時技術改進與實現(xiàn)［J］. 微計算機信息,，2007,，23（122）：6768.

　　［5］ 單承剛. 嵌入式Linux下的實時性增強方案［J］. 電子技術應用,，2010,，36（7）：137139.