《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 基于FPGA的交通視頻快速去霧系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
基于FPGA的交通視頻快速去霧系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
2017年電子技術(shù)應(yīng)用第6期
高全明1,,孫俊喜2,劉廣文1,,才 華1,,陳廣秋1
1.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院,吉林 長(zhǎng)春130022,;2.東北師范大學(xué) 計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院,,吉林 長(zhǎng)春130117
摘要: 針對(duì)霧天交通監(jiān)控視頻圖像退化問(wèn)題,提出了一種基于FPGA架構(gòu)的霧天交通視頻圖像快速去霧系統(tǒng),。首先將采集到的實(shí)時(shí)圖像數(shù)據(jù)緩存到SDRAM中,,然后在亮度分量基礎(chǔ)上估計(jì)傳播圖,最后基于大氣散射模型復(fù)原清晰圖像,。該系統(tǒng)利用FPGA并行運(yùn)算處理能力強(qiáng),、邏輯資源豐富等特性,針對(duì)PAL制式640×480彩色圖像,,處理速度為60幀/s,。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)在保證輸出視頻質(zhì)量的前提下達(dá)到了很好的去霧效果,。
中圖分類號(hào): TN911.73
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2017.06.018
中文引用格式: 高全明,,孫俊喜,劉廣文,,等. 基于FPGA的交通視頻快速去霧系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,,2017,43(6):71-74.
英文引用格式: Gao Quanming,,Sun Junxi,,Liu Guangwen,et al. Design and implementation on the system of high speed fog removal in traffic video images based on FPGA[J].Application of Electronic Technique,,2017,,43(6):71-74.
Design and implementation on the system of high speed fog removal in traffic video images based on FPGA
Gao Quanming1,Sun Junxi2,,Liu Guangwen1,,Cai Hua1,,Chen Guangqiu1
1.School of Electronic Information Engineering,Changchun University of Science and Technology,,Changchun 130022,,China; 2.School of Computer Science and Information Technology,,Northeast Normal University,,Changchun 130117,China
Abstract: To solve the problem of unclearness of traffic surveillance video image in foggy days, the paper puts forward a fog removal system in traffic surveillance video image based on FPGA. Firstly, cacheing the collected real-time image data to SDRAM, then estimating the spreading images by using the luminance component, finally recovering the original explicit images based on the atmospheric scattering model. With the characteristics of powerful process ability and richful logic resource of FPGA, the processing speed of image is 60 frames per second for a 640×480 PAL corlor image. The result shows that the system can better remove the fog in video image on the premise of outputing a high qualified vedio image.
Key words : FPGA,;traffic videos,;high speed fog removal;hardware system,;atmosphere scattering model

0 引言

    霧霾天氣下采集的交通監(jiān)控視頻圖像存在畫(huà)質(zhì)模糊,、亮度偏暗等問(wèn)題,這會(huì)給交通車輛監(jiān)管和有效信息采集帶來(lái)極大困難,,使人們很難從圖像中提取出有效信息,。因此,如何快速高效地對(duì)圖像進(jìn)行去霧,,降低天氣條件對(duì)交通監(jiān)控系統(tǒng)的影響,,提高交通監(jiān)控視頻質(zhì)量已成為亟需解決的問(wèn)題。

    目前為止,,圍繞如何有效去霧,,國(guó)內(nèi)外出現(xiàn)了很多種去霧方法,這些研究方法大體可分為兩類:圖像增強(qiáng)方法和圖像復(fù)原方法,。圖像增強(qiáng)方法是早期人們探索如何有效去霧時(shí)常用的方法,,主要有基于統(tǒng)計(jì)特性的直方圖均衡化算法[1]和Edwin.H.Land等人提出的Retinex理論[2]。如文獻(xiàn)[3]利用圖像增強(qiáng)方法實(shí)現(xiàn)有效圖像去霧,;文獻(xiàn)[4]通過(guò)改善圖像對(duì)比度達(dá)到視覺(jué)去霧效果,;該類方法重點(diǎn)在于通過(guò)各種方法改善圖像對(duì)比度,從而實(shí)現(xiàn)視覺(jué)上的去霧,,但沒(méi)有考慮到霧天圖像場(chǎng)景深度的多樣性,,因而不能從根本上實(shí)現(xiàn)去霧?;谖锢砟P偷膱D像復(fù)原方法復(fù)原后圖像自然,,具有很好的去霧效果。具有代表性的是何愷明提出的暗通道先驗(yàn)去霧算法[5],,該方法根據(jù)暗通道統(tǒng)計(jì)規(guī)律復(fù)原清晰圖像,,去霧效果明顯,但計(jì)算量較大,尤其是細(xì)化透射率采用的軟摳圖(或?qū)驗(yàn)V波[6])過(guò)于復(fù)雜和耗時(shí),無(wú)法滿足實(shí)時(shí)視頻去霧處理,。

    FPGA具有強(qiáng)大的并行運(yùn)算處理能力,,完全可以做到視頻實(shí)時(shí)處理,,基于此,,F(xiàn)PGA作為一種高效便攜的實(shí)時(shí)視頻處理平臺(tái)被廣泛應(yīng)用,。本文在研究文獻(xiàn)[7]算法的基礎(chǔ)上,,針對(duì)FPGA運(yùn)算能力強(qiáng),、處理速度快等特性,,對(duì)文獻(xiàn)[7]算法做出簡(jiǎn)化和改進(jìn),,提出了一種霧天交通視頻圖像快速去霧系統(tǒng),。實(shí)驗(yàn)證明,,該系統(tǒng)可有效解決霧天交通監(jiān)控視頻圖像降質(zhì)問(wèn)題。

1 快速去霧算法

1.1 算法流程

    為了降低去霧算法的復(fù)雜度,,提高系統(tǒng)的實(shí)時(shí)性,,本系統(tǒng)在亮度Y分量的基礎(chǔ)上進(jìn)行有效去霧處理,具體去霧算法流程如圖1所示,。首先將采集到的視頻數(shù)據(jù)通過(guò)解碼,、轉(zhuǎn)換成YCbCr數(shù)據(jù)并緩存到SDRAM中,然后提取出亮度Y分量,,并對(duì)其反相化處理得到反色圖,,反色圖進(jìn)行中值濾波處理,濾波后得到的圖像即為大氣散射模型的傳播圖,;利用一幀圖像YCbCr數(shù)據(jù)估計(jì)出當(dāng)前大氣光強(qiáng)度A,;依據(jù)大氣散射模型,利用傳播圖,、大氣光強(qiáng)度A和霧圖亮度分量復(fù)原無(wú)霧圖像亮度分量,;最后在復(fù)原后的圖像RGB基礎(chǔ)上進(jìn)行亮度校正得到最終去霧圖像,,解決去霧處理后的圖像畫(huà)質(zhì)偏暗問(wèn)題,。

qrs4-t1.gif

1.2 大氣光強(qiáng)度估計(jì)

    本系統(tǒng)充分考慮FPGA實(shí)現(xiàn)的可能性,以及交通監(jiān)控視頻處理實(shí)時(shí)性要求,,對(duì)大氣光強(qiáng)度A的獲取作以下調(diào)整:首先獲取一幀圖像的最大亮度值Ymax,,然后將Ymax和其對(duì)應(yīng)的Cb、 Cr數(shù)據(jù)轉(zhuǎn)換成RGB數(shù)據(jù),,得到IR,、IG、IB,,此時(shí)大氣光強(qiáng)度為:A=max[IR,,IG,IB]。

1.3 傳播圖的估計(jì)與中值濾波處理

    獲取傳播圖的目的就是獲取場(chǎng)景目標(biāo)霧氣濃度,,以便與霧圖復(fù)原出無(wú)霧圖像,。本系統(tǒng)采用亮度反相化快速獲取傳播圖,該方法簡(jiǎn)單有效,,滿足視頻去霧實(shí)時(shí)性要求,。考慮到復(fù)原無(wú)霧圖像時(shí),,目標(biāo)場(chǎng)景細(xì)節(jié)容易被淹沒(méi),,為了增強(qiáng)目標(biāo)場(chǎng)景的邊緣細(xì)節(jié)信息,同時(shí)濾出反相化處理疊加的噪聲,,需要對(duì)反色圖進(jìn)行中值濾波處理,,以便增強(qiáng)復(fù)原圖像邊緣細(xì)節(jié)。

    中值濾波是將濾波模板內(nèi)的灰度值進(jìn)行有效排序,,選取中間值作為該滑動(dòng)模板的輸出值,。設(shè)f(x,y),、g(x,,y)分別是圖像灰度值和中值濾波有效輸出值。若W為滑動(dòng)濾波模板,,則:

    qrs4-gs1.gif

1.4 圖像復(fù)原

    根據(jù)大氣散射模型表達(dá)式,,利用傳播圖即可復(fù)原無(wú)霧圖像亮度分量。由于傳播圖存在趨于0的情況,,所以有必要在式(2)中加入一個(gè)下限值t0,,則所需復(fù)原公式為:

    qrs4-gs2.gif

1.5 圖像亮度校正

    去霧復(fù)原后的圖像畫(huà)質(zhì)偏暗,需要對(duì)圖像亮度重新校正,。視頻圖像去霧處理對(duì)實(shí)時(shí)性要求很高,,亮度校正要盡可能不影響系統(tǒng)的實(shí)時(shí)性。

    基于以上思想,,本文提出了一種簡(jiǎn)單,、高效的提升圖像亮度的方法,該方法在復(fù)原后圖像RGB基礎(chǔ)上,,依據(jù)灰度值大小對(duì)圖像亮度進(jìn)行校正,,具體方法如下:

qrs4-gs3-4.gif

其中,c代表R,、G,、B三顏色通道;p是校正因子,,p值越大,,調(diào)整后圖像畫(huà)質(zhì)越亮。本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn),,選取p=50,,可取得較好的校正效果。

2 基于FPGA快速去霧算法實(shí)現(xiàn)

    本系統(tǒng)總體框架如圖2所示,。

qrs4-t2.gif

    系統(tǒng)分為4個(gè)功能模塊,分別為大氣光強(qiáng)度A獲取模塊,、傳播圖估計(jì)與濾波模塊、圖像復(fù)原模塊和亮度校正模塊,。圖像數(shù)據(jù)處理采用流水線工作模式,所有圖像數(shù)據(jù)串行輸入各模塊并被逐一處理,,最后完成去霧處理后輸出。FIFO用于緩存各模塊之間的數(shù)據(jù),,使它們之間更加協(xié)調(diào)工作,。   

2.1 大氣光強(qiáng)度獲取模塊

    首先從亮度圖中獲取最大亮度值Ymax,然后將Ymax和其對(duì)應(yīng)的Cb,、Cr數(shù)據(jù)轉(zhuǎn)換成RGB數(shù)據(jù),取A=max[IR,,IG,,IB];獲取大氣光強(qiáng)度A需要遍歷一幀圖像數(shù)據(jù),,這嚴(yán)重影響了系統(tǒng)的實(shí)時(shí)性,,為了降低獲取大氣光強(qiáng)度A對(duì)系統(tǒng)實(shí)時(shí)性的影響,在比較器工作的同時(shí)設(shè)置一個(gè)計(jì)數(shù)器,,當(dāng)計(jì)數(shù)器計(jì)數(shù)達(dá)到640×480(視頻源采用PAL制式640×480彩色圖像)時(shí),,即表示一幀圖像數(shù)據(jù)處理完畢。通過(guò)實(shí)驗(yàn)分析,,本系統(tǒng)每處理完20幀圖像數(shù)據(jù)更新一次大氣光強(qiáng)度A,可獲得較好的視頻去霧效果,。具體操作流程如圖3所示。

qrs4-t3.gif

2.2 傳播圖估計(jì)與濾波模塊

    中值濾波模塊主要分為滑動(dòng)模板和排序模塊兩部分,。系統(tǒng)選用3×3滑動(dòng)模板進(jìn)行中值濾波,,調(diào)用IP核altshift_taps移位寄存器實(shí)現(xiàn)滑動(dòng)模板功能,如圖4所示,。其中,D1~D9是待排序模塊處理的圖像亮度值。

qrs4-t4.gif

    將D1~D9按大小排序后,,得到的中間值作為當(dāng)前滑動(dòng)模板中值濾波輸出值,,如圖5所示。

qrs4-t5.gif  

2.3 圖像復(fù)原模塊

qrs4-t5-x1.gif

qrs4-gs5.gif

    除法運(yùn)算調(diào)用Quartus II中的LPM_DIVIDE除法器實(shí)現(xiàn),。

2.4 亮度校正模塊

    去霧復(fù)原后的無(wú)霧圖像會(huì)出現(xiàn)畫(huà)質(zhì)偏暗現(xiàn)象,,因場(chǎng)景不同而產(chǎn)生不同程度的偏暗,不但降低了去霧效果,,而且嚴(yán)重影響交通監(jiān)控視頻有效信息的提取,。因此本系統(tǒng)在復(fù)原無(wú)霧圖像后利用校正式(4)對(duì)圖像亮度重新校正,提高圖像整體亮度,。在利用式(3)計(jì)算灰度值時(shí),,由于FPGA不支持浮點(diǎn)數(shù)計(jì)算,所以將式(3)轉(zhuǎn)換成式(6)計(jì)算灰度值:

    qrs4-gs6.gif

3 實(shí)驗(yàn)分析

    本系統(tǒng)FPGA[8]選用Altera公司的Cyclone II系列EP2C70F896C6作為主控芯片,,使用Verilog[9]語(yǔ)言編程,,視頻源為采集的PAL制式640×480彩色圖像,輸出端VGA顯示模式為640×480,,刷新頻率為60 Hz,。系統(tǒng)在優(yōu)化去霧算法的基礎(chǔ)上進(jìn)一步提高了實(shí)時(shí)性,去霧處理速度為60幀/s,,完全滿足視頻實(shí)時(shí)處理要求,。

    表1為系統(tǒng)實(shí)驗(yàn)占用FPGA資源情況,本系統(tǒng)設(shè)計(jì)并沒(méi)有占用太多FPGA資源,,硬件成本很低,。

qrs4-b1.gif

4 結(jié)論

    本文提出了一種基于FPGA硬件平臺(tái)的交通視頻圖像快速去霧系統(tǒng),該系統(tǒng)去霧效果良好,,可有效降低霧天對(duì)交通監(jiān)控系統(tǒng)的影響,。FPGA具有運(yùn)算能力強(qiáng)、邏輯資源豐富等特性,,因此,,本系統(tǒng)可根據(jù)實(shí)際需要與其他系統(tǒng)相連接,如作為交通車牌識(shí)別前端處理,,為后續(xù)車牌檢測(cè),、識(shí)別提供高質(zhì)量、清晰視頻源,。本系統(tǒng)設(shè)計(jì)簡(jiǎn)單,,成本較低,具有很好的實(shí)用價(jià)值,。

參考文獻(xiàn)

[1] 詹翔,,周焰.一種基于局部方差的霧天圖像增強(qiáng)方法[J].計(jì)算機(jī)應(yīng)用,,2007,27(2):510-512.

[2] 林笑君,,梁鳳梅.基于Retinex的一種圖像去霧算法[J].電視技術(shù),,2013(17):047.

[3] TAN R T.Visibility in bad weather from a single image[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,,2008:1-8.

[4] RIZZI A,,MARINI D,ROVATI L L,,et al.Unsupervised corrections of unknown chromatic dominants using a Brownian-path-based Retinex algorithm[J].Journal of Electronic Imaging,,2003,12(3):431-441.

[5] HE K,,SUN J,,TANG X.Single image haze removal using dark channel prior[C].Proceedings of IEEE Conference on Computer Visionand Pattern Recognition,Miami,,F(xiàn)L,,USA:IEEE Computer Society,2009:1956-1963.

[6] HE K,,SUN J,TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,,2013,,35(6):1397-1409.

[7] 郭璠,蔡自興,,謝斌,,等.單幅圖像自動(dòng)去霧新算法[J].中國(guó)圖象圖形學(xué)報(bào),2011,,16(4):516-521.

[8] 克里茲(美).高級(jí)FPGA設(shè)計(jì)結(jié)構(gòu),、實(shí)現(xiàn)和優(yōu)化[M].孟展元,譯.北京:機(jī)械工業(yè)出版社,,2009.

[9] 帕爾尼卡(美).Verilog HDL數(shù)字設(shè)計(jì)與綜合[M].夏宇聞,,譯.北京:電子工業(yè)出版社,2009.



作者信息:

高全明1,,孫俊喜2,,劉廣文1,才  華1,,陳廣秋1

(1.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院,,吉林 長(zhǎng)春130022;2.東北師范大學(xué) 計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院,,吉林 長(zhǎng)春130117)

此內(nèi)容為AET網(wǎng)站原創(chuàng),,未經(jīng)授權(quán)禁止轉(zhuǎn)載,。