0 引言

    醫(yī)學(xué)圖像病例分析,、土壤覆蓋率檢測(cè)等眾多領(lǐng)域都假設(shè)圖片足夠清晰,。然而，在自然界中,，類(lèi)似霧、陰雨等惡劣的氣候壞境是不可避免的,，這些惡劣天氣會(huì)嚴(yán)重降低圖片背景清晰度,，破壞計(jì)算機(jī)視覺(jué)系統(tǒng)的性能。因此,，從單張雨圖像中去除雨線(xiàn)條紋對(duì)于室外場(chǎng)景的監(jiān)控系統(tǒng)有重要意義,。

    由于圖像中的雨密度分布不均勻特點(diǎn),，文獻(xiàn)[1]、[2]等去除雨線(xiàn)條紋算法在處理不同雨密度方面上傾向于去除雨線(xiàn)條紋,，忽略了雨線(xiàn)條紋與背景信息的內(nèi)在重疊,，導(dǎo)致背景細(xì)節(jié)丟失。現(xiàn)有基于深度學(xué)習(xí)對(duì)單張圖片去除雨方法主要局限于學(xué)習(xí)某些固定特征的雨線(xiàn),，針對(duì)不同密度和形狀的雨,，學(xué)習(xí)能力不足，以致去雨后背景細(xì)節(jié)丟失,。針對(duì)這些問(wèn)題,，本文提出的雨密度感知引導(dǎo)擴(kuò)張去雨網(wǎng)絡(luò)(簡(jiǎn)稱(chēng)RDSGER)解決對(duì)不同雨密度的圖片調(diào)整學(xué)習(xí)能力。本文將雨圖大致分為三類(lèi)：大雨,、中雨,、小雨。圖1為數(shù)據(jù)集3種不同密度的雨圖,。

1 相關(guān)工作

    基于視頻的方法近幾年來(lái)取得不錯(cuò)效果,。例如：文獻(xiàn)[3]方法通過(guò)在極短的時(shí)間內(nèi)視頻中的雨線(xiàn)相位保持一致的特點(diǎn)來(lái)檢測(cè)雨線(xiàn)，利用經(jīng)典的高斯混合模型來(lái)提取雨線(xiàn)^[4-5],。

    與基于視頻去除雨的方法相比,，單張圖片去除雨的方法缺少上下文時(shí)間序列信息，因此對(duì)單張圖片去除雨的研究更具挑戰(zhàn)性,。傳統(tǒng)的基于補(bǔ)丁^[6-7],、稀疏編碼^[8-9]等方法將雨線(xiàn)看成高頻成分從單張圖像中分離，去雨同時(shí)會(huì)平滑背景細(xì)節(jié)信息,。隨著深度學(xué)習(xí)在各個(gè)領(lǐng)域的突破性進(jìn)展^[10-11],，基于深度學(xué)習(xí)的單張圖片去雨也取得了重大突破。例如：文獻(xiàn)[12]利用小波變換和暗通道方法對(duì)單張圖片去雨,；文獻(xiàn)[2]使用負(fù)殘差網(wǎng)絡(luò)提取雨線(xiàn)特征信息對(duì)單張圖片去雨,。

2 提出方法

    單張去除雨線(xiàn)條紋可以建模為如式(1)所示：

其中，x表示為干凈無(wú)雨圖片,，s表示為雨線(xiàn)條紋,，y表示為相應(yīng)x背景的有雨圖片。本文提出的RDSGER網(wǎng)絡(luò)主要包括兩個(gè)模塊：細(xì)節(jié)雨密度分類(lèi)器和擴(kuò)張網(wǎng)絡(luò)去雨,。細(xì)節(jié)雨密度分類(lèi)器針對(duì)不同雨密度圖片正確分類(lèi),；另一方面，雨密度分類(lèi)信息引導(dǎo)擴(kuò)張網(wǎng)絡(luò)學(xué)習(xí)雨線(xiàn)特征并去除雨紋,。所提出的RDSGER方法的整個(gè)網(wǎng)絡(luò)架構(gòu)如圖2所示,。

2.1 雨密度感知分類(lèi)器

    圖像中的雨線(xiàn)條紋具有不同尺寸特征，單個(gè)去雨網(wǎng)絡(luò)學(xué)習(xí)不同密度的雨線(xiàn)特征能力不足。對(duì)不同雨密度圖片匹配相適應(yīng)的去雨網(wǎng)絡(luò),，有利于網(wǎng)絡(luò)學(xué)習(xí)雨線(xiàn)的所有特征,。本文提出細(xì)節(jié)雨密度感知分類(lèi)網(wǎng)絡(luò)智能針對(duì)不同雨密度圖片分類(lèi)評(píng)估。雨密度大致分為三類(lèi)：大雨,、中雨和小雨,，標(biāo)簽分別對(duì)應(yīng)0、1,、2,。

    基于CNN模型的圖片分類(lèi)研究取得突破進(jìn)展。例如：Res-Net^[13],、VGG-16^[14]等對(duì)圖片分類(lèi)方法主要集中圖片的局部特征,，泛化圖片特征加速訓(xùn)練。然而雨線(xiàn)條紋遍布整張圖片,，使用CNN方法對(duì)圖片雨線(xiàn)所有特征捕獲不足,，分類(lèi)正確率不高。針對(duì)這一問(wèn)題,，本文提出細(xì)節(jié)雨密度分類(lèi)網(wǎng)絡(luò),，利用細(xì)節(jié)網(wǎng)絡(luò)針對(duì)雨區(qū)中的雨線(xiàn)特征定位并提取雨線(xiàn)條紋。圖2上方為雨密度感知分類(lèi)網(wǎng)絡(luò),。細(xì)節(jié)層可用有雨圖片減去經(jīng)過(guò)導(dǎo)向?yàn)V波[15-16]的結(jié)果表示,。細(xì)節(jié)層中大部分區(qū)域像素基本接近為0，只有雨線(xiàn)條紋和背景對(duì)象邊緣細(xì)節(jié)保留在細(xì)節(jié)層中,。這樣不僅消除背景信息對(duì)分類(lèi)影響,，同時(shí)有利于CNN聚合雨線(xiàn)特征提高分類(lèi)正確率。分類(lèi)器使用殘差網(wǎng)絡(luò)resnet-34^[13],。

    訓(xùn)練優(yōu)化分類(lèi)器的損失函數(shù)如式(2)所示：

其中,，D為雨密度感知分類(lèi)器所有參數(shù)；y表示為不同密度的雨圖片,；label表示不同雨密度的標(biāo)簽,，即大雨、中雨,、小雨分別對(duì)應(yīng)0,、1、2,；L_mse(,，)為均方差。

2.2 擴(kuò)張去雨網(wǎng)絡(luò)

    不同的雨密度圖片具有的不同特征信息,，使用同一大小卷積核聚合不同雨線(xiàn)特征能力較弱,。本文提出的擴(kuò)張網(wǎng)絡(luò)擴(kuò)大卷積核的感受,，同時(shí)聚合多尺寸雨線(xiàn)信息，以增強(qiáng)對(duì)不同雨密度圖片雨線(xiàn)特征提取,。圖2中擴(kuò)張網(wǎng)絡(luò)[1]是由擴(kuò)張塊1（擴(kuò)張因子為1）、擴(kuò)張塊2（擴(kuò)張因子為2）,、擴(kuò)張塊3（擴(kuò)張因子為3）組成的,。每個(gè)擴(kuò)張塊的組成方式如下所示：

    (1)擴(kuò)張塊1由1個(gè)擴(kuò)張降采樣層、4個(gè)卷積層,、1個(gè)上采樣層組成,。

    (2)擴(kuò)張塊2由2個(gè)擴(kuò)張降采樣層、2個(gè)卷積層,、2個(gè)上采樣層組成,。

    (3)擴(kuò)張塊3由3個(gè)擴(kuò)張降采樣層、3個(gè)上采樣層組成,。

    擴(kuò)張降采樣層的圖片尺寸縮小為原來(lái)的一半,，卷積層尺寸保持不變，上采樣層的圖片尺寸擴(kuò)大一倍,。為了進(jìn)一步聚合來(lái)自不同尺寸雨線(xiàn)的特征,，在每個(gè)擴(kuò)張塊的內(nèi)部使用跳轉(zhuǎn)鏈接（即第1塊輸出與第5塊輸出級(jí)聯(lián)，第2塊輸出與第4塊輸出級(jí)聯(lián)）以學(xué)習(xí)不同區(qū)域雨線(xiàn)特征,，保留完整背景細(xì)節(jié)信息,。圖3所示為擴(kuò)張塊1的內(nèi)部原理圖。

    雨密度感知分類(lèi)信息有利于引導(dǎo)擴(kuò)張網(wǎng)絡(luò)針對(duì)不同密度雨的圖片調(diào)整學(xué)習(xí)能力,，同時(shí)為了進(jìn)一步保留完整背景信息,。因此將上下文信息有雨圖片和擴(kuò)張網(wǎng)絡(luò)以及雨密度分類(lèi)網(wǎng)絡(luò)級(jí)聯(lián)后輸入到雨線(xiàn)特征提取網(wǎng)絡(luò)來(lái)捕獲雨線(xiàn)條紋。將有雨圖片減去雨線(xiàn)特征提取網(wǎng)絡(luò)捕獲的雨線(xiàn)條紋,，得到去雨圖片,。最后對(duì)圖片背景細(xì)節(jié)進(jìn)一步優(yōu)化，采用兩個(gè)不同深度的卷積核（卷積核大小分別為通道數(shù)為16,，通道數(shù)為3）進(jìn)行細(xì)節(jié)信息優(yōu)化,。圖2所示下方為擴(kuò)張去雨網(wǎng)絡(luò)框架。

    擴(kuò)張去雨網(wǎng)絡(luò)損失函數(shù)如式(3)所示：

其中,，f為擴(kuò)張去雨網(wǎng)絡(luò)的所有參數(shù),，y為有雨圖片，x為相應(yīng)干凈無(wú)雨圖片,，L_mse(,，)為均方差。

3 實(shí)驗(yàn)結(jié)果與分析

    為了評(píng)估網(wǎng)絡(luò)的性能,，本文與其他3種去除雨線(xiàn)條紋方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）做定量和定性對(duì)比,。3種方法分別為：聯(lián)合擴(kuò)張網(wǎng)絡(luò)對(duì)圖片去雨（簡(jiǎn)稱(chēng)JORDER）^[1],、深度細(xì)節(jié)網(wǎng)絡(luò)對(duì)單張圖片去雨（簡(jiǎn)稱(chēng)Detail-net）^[2]、基于小波變化方法對(duì)單張圖片去雨（SRR-net）^[12],。

3.1 訓(xùn)練數(shù)據(jù)集

    實(shí)驗(yàn)數(shù)據(jù)集基于文獻(xiàn)[17]數(shù)據(jù)集上訓(xùn)練,。訓(xùn)練數(shù)據(jù)集包含3種不同雨密度圖片各4 000張，每類(lèi)數(shù)據(jù)集中雨線(xiàn)分布為不同形狀和方向,。測(cè)試數(shù)據(jù)集總共600張包含真實(shí)雨圖片,。

3.2 網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

3.2.1 擴(kuò)張網(wǎng)絡(luò)參數(shù)設(shè)計(jì)

    擴(kuò)張塊1：降采樣層和卷積層使用3個(gè)大小分別為1、3,、1的卷積層,，上采樣層使用兩個(gè)大小為1、3的卷積層,；擴(kuò)張塊2：降采樣層和卷積層使用3個(gè)大小分別為1,、3、1的卷積層,，上采樣層使用兩個(gè)大小為1,、5卷積層；擴(kuò)張塊3：降采樣層和卷積層使用3個(gè)大小分別為1,、3,、1卷積層，上采樣層使用兩個(gè)大小為1,、7的卷積層,。

3.2.2 訓(xùn)練分類(lèi)器網(wǎng)絡(luò)參數(shù)

    圖片大小隨機(jī)裁剪為512×512，使用Adam優(yōu)化器,，小批量數(shù)據(jù)為64,，學(xué)習(xí)率初始化為0.003。Pytorch作為本文網(wǎng)絡(luò)訓(xùn)練框架,。

3.2.3 擴(kuò)張去雨網(wǎng)絡(luò)參數(shù)

    訓(xùn)練期間,，圖片大小隨機(jī)裁剪為512×512，使用Adam優(yōu)化器,，小批量數(shù)據(jù)大小為1,，學(xué)習(xí)率初始化為0.002。

3.3 細(xì)節(jié)雨密度分類(lèi)器結(jié)果

    本文提出的細(xì)節(jié)雨密度分類(lèi)器與基于CNN算法的resnet-34和VGG-16率比較如表1所示,?？梢钥闯霰疚奶岢龅募?xì)節(jié)網(wǎng)絡(luò)消除背景細(xì)節(jié)對(duì)分類(lèi)干擾，提高了對(duì)不同雨密度正確率,。

3.4 合成數(shù)據(jù)集測(cè)試結(jié)果及分析

    為了評(píng)估本文方法有效性,，在本文測(cè)試數(shù)據(jù)集上與其他3種方法做定性和定量對(duì)比。表2所示為600張數(shù)據(jù)集方法的平均PNSR和SSIM對(duì)比結(jié)果,，可以看出本文在PNSR和SSIM性能上的優(yōu)異性,。

    為了直觀(guān)視覺(jué)感受本文提出方法的有效性,，從合成的3種不同密度雨與其他3種方法測(cè)試做定性對(duì)比。如圖4所示,，可以看出JORDER處理中小雨圖片雨線(xiàn)去除較干凈,，但仍殘留雨線(xiàn)條紋，處理大雨時(shí)過(guò)度平滑背景,。從第一行和第二行的第三列中看出,，SRR-net處理大雨圖片時(shí)過(guò)度平滑背景細(xì)節(jié)特征，detail-net方法處理大雨圖片時(shí)留下過(guò)多的雨線(xiàn)條紋,。本文提出方法在去除雨線(xiàn)條紋的同時(shí)能夠有效保留更多背景細(xì)節(jié)。

3.5 真實(shí)雨測(cè)試結(jié)果

    在真實(shí)雨場(chǎng)景下與其他3種方法進(jìn)行測(cè)試對(duì)比,，結(jié)果如圖5所示,。從第二行和第三行的第二列看出，Detail-net方法對(duì)真實(shí)場(chǎng)景去除雨會(huì)殘留雨線(xiàn)條紋,；從第一行的第三,、第四列雨滴細(xì)節(jié)變黑看出，SRR-net和JORDER方法去除雨線(xiàn)條紋會(huì)平滑背景細(xì)節(jié),。本文相較于其他3種方法去雨效果明顯,，背景細(xì)節(jié)保留相對(duì)完整。

4 結(jié)論

    單一神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同雨線(xiàn)特征能力弱,，本文提出的細(xì)節(jié)雨密度感知擴(kuò)張去雨網(wǎng)絡(luò)有效引導(dǎo)一定范圍雨密度的圖片匹配相適應(yīng)網(wǎng)絡(luò),，提高了網(wǎng)絡(luò)對(duì)不同密度雨線(xiàn)特征調(diào)整學(xué)習(xí)能力，同時(shí)去雨后圖片保留了較完整背景細(xì)節(jié),。在合成和真實(shí)數(shù)據(jù)集進(jìn)行測(cè)試對(duì)比,，結(jié)果證明了本文擴(kuò)張去除雨線(xiàn)條紋網(wǎng)絡(luò)的有效性。

參考文獻(xiàn)

[1] YANG W,，TAN R T,，F(xiàn)ENG J，et al.Deep joint rain detection and removal from a single image[J].arXiv：1609.07769,，2017.

[2] FU X,，HUANG J，ZENG D,，et al.Removing rain from single images via a deep detail network[C].IEEE Conference on Computer Vision and Pattern Recognition,，2017：1357-1366.

[3] SANTHASEELAN V，ASARI V K.Utilizing local phase information to remove rain from video[J].International Journal of Computer Vision,，2015,，112(1)：71-89.

[4] BOSSU J，HAUTIERE N,，TAREL J P.Rain or snow detection in image sequences through use of[J].International Journal of Computer Vision,，2011,，93(3)：348-367.

[5] DEYU M，LIXUAN Y,，QIAN Z,，et al.Should we encode rain streaks in video as deterministic or stochastic?[C].IEEE International Conference on Computer Vision，IEEE Computer Society,，2017：2516-2525.

[6] LI Y,，TAN R T，GUO X,，et al.Rain streak removal using layer priors[C].IEEE Conference on Computer Vision and Pattern Recognition,，2016：2736-2744.

[7] HUANG D A，KANG L W,，YANG M C,，et al.Context-aware single image rain removal[C].IEEE International Conference on Multimedia & Expo，2012：164-169.

[8] LUO Y,，XU Y,，JI H.Removing rain from a single image via discriminative sparse coding[C].IEEE International Conference on Computer Vision，2015：3397-3405.

[9] SON C H,，ZHANG X P.Rain removal via shrinkage of sparse codes and learned rain dictionary[C].IEEE International Conference on Multimedia & Expo Workshops,，2016：1-6.

[10] 黃睿，陸許明,，鄔依林.基于TensorFlow深度學(xué)習(xí)手寫(xiě)體數(shù)字識(shí)別及應(yīng)用[J].電子技術(shù)應(yīng)用,，2018，44(10)：6-10.

[11] 王雅欣,，史瀟瀟.基于生成對(duì)抗網(wǎng)絡(luò)的人臉熱紅外圖像生成[J].信息技術(shù)與網(wǎng)絡(luò)安全,，2018，37（8）：40-44.

[12] SHEN L,，YUE Z,，CHEN Q，et al.Deep joint rain and haze removal from single images[J].arXiv：1801.06769v1,，2018.

[13] HE K,，ZHANG X，REN S,，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition,，2016：770-778.

[14] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv：1409.1556,，2014.

[15] HE K,，SUN J，TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,，2010,，35(6)：1397-1409.

[16] ZHANG Q,，SHEN X，XU L,，et al.Rolling guidance filter[C].European Conference on Computer Vision,，2014：815-830.

[17] ZHANG H，PATEL V M.Density-aware single image de-raining using a multi-stream dense Network[J].arXiv：1802.07412,，2018.

作者信息:

安鶴男,，張昌林，涂志偉,，趙光軍,，劉  佳，李  蔚

（深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院,，廣東 深圳518061）