0 引言

    醫(yī)學(xué)圖像病例分析,、土壤覆蓋率檢測等眾多領(lǐng)域都假設(shè)圖片足夠清晰,。然而，在自然界中,，類似霧,、陰雨等惡劣的氣候壞境是不可避免的，這些惡劣天氣會嚴(yán)重降低圖片背景清晰度,，破壞計算機視覺系統(tǒng)的性能,。因此，從單張雨圖像中去除雨線條紋對于室外場景的監(jiān)控系統(tǒng)有重要意義,。

    由于圖像中的雨密度分布不均勻特點,，文獻(xiàn)[1]、[2]等去除雨線條紋算法在處理不同雨密度方面上傾向于去除雨線條紋,，忽略了雨線條紋與背景信息的內(nèi)在重疊,，導(dǎo)致背景細(xì)節(jié)丟失。現(xiàn)有基于深度學(xué)習(xí)對單張圖片去除雨方法主要局限于學(xué)習(xí)某些固定特征的雨線,，針對不同密度和形狀的雨,，學(xué)習(xí)能力不足，以致去雨后背景細(xì)節(jié)丟失,。針對這些問題,，本文提出的雨密度感知引導(dǎo)擴張去雨網(wǎng)絡(luò)(簡稱RDSGER)解決對不同雨密度的圖片調(diào)整學(xué)習(xí)能力。本文將雨圖大致分為三類：大雨,、中雨,、小雨。圖1為數(shù)據(jù)集3種不同密度的雨圖,。

1 相關(guān)工作

    基于視頻的方法近幾年來取得不錯效果,。例如：文獻(xiàn)[3]方法通過在極短的時間內(nèi)視頻中的雨線相位保持一致的特點來檢測雨線，利用經(jīng)典的高斯混合模型來提取雨線^[4-5],。

    與基于視頻去除雨的方法相比,，單張圖片去除雨的方法缺少上下文時間序列信息，因此對單張圖片去除雨的研究更具挑戰(zhàn)性,。傳統(tǒng)的基于補丁^[6-7],、稀疏編碼^[8-9]等方法將雨線看成高頻成分從單張圖像中分離,，去雨同時會平滑背景細(xì)節(jié)信息。隨著深度學(xué)習(xí)在各個領(lǐng)域的突破性進(jìn)展^[10-11],，基于深度學(xué)習(xí)的單張圖片去雨也取得了重大突破,。例如：文獻(xiàn)[12]利用小波變換和暗通道方法對單張圖片去雨；文獻(xiàn)[2]使用負(fù)殘差網(wǎng)絡(luò)提取雨線特征信息對單張圖片去雨,。

2 提出方法

    單張去除雨線條紋可以建模為如式(1)所示：

其中,，x表示為干凈無雨圖片，s表示為雨線條紋,，y表示為相應(yīng)x背景的有雨圖片,。本文提出的RDSGER網(wǎng)絡(luò)主要包括兩個模塊：細(xì)節(jié)雨密度分類器和擴張網(wǎng)絡(luò)去雨。細(xì)節(jié)雨密度分類器針對不同雨密度圖片正確分類,；另一方面,，雨密度分類信息引導(dǎo)擴張網(wǎng)絡(luò)學(xué)習(xí)雨線特征并去除雨紋。所提出的RDSGER方法的整個網(wǎng)絡(luò)架構(gòu)如圖2所示,。

2.1 雨密度感知分類器

    圖像中的雨線條紋具有不同尺寸特征,，單個去雨網(wǎng)絡(luò)學(xué)習(xí)不同密度的雨線特征能力不足。對不同雨密度圖片匹配相適應(yīng)的去雨網(wǎng)絡(luò),，有利于網(wǎng)絡(luò)學(xué)習(xí)雨線的所有特征。本文提出細(xì)節(jié)雨密度感知分類網(wǎng)絡(luò)智能針對不同雨密度圖片分類評估,。雨密度大致分為三類：大雨,、中雨和小雨，標(biāo)簽分別對應(yīng)0,、1,、2。

    基于CNN模型的圖片分類研究取得突破進(jìn)展,。例如：Res-Net^[13],、VGG-16^[14]等對圖片分類方法主要集中圖片的局部特征，泛化圖片特征加速訓(xùn)練,。然而雨線條紋遍布整張圖片,，使用CNN方法對圖片雨線所有特征捕獲不足，分類正確率不高,。針對這一問題,，本文提出細(xì)節(jié)雨密度分類網(wǎng)絡(luò)，利用細(xì)節(jié)網(wǎng)絡(luò)針對雨區(qū)中的雨線特征定位并提取雨線條紋,。圖2上方為雨密度感知分類網(wǎng)絡(luò),。細(xì)節(jié)層可用有雨圖片減去經(jīng)過導(dǎo)向濾波[15-16]的結(jié)果表示。細(xì)節(jié)層中大部分區(qū)域像素基本接近為0,，只有雨線條紋和背景對象邊緣細(xì)節(jié)保留在細(xì)節(jié)層中,。這樣不僅消除背景信息對分類影響,，同時有利于CNN聚合雨線特征提高分類正確率。分類器使用殘差網(wǎng)絡(luò)resnet-34^[13],。

    訓(xùn)練優(yōu)化分類器的損失函數(shù)如式(2)所示：

其中,，D為雨密度感知分類器所有參數(shù)；y表示為不同密度的雨圖片,；label表示不同雨密度的標(biāo)簽,，即大雨、中雨,、小雨分別對應(yīng)0,、1、2,；L_mse(,，)為均方差。

2.2 擴張去雨網(wǎng)絡(luò)

    不同的雨密度圖片具有的不同特征信息,，使用同一大小卷積核聚合不同雨線特征能力較弱,。本文提出的擴張網(wǎng)絡(luò)擴大卷積核的感受，同時聚合多尺寸雨線信息,，以增強對不同雨密度圖片雨線特征提取,。圖2中擴張網(wǎng)絡(luò)[1]是由擴張塊1（擴張因子為1）、擴張塊2（擴張因子為2）,、擴張塊3（擴張因子為3）組成的,。每個擴張塊的組成方式如下所示：

    (1)擴張塊1由1個擴張降采樣層、4個卷積層,、1個上采樣層組成,。

    (2)擴張塊2由2個擴張降采樣層、2個卷積層,、2個上采樣層組成,。

    (3)擴張塊3由3個擴張降采樣層、3個上采樣層組成,。

    擴張降采樣層的圖片尺寸縮小為原來的一半,，卷積層尺寸保持不變，上采樣層的圖片尺寸擴大一倍,。為了進(jìn)一步聚合來自不同尺寸雨線的特征,，在每個擴張塊的內(nèi)部使用跳轉(zhuǎn)鏈接（即第1塊輸出與第5塊輸出級聯(lián)，第2塊輸出與第4塊輸出級聯(lián)）以學(xué)習(xí)不同區(qū)域雨線特征,，保留完整背景細(xì)節(jié)信息,。圖3所示為擴張塊1的內(nèi)部原理圖。

    雨密度感知分類信息有利于引導(dǎo)擴張網(wǎng)絡(luò)針對不同密度雨的圖片調(diào)整學(xué)習(xí)能力,，同時為了進(jìn)一步保留完整背景信息,。因此將上下文信息有雨圖片和擴張網(wǎng)絡(luò)以及雨密度分類網(wǎng)絡(luò)級聯(lián)后輸入到雨線特征提取網(wǎng)絡(luò)來捕獲雨線條紋,。將有雨圖片減去雨線特征提取網(wǎng)絡(luò)捕獲的雨線條紋，得到去雨圖片,。最后對圖片背景細(xì)節(jié)進(jìn)一步優(yōu)化,，采用兩個不同深度的卷積核（卷積核大小分別為通道數(shù)為16，通道數(shù)為3）進(jìn)行細(xì)節(jié)信息優(yōu)化,。圖2所示下方為擴張去雨網(wǎng)絡(luò)框架,。

    擴張去雨網(wǎng)絡(luò)損失函數(shù)如式(3)所示：

其中，f為擴張去雨網(wǎng)絡(luò)的所有參數(shù),，y為有雨圖片,，x為相應(yīng)干凈無雨圖片，L_mse(,，)為均方差,。

3 實驗結(jié)果與分析

    為了評估網(wǎng)絡(luò)的性能，本文與其他3種去除雨線條紋方法在峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）做定量和定性對比,。3種方法分別為：聯(lián)合擴張網(wǎng)絡(luò)對圖片去雨（簡稱JORDER）^[1],、深度細(xì)節(jié)網(wǎng)絡(luò)對單張圖片去雨（簡稱Detail-net）^[2]、基于小波變化方法對單張圖片去雨（SRR-net）^[12],。

3.1 訓(xùn)練數(shù)據(jù)集

    實驗數(shù)據(jù)集基于文獻(xiàn)[17]數(shù)據(jù)集上訓(xùn)練,。訓(xùn)練數(shù)據(jù)集包含3種不同雨密度圖片各4 000張，每類數(shù)據(jù)集中雨線分布為不同形狀和方向,。測試數(shù)據(jù)集總共600張包含真實雨圖片,。

3.2 網(wǎng)絡(luò)參數(shù)設(shè)計

3.2.1 擴張網(wǎng)絡(luò)參數(shù)設(shè)計

    擴張塊1：降采樣層和卷積層使用3個大小分別為1、3,、1的卷積層，上采樣層使用兩個大小為1,、3的卷積層,；擴張塊2：降采樣層和卷積層使用3個大小分別為1、3,、1的卷積層,，上采樣層使用兩個大小為1、5卷積層,；擴張塊3：降采樣層和卷積層使用3個大小分別為1,、3、1卷積層,，上采樣層使用兩個大小為1,、7的卷積層。

3.2.2 訓(xùn)練分類器網(wǎng)絡(luò)參數(shù)

    圖片大小隨機裁剪為512×512,，使用Adam優(yōu)化器,，小批量數(shù)據(jù)為64,，學(xué)習(xí)率初始化為0.003。Pytorch作為本文網(wǎng)絡(luò)訓(xùn)練框架,。

3.2.3 擴張去雨網(wǎng)絡(luò)參數(shù)

    訓(xùn)練期間,，圖片大小隨機裁剪為512×512，使用Adam優(yōu)化器,，小批量數(shù)據(jù)大小為1,，學(xué)習(xí)率初始化為0.002。

3.3 細(xì)節(jié)雨密度分類器結(jié)果

    本文提出的細(xì)節(jié)雨密度分類器與基于CNN算法的resnet-34和VGG-16率比較如表1所示,?？梢钥闯霰疚奶岢龅募?xì)節(jié)網(wǎng)絡(luò)消除背景細(xì)節(jié)對分類干擾，提高了對不同雨密度正確率,。

3.4 合成數(shù)據(jù)集測試結(jié)果及分析

    為了評估本文方法有效性,，在本文測試數(shù)據(jù)集上與其他3種方法做定性和定量對比。表2所示為600張數(shù)據(jù)集方法的平均PNSR和SSIM對比結(jié)果,，可以看出本文在PNSR和SSIM性能上的優(yōu)異性,。

    為了直觀視覺感受本文提出方法的有效性，從合成的3種不同密度雨與其他3種方法測試做定性對比,。如圖4所示,，可以看出JORDER處理中小雨圖片雨線去除較干凈，但仍殘留雨線條紋,，處理大雨時過度平滑背景,。從第一行和第二行的第三列中看出，SRR-net處理大雨圖片時過度平滑背景細(xì)節(jié)特征,，detail-net方法處理大雨圖片時留下過多的雨線條紋,。本文提出方法在去除雨線條紋的同時能夠有效保留更多背景細(xì)節(jié)。

3.5 真實雨測試結(jié)果

    在真實雨場景下與其他3種方法進(jìn)行測試對比,，結(jié)果如圖5所示,。從第二行和第三行的第二列看出，Detail-net方法對真實場景去除雨會殘留雨線條紋,；從第一行的第三,、第四列雨滴細(xì)節(jié)變黑看出，SRR-net和JORDER方法去除雨線條紋會平滑背景細(xì)節(jié),。本文相較于其他3種方法去雨效果明顯,，背景細(xì)節(jié)保留相對完整。

4 結(jié)論

    單一神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同雨線特征能力弱,，本文提出的細(xì)節(jié)雨密度感知擴張去雨網(wǎng)絡(luò)有效引導(dǎo)一定范圍雨密度的圖片匹配相適應(yīng)網(wǎng)絡(luò),，提高了網(wǎng)絡(luò)對不同密度雨線特征調(diào)整學(xué)習(xí)能力，同時去雨后圖片保留了較完整背景細(xì)節(jié)。在合成和真實數(shù)據(jù)集進(jìn)行測試對比,，結(jié)果證明了本文擴張去除雨線條紋網(wǎng)絡(luò)的有效性,。

參考文獻(xiàn)

[1] YANG W，TAN R T,，F(xiàn)ENG J,，et al.Deep joint rain detection and removal from a single image[J].arXiv：1609.07769，2017.

[2] FU X,，HUANG J,，ZENG D，et al.Removing rain from single images via a deep detail network[C].IEEE Conference on Computer Vision and Pattern Recognition,，2017：1357-1366.

[3] SANTHASEELAN V,，ASARI V K.Utilizing local phase information to remove rain from video[J].International Journal of Computer Vision，2015,，112(1)：71-89.

[4] BOSSU J,，HAUTIERE N，TAREL J P.Rain or snow detection in image sequences through use of[J].International Journal of Computer Vision,，2011,，93(3)：348-367.

[5] DEYU M，LIXUAN Y,，QIAN Z,，et al.Should we encode rain streaks in video as deterministic or stochastic?[C].IEEE International Conference on Computer Vision，IEEE Computer Society,，2017：2516-2525.

[6] LI Y,，TAN R T，GUO X,，et al.Rain streak removal using layer priors[C].IEEE Conference on Computer Vision and Pattern Recognition,，2016：2736-2744.

[7] HUANG D A，KANG L W,，YANG M C,，et al.Context-aware single image rain removal[C].IEEE International Conference on Multimedia & Expo，2012：164-169.

[8] LUO Y,，XU Y，JI H.Removing rain from a single image via discriminative sparse coding[C].IEEE International Conference on Computer Vision,，2015：3397-3405.

[9] SON C H,，ZHANG X P.Rain removal via shrinkage of sparse codes and learned rain dictionary[C].IEEE International Conference on Multimedia & Expo Workshops，2016：1-6.

[10] 黃睿,，陸許明,，鄔依林.基于TensorFlow深度學(xué)習(xí)手寫體數(shù)字識別及應(yīng)用[J].電子技術(shù)應(yīng)用，2018，44(10)：6-10.

[11] 王雅欣,，史瀟瀟.基于生成對抗網(wǎng)絡(luò)的人臉熱紅外圖像生成[J].信息技術(shù)與網(wǎng)絡(luò)安全,，2018，37（8）：40-44.

[12] SHEN L,，YUE Z,，CHEN Q，et al.Deep joint rain and haze removal from single images[J].arXiv：1801.06769v1,，2018.

[13] HE K,，ZHANG X，REN S,，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition,，2016：770-778.

[14] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv：1409.1556,，2014.

[15] HE K,，SUN J，TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,，2010,，35(6)：1397-1409.

[16] ZHANG Q，SHEN X,，XU L,，et al.Rolling guidance filter[C].European Conference on Computer Vision，2014：815-830.

[17] ZHANG H,，PATEL V M.Density-aware single image de-raining using a multi-stream dense Network[J].arXiv：1802.07412,，2018.

作者信息:

安鶴男，張昌林,，涂志偉,，趙光軍，劉  佳,，李  蔚

（深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院,，廣東 深圳518061）