文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.190828
中文引用格式: 陳志新,,董瑞雪,,劉鑫,等. 基于深度學(xué)習(xí)的復(fù)雜分揀圖像快速識(shí)別方法研究[J].電子技術(shù)應(yīng)用,,2020,46(2):71-75.
英文引用格式: Chen Zhixin,,Dong Ruixue,,Liu Xin,,et al. Research on rapid recognition of complex sorting images based on deep learning[J]. Application of Electronic Technique,,2020,,46(2):71-75.
0 引言
物品在出入庫時(shí)往往會(huì)用到分揀系統(tǒng),而在多品種單元物料自動(dòng)分揀系統(tǒng)中,,基于機(jī)器視覺的智能識(shí)別技術(shù)應(yīng)用比較普遍,,相關(guān)領(lǐng)域的核心技術(shù)研究在不斷地深入,其中研究訓(xùn)練速度更快,、識(shí)別精準(zhǔn)度更高的智能識(shí)別技術(shù)一直是智能技術(shù)的研究熱點(diǎn)及前沿技術(shù),。張娟[1]提出一種基于稀疏表示算法的三維多媒體視覺圖像人工智能識(shí)別方法,。深度學(xué)習(xí)作為近來機(jī)器學(xué)習(xí)領(lǐng)域的最新研究成果,在圖像處理領(lǐng)域有著強(qiáng)大的建模與表征能力,取得了突破成果,。在各種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,,CNN)應(yīng)用最為廣泛,,在圖像識(shí)別領(lǐng)域受到極大關(guān)注。它通過卷積計(jì)算逐層抽象圖片不同層次的語義,,通過數(shù)據(jù)集的訓(xùn)練擬合調(diào)整各個(gè)卷積核的內(nèi)部參數(shù),從而在無監(jiān)督的條件下實(shí)現(xiàn)分類特征的抓取[2],。此后更深層次的AlexNet網(wǎng)絡(luò)[3]取得成功,,此后卷積神經(jīng)網(wǎng)絡(luò)蓬勃發(fā)展,,被廣泛用于各個(gè)領(lǐng)域,在很多問題上都取得了當(dāng)前最好的性能,。白帆[4]利用深度學(xué)習(xí)CNN對(duì)圖像進(jìn)行目標(biāo)識(shí)別,;孫平安[5]提出一種融合CNN的改進(jìn)型迭代深度學(xué)習(xí)算法,;戴鵬[6]提出基于半監(jiān)督深度學(xué)習(xí)的扣件缺陷圖像識(shí)別方法,;王貴槐[7]通過建立船只單次多重檢測(cè)深度學(xué)習(xí)框架并微調(diào)分類框架實(shí)現(xiàn)較高的內(nèi)河船舶檢測(cè)準(zhǔn)確度,;黃宏偉[8]提出一種基于全卷積網(wǎng)絡(luò)的隧道圖像識(shí)別算法,;楊天祺[9]通過批量歸一化、改進(jìn)卷積層結(jié)構(gòu),、添加冗余分類器改進(jìn)了CNN,且增加圖片數(shù)量擴(kuò)增了訓(xùn)練集,,從而提高分類精確度和速度,;張慧娜[10]研究基于Haar小波變換-CNN的圖像特征提取用于自然場(chǎng)景圖像分類的問題;許少尉[11]采用卷積神經(jīng)網(wǎng)絡(luò)提出基于深度學(xué)習(xí)的圖像分類方法,;蔣兆軍[12]通過卷積神經(jīng)網(wǎng)絡(luò)提出一種基于深度學(xué)習(xí)的無人機(jī)識(shí)別算法;周建凱[13]提出基于TensorFlow框架搭建卷積神經(jīng)網(wǎng)絡(luò)對(duì)電池片電致發(fā)光圖像進(jìn)行缺陷識(shí)別,。在實(shí)際應(yīng)用中,,2016年6月在京東集團(tuán)固安智能物流中心落地的京東智能分揀中心系統(tǒng),引入了智能分揀機(jī)和龍門架,,實(shí)現(xiàn)了可以脫離人工操作的智能收貨和發(fā)貨,,保證包裹分揀正確率達(dá)到使用要求,。由此可見,,深度學(xué)習(xí)在分揀圖像快速識(shí)別領(lǐng)域有著很好的應(yīng)用前景。而物流分揀倉庫環(huán)境復(fù)雜,、照明度不高以及快遞外包裝區(qū)別不明顯,這些都對(duì)自動(dòng)分揀正確率產(chǎn)生影響,,因此有必要研究基于深度學(xué)習(xí)的復(fù)雜分揀圖像快速識(shí)別方法,。
1 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)
CNN是一種改進(jìn)的神經(jīng)網(wǎng)絡(luò),仍然是層級(jí)網(wǎng)絡(luò),,但是層的功能和形式有了變化。一個(gè)CNN結(jié)構(gòu)主要由3種類型層級(jí)組成:卷積層,、池化層和全連接層,。卷積層后緊跟著池化層,,最后是全連接層,。這些層級(jí)按照?qǐng)D1所示,,其中Ci代表卷積層,,Si代表池化層。
(1)卷積層:是最重要的層,,卷積計(jì)算是通過稀疏交互,、參數(shù)共享,、等變表示這3個(gè)重要的思想來改進(jìn)機(jī)器學(xué)習(xí)的。
(2)池化層:卷積是為了解決前面無監(jiān)督特征學(xué)習(xí)計(jì)算復(fù)雜度的問題,,而下采樣則是為了后面有監(jiān)督特征分類器學(xué)習(xí)特征圖中重要的分類特征,,忽略無關(guān)的細(xì)節(jié)。另外也減小了需要訓(xùn)練的特征參數(shù)的個(gè)數(shù),,改善結(jié)果(不容易出現(xiàn)過擬合),,使得特征保持旋轉(zhuǎn)、平移,、縮放等不變性。在CNN模型中一般常用的下采樣方法包括Mean-pooling和Max-pooling兩種,。
(3)全連接層:全連接層通常由sigmodal神經(jīng)元或者RBF神經(jīng)元組成,。一般網(wǎng)絡(luò)最后幾層為全連接層。為了降低特征的維度,,最后一層的神經(jīng)元個(gè)數(shù)和輸入圖像種類數(shù)量相同,。
對(duì)于傳統(tǒng)的標(biāo)定機(jī)器人,機(jī)器人本身位置的變動(dòng)對(duì)智能識(shí)別正確率有很大影響,,而且識(shí)別正確率需要進(jìn)一步提高,。AlexNet深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對(duì)被分揀物體進(jìn)行識(shí)別,,不僅可以提高識(shí)別正確率和訓(xùn)練速度,對(duì)自身位置的變動(dòng)也具有魯棒性,。該網(wǎng)絡(luò)初始學(xué)習(xí)率較低會(huì)降低轉(zhuǎn)移層上的學(xué)習(xí)速度,,本研究將完全連接層的學(xué)習(xí)速率因子設(shè)置為更高,以加快所設(shè)計(jì)的新的最終層的學(xué)習(xí),,這種組合能更快地對(duì)新的分揀物體進(jìn)行識(shí)別,,同時(shí)保持卷積層的架構(gòu)不變。AlexNet深度神經(jīng)網(wǎng)絡(luò)模型具有如圖2所示的8層結(jié)構(gòu):包括5個(gè)卷積層和3個(gè)全連接層,,其中每一層又具有不同功能的子層,。
2 基于深度學(xué)習(xí)的復(fù)雜分揀圖像快速識(shí)別方法
基于深度學(xué)習(xí)的復(fù)雜分揀圖像快速識(shí)別方法的流程如圖3所示。
2.1 復(fù)雜分揀圖像快速識(shí)別方法
為了針對(duì)物流分揀倉庫環(huán)境復(fù)雜,、照明度不高以及噪聲影響大的特點(diǎn),,對(duì)采集到的訓(xùn)練圖片數(shù)據(jù)進(jìn)行了一系列圖像預(yù)處理,包括了用對(duì)偶樹復(fù)小波變換對(duì)其進(jìn)行降噪處理,、平滑,、灰度化圖像、濾波和銳化等預(yù)處理,。
對(duì)于要構(gòu)建一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來識(shí)別圖片,,前期大量的訓(xùn)練數(shù)據(jù)是必不可少的,然后是構(gòu)建CNN網(wǎng)絡(luò),。CNN網(wǎng)絡(luò)包含以下圖層:
(1)imageInputLayer:圖像輸入層,;
(2)convolutional2dLayer:CNN的2D卷積層;
(3)reluLayer:整流線性單元(ReLU)層,;
(4)maxPooling2dLayer:最大池化層,;
(5)fullyConnectedLayer:全連接層;
(6)softmaxLayer:Softmax層,;
(7)classificationLayer:CNN的分類輸出層,。
其中圖像輸入層的大小與訓(xùn)練集的大小相同,隨后定義網(wǎng)絡(luò)的中間層,,中間層由重復(fù)的卷積,、ReLU(整流線性單位)和池化層組成。這3層構(gòu)成了卷積神經(jīng)網(wǎng)絡(luò)的核心構(gòu)建模塊,,卷積層定義了濾波器的權(quán)重集合,,在被訓(xùn)練期間是會(huì)隨著訓(xùn)練不斷更新的。
對(duì)卷積層參數(shù)進(jìn)行設(shè)定,,第一個(gè)卷積層有32個(gè)5×5×3的濾鏡,,添加2個(gè)像素的對(duì)稱填充,以確保處理中包含圖像邊框,,這對(duì)于避免在卷積層上過早消除邊界信息非常重要,。其最終設(shè)計(jì)的卷積網(wǎng)絡(luò)如圖4所示,。
使用標(biāo)準(zhǔn)偏差為0.000 1的正態(tài)分布隨機(jī)數(shù)初始化第一個(gè)卷積層權(quán)重,然后對(duì)設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,,訓(xùn)練結(jié)束后可以得到第一層的權(quán)重可視化,。通過數(shù)據(jù)集來對(duì)設(shè)計(jì)好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再對(duì)測(cè)試數(shù)據(jù)集進(jìn)行識(shí)別,,得到的識(shí)別準(zhǔn)確率為74.56%,。當(dāng)改變卷積核的大小時(shí)可以發(fā)現(xiàn)其對(duì)最終的識(shí)別準(zhǔn)確率存在影響,如表1所示,。由表可以看出,,在測(cè)試數(shù)據(jù)集上分類準(zhǔn)確率隨卷積核的增大而提高而后降低,原因可能是卷積核較大可能引起過擬合,,對(duì)于池化區(qū)域,,池化區(qū)域越大,采樣過程損失的信息就越多,。
對(duì)于物流倉庫的特定環(huán)境以及需要識(shí)別的指定物體,,對(duì)AlexNet做了修改。對(duì)于一個(gè)新的分類問題,,AlexNet最后3層net配置為1 000個(gè)類,,最后3層是全連接層、Softmax層和輸出分類層,。這3層進(jìn)行調(diào)整,,從預(yù)培訓(xùn)的網(wǎng)絡(luò)中提取出最后3個(gè)之外的所有層。根據(jù)新的數(shù)據(jù)指定新的完全連接的層的參數(shù),。將完全連接的層的輸出個(gè)數(shù)設(shè)置為與新數(shù)據(jù)中的類別數(shù)量相同,。深度學(xué)習(xí)在進(jìn)行訓(xùn)練時(shí),可能會(huì)導(dǎo)致過擬合狀態(tài)的出現(xiàn),。因此增大訓(xùn)練集,,同時(shí)在最后的全連接層添加dropout層,以0.5的概率將每個(gè)隱藏層神經(jīng)元的輸出設(shè)置為零,。以這種“dropped out”方式的神經(jīng)元既不參與前向傳播,,也不參與反向傳播。對(duì)該網(wǎng)絡(luò)每提出一個(gè)輸入,,就對(duì)應(yīng)一個(gè)不同的結(jié)構(gòu),,而所有這些結(jié)構(gòu)之間又共享權(quán)重,神經(jīng)元又相對(duì)獨(dú)立,,使得這種技術(shù)降低了神經(jīng)元復(fù)雜的互相適應(yīng)關(guān)系,,從而避免過擬合狀態(tài)的出現(xiàn),。
2.2 實(shí)驗(yàn)結(jié)果與分析
利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)來適應(yīng)新的網(wǎng)絡(luò)分類任務(wù),,當(dāng)面對(duì)不同倉庫或者不同的分揀任務(wù)時(shí),,需要大量的數(shù)據(jù)重新進(jìn)行學(xué)習(xí),在針對(duì)新的數(shù)據(jù)訓(xùn)練時(shí)可以使用少量的數(shù)據(jù)訓(xùn)練就能達(dá)到理想的效果,。利用原有圖片訓(xùn)練好的網(wǎng)絡(luò)來檢測(cè)新的分類任務(wù),,檢測(cè)被測(cè)試圖片是何種物體。圖5是用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的新添加的訓(xùn)練圖片,。
利用訓(xùn)練的圖片程序在運(yùn)行的過程中,,不斷地學(xué)習(xí)分類圖片中的圖片信息特征。然后利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),,并且改變卷積神經(jīng)網(wǎng)絡(luò)的最后分類輸出層,,使其只能識(shí)別其輸入圖片類別。
經(jīng)過學(xué)習(xí)之后,,利用測(cè)試集圖片來測(cè)試訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別效果,,并且在圖片中標(biāo)記識(shí)別區(qū)域。利用MATLAB進(jìn)行仿真,,結(jié)果如圖6所示,。
由圖6結(jié)果可以看出,此深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)能夠有效準(zhǔn)確識(shí)別所規(guī)定的圖片,,其識(shí)別準(zhǔn)確率較高,,能夠滿足物流中心機(jī)器人識(shí)別分揀物體的效率,達(dá)到了預(yù)期效果,。并且在訓(xùn)練數(shù)據(jù)足夠的情況下,,準(zhǔn)確率還能再一步提高。本文中由于訓(xùn)練樣本和測(cè)試樣本均較少,,只有數(shù)十張圖片,,因此本文的測(cè)試結(jié)果均達(dá)到了100%的識(shí)別率。
3 結(jié)論
對(duì)于物流倉庫的特定環(huán)境以及需要識(shí)別的指定物體,,本文先用對(duì)偶樹復(fù)小波變換對(duì)其進(jìn)行降噪等預(yù)處理,;然后在基于AlexNet神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,設(shè)計(jì)了一個(gè)適用于物流圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò),,對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的卷積層,、ReLU層和池化層參數(shù)重新進(jìn)行定義來加快神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度;最后針對(duì)于新的圖像分類任務(wù),,對(duì)神經(jīng)網(wǎng)絡(luò)的最后3層全連接層,、Softmax層和分類輸出層進(jìn)行定義來適應(yīng)新的圖像識(shí)別。該網(wǎng)絡(luò)在面對(duì)較為復(fù)雜的分揀圖像識(shí)別時(shí),,有較高的訓(xùn)練速度和識(shí)別準(zhǔn)確率,。
參考文獻(xiàn)
[1] 張娟.三維多媒體視覺圖像人工智能識(shí)別方法仿真[J].計(jì)算機(jī)仿真,2018,35(9):435-438.
[2] HINTON G E,,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,,2006,313(5786):504-507.
[3] KRIZHEVSKY A,,SUTSKEVER I,,HINTON G E.ImageNet classification with deep convolutional neural networks[C].NIPS.Curran Associates Inc.,2012.
[4] 白帆,,曹昭睿.基于深度學(xué)習(xí)的白光-熱成像雙通道圖像識(shí)別系統(tǒng)設(shè)計(jì)[J].科學(xué)技術(shù)與工程,,2018,18(21):264-267.
[5] 孫平安,,祁俊,,譚秋月.利用卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)迭代深度學(xué)習(xí)算法的圖像識(shí)別方法研究[J].計(jì)算機(jī)應(yīng)用研究,2019,,36(7):2223-2227.
[6] 戴鵬,,王勝春,杜馨瑜,,等.基于半監(jiān)督深度學(xué)習(xí)的無砟軌道扣件缺陷圖像識(shí)別方法[J].中國鐵道科學(xué),,2018,39(4):43-49.
[7] 王貴槐,,謝朔,,初秀民,等.基于深度學(xué)習(xí)的水面無人船前方船只圖像識(shí)別方法[J].船舶工程,,2018,,40(4):19-22.
[8] 黃宏偉,李慶桐.基于深度學(xué)習(xí)的盾構(gòu)隧道滲漏水病害圖像識(shí)別[J].巖石力學(xué)與工程學(xué)報(bào),,2017,,36(12):2861-2871.
[9] 楊天祺,黃雙喜.改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)在分類與推薦中的實(shí)例應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,,2018,,35(4):974-977.
[10] 張慧娜,李裕梅,,傅鶯鶯.基于Haar-CNN模型的自然場(chǎng)景圖像分類的研究[J].四川師范大學(xué)學(xué)報(bào)(自然科學(xué)版),,2017,40(1):119-126.
[11] 許少尉,,陳思宇.基于深度學(xué)習(xí)的圖像分類方法[J].電子技術(shù)應(yīng)用,,2018,44(6):116-119.
[12] 蔣兆軍,,成孝剛,,彭雅琴,等.基于深度學(xué)習(xí)的無人機(jī)識(shí)別算法研究[J].電子技術(shù)應(yīng)用,2017,,43(7):84-87.
[13] 周建凱,,許盛之,趙二剛,,等.基于深度學(xué)習(xí)的電池片缺陷識(shí)別研究[J].電子技術(shù)應(yīng)用,2019,,45(5):66-69,,77.
作者信息:
陳志新,董瑞雪,,劉 鑫,,王毅斌,梁世曉
(北京物資學(xué)院,,北京101149)