文獻(xiàn)標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.200844
中文引用格式: 倪偉健,秦會斌. GSDCPeleeNet:基于PeleeNet的高效輕量化卷積神經(jīng)網(wǎng)絡(luò)[J].電子技術(shù)應(yīng)用,,2021,,47(3):22-26,30.
英文引用格式: Ni Weijian,,Qin Huibin. GSDCPeleeNet:efficient lightweight convolutional neural based on PeleeNet[J]. Application of Electronic Technique,,2021,47(3):22-26,,30.
0 引言
隨著深度學(xué)習(xí)理論的提出和硬件設(shè)備計算速度的不斷突破,,卷積神經(jīng)網(wǎng)絡(luò)在近年來得以迅速發(fā)展,。2012年,AlexNet[1]在ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中獲得了圖像分類冠軍,。之后,,為了提高網(wǎng)絡(luò)模型的準(zhǔn)確率,研究人員不斷地加深卷積網(wǎng)絡(luò)的深度,,相繼提出了性能更加優(yōu)越的卷積神經(jīng)網(wǎng)絡(luò),,如VGG16[2]、GoogLeNet[3]和DenseNet[4]等,。
這些網(wǎng)絡(luò)準(zhǔn)確率普遍較高,,但是有著非常復(fù)雜的模型和很深的層次,參數(shù)量十分巨大,。在實際生活的應(yīng)用中,,模型往往需要在資源有限的嵌入式設(shè)備和移動設(shè)備上運行。因此,,研究人員開始著手研究,,并且相繼提出了更高效的輕量級卷積神經(jīng)網(wǎng)絡(luò)。它們保持了網(wǎng)絡(luò)的性能,,大大減少了模型的參數(shù)量,,從而減少計算量,提升了模型速度,。
曠視科技的ShuffleNet在ResNet[5]單元上進(jìn)行了改進(jìn),,有兩個創(chuàng)新的地方:逐點分組卷積和通道混洗[6]。WANG R J等提出的PeleeNet是一種輕量級網(wǎng)絡(luò),,它在DenseNet基礎(chǔ)上進(jìn)行了改進(jìn)和創(chuàng)新,,主要有五個方面的結(jié)構(gòu)改進(jìn)[7]。ZHANG J N等提出了一種卷積核及其壓縮算法,,通過這種卷積方法,,ZHANG J N等發(fā)明了輕量卷積神經(jīng)網(wǎng)絡(luò)SDChannelNets[8]。
可以看出,,上述輕量卷積神經(jīng)網(wǎng)絡(luò)均存在一定不足,。在使用分組卷積時,,為了解決分組卷積導(dǎo)致的信息丟失問題,需要增加額外的操作,。在運用1×1卷積時,,會導(dǎo)致1×1卷積的參數(shù)量在網(wǎng)絡(luò)總參數(shù)量中占據(jù)大部分。通過分析,,這些網(wǎng)絡(luò)需要通過調(diào)整相應(yīng)的超參數(shù)來提高網(wǎng)絡(luò)識別精度,。這些操作往往會大大增加網(wǎng)絡(luò)模型參數(shù)量。
為了解決這個不足,,本文結(jié)合參數(shù)共享,、密集連接的卷積方法和分組卷積,基于PeleeNet網(wǎng)絡(luò),,提出了輕量級卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)GSDCPeleeNet。適當(dāng)調(diào)節(jié)超參數(shù),,在損失較小準(zhǔn)確度甚至擁有更高準(zhǔn)確度的情況下,,減小了模型的參數(shù)量。
本文詳細(xì)內(nèi)容請下載:http://forexkbc.com/resource/share/2000003403
作者信息:
倪偉健,,秦會斌
(杭州電子科技大學(xué) 電子信息學(xué)院 新型電子器件與應(yīng)用研究所,,浙江 杭州310018)