文獻標(biāo)識碼: A
DOI:10.16157/j.issn.0258-7998.200835
中文引用格式: 宋存洋,,李欣. 自動化構(gòu)建移動端神經(jīng)網(wǎng)絡(luò)的技術(shù)研究[J].電子技術(shù)應(yīng)用,2020,,46(12):83-88.
英文引用格式: Song Cunyang,,Li Xin. Research on the technology of automatic construction of mobile terminal neural networks[J]. Application of Electronic Technique,2020,,46(12):83-88.
0 引言
自AlexNet以巨大的優(yōu)勢在ImageNet圖像識別比賽中奪冠后,,深度學(xué)習(xí)在視覺、語音,、自然語言處理等方面取得了飛速的進展和巨大的成功,。深度學(xué)習(xí)發(fā)展主要依賴于算力的提升和算法的進步。算力的提升主要在于GPU,、TPU等硬件的應(yīng)用與發(fā)展,;而算法的進步多種多樣,,例如優(yōu)化方法的改進、激活函數(shù)的選擇等,。本文主要關(guān)注于使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法構(gòu)建輕量級神經(jīng)網(wǎng)絡(luò),,主要工作包括:
(1)設(shè)計了一種自動計算模型浮點數(shù)運算次數(shù)的算法。浮點數(shù)運算次數(shù)是反映神經(jīng)網(wǎng)絡(luò)規(guī)模與運行速度的一個重要指標(biāo),,也是一個動態(tài)的過程,,可以看作架構(gòu)參數(shù)的函數(shù),除了具體的數(shù)值外,,本文還計算了其對架構(gòu)參數(shù)的偏導(dǎo)數(shù),。
(2)基于梯度的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,改進設(shè)計了一種帶約束的架構(gòu)搜索方法,。在實際任務(wù)中,,為了使模型能運行在特定設(shè)備上,通常對模型的規(guī)?;蜻\行速度等有一定的要求,。不加約束的搜索,得到的模型很可能不滿足要求,。本文實現(xiàn)的約束算法并不限于某一種特定約束,,而是實現(xiàn)了一種接口,加入了對模型運行時延,、模型規(guī)模多種不同的約束,。
(3)利用帶有浮點數(shù)運算次數(shù)約束的架構(gòu)搜索算法,搜索到幾種高性能神經(jīng)網(wǎng)絡(luò)架構(gòu),。在幾個公開數(shù)據(jù)集上測試并對比其在圖像分類任務(wù)上的準確率,,并與工業(yè)界常用的神經(jīng)網(wǎng)絡(luò)模型進行比較。
本文詳細內(nèi)容請下載:http://forexkbc.com/resource/share/2000003259
作者信息:
宋存洋,,李 欣
(中國電子科技集團公司第二十八研究所,,江蘇 南京210007)