自動化構(gòu)建移動端神經(jīng)網(wǎng)絡(luò)的技術(shù)研究[通信與網(wǎng)絡(luò)][通信網(wǎng)絡(luò)]

深度學(xué)習(xí)已在視覺,、語音,、自然語言等應(yīng)用領(lǐng)域取得巨大成功，然而隨著網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜,，神經(jīng)網(wǎng)絡(luò)參數(shù)量也迅速增長,，設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和調(diào)節(jié)參數(shù)這一過程需要大量的專業(yè)知識與反復(fù)試驗，成本極高,。此外,，由于功耗限制與存儲空間等因素，移動端設(shè)備上的神經(jīng)網(wǎng)絡(luò)模型規(guī)模受限,。設(shè)計了一種高效的移動端神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,，具體包括：(1)設(shè)計了一種在預(yù)先給定神經(jīng)網(wǎng)絡(luò)架構(gòu)的情況下可以自動計算模型浮點數(shù)運算次數(shù)的算法；(2)改進現(xiàn)有的基于梯度的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法,，設(shè)計了一種帶約束的架構(gòu)搜索算法,；(3)在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過程中加入對浮點數(shù)運算次數(shù)的約束，通過調(diào)節(jié)約束的強弱搜索到幾種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu),。訓(xùn)練搜索到的神經(jīng)網(wǎng)絡(luò),，測試其在圖像分類任務(wù)上的性能，并與工業(yè)界常用的模型相比較,。實驗結(jié)果表明,，該方法搜索到的模型能達到目前工業(yè)界主流模型性能。

發(fā)表于：12/23/2020 9:06:00 AM