一種多教師模型知識蒸餾深度神經(jīng)網(wǎng)絡(luò)模型壓縮算法
所屬分類：技術(shù)論文
上傳者：zhoubin333
文檔大?。?span>1151 K
標簽： 模型壓縮 知識蒸餾 多教師模型
所需積分：0分積分不夠怎么辦,？
文檔介紹：為了能將龐大的深度學(xué)習(xí)模型壓縮后部署到算力和存儲能力有限的設(shè)備中時盡可能減小精度損失，對知識蒸餾模型壓縮方法進行研究,，提出了一種改進后帶篩選的多教師模型知識蒸餾壓縮算法,。利用多教師模型的集成優(yōu)勢,，以各教師模型的預(yù)測交叉熵為篩選的量化標準篩選出表現(xiàn)更好的教師模型對學(xué)生進行指導(dǎo),，并讓學(xué)生模型從教師模型的特征層開始提取信息,，同時讓表現(xiàn)更好的教師模型在指導(dǎo)中更具有話語權(quán)。在CIFAR100數(shù)據(jù)集上的VGG13等分類模型實驗結(jié)果表明,，與其他壓縮算法相比在最終得到的學(xué)生模型大小相同的情況下，精度上有著更好的表現(xiàn),。
現(xiàn)在下載
VIP會員,，AET專家下載不扣分；重復(fù)下載不扣分,，本人上傳資源不扣分,。