融合多教師模型的知識蒸餾文本分類
所屬分類:技術論文
上傳者:
文檔大?。?span>3704 K
標簽: 文本分類 知識蒸餾 BERT-wwm-ext
所需積分:0分積分不夠怎么辦,?
文檔介紹:針對簡單文本分類模型精度不高,預訓練模型結構復雜,,在實際環(huán)境中難以直接使用的問題,,提出多教師知識蒸餾的文本分類方法。該模型使用“教師-學生網絡”的訓練方法,,教師模型為BERT-wwm-ext和XLNet預訓練模型,,將兩個模型輸出的概率矩陣通過權重系數(shù)融合為軟標簽。學生模型為BiGRU-CNN網絡,,使用均方差函數(shù)計算軟標簽誤差,,使用交叉熵損失函數(shù)計算硬標簽誤差,通過硬標簽和軟標簽訓練學生模型使損失函數(shù)值達到最小,。實驗結果表明,,提出的方法精度較學生模型有較大的改進,接近預訓練模型,,在保證分類精度的前提下減少了運行時間,,提高了效率。
現(xiàn)在下載
VIP會員,,AET專家下載不扣分,;重復下載不扣分,,本人上傳資源不扣分。