基于BERT-CNN的新聞文本分類的知識(shí)蒸餾方法研究
所屬分類：技術(shù)論文
上傳者：aetmagazine
文檔大小：3576 K
標(biāo)簽： 新聞文本 BERT CNN
所需積分：0分積分不夠怎么辦,？
文檔介紹：近年來,，隨著大數(shù)據(jù)時(shí)代進(jìn)入人類的生活之后,，人們的生活中出現(xiàn)很多無法識(shí)別的文本,、語義等其他數(shù)據(jù)，這些數(shù)據(jù)的量十分龐大,，語義也錯(cuò)綜復(fù)雜,，這使得分類任務(wù)更加困難。如何讓計(jì)算機(jī)對(duì)這些信息進(jìn)行準(zhǔn)確的分類,，已成為當(dāng)前研究的重要任務(wù),。在此過程中，中文新聞文本分類成為這個(gè)領(lǐng)域的一個(gè)分支,，這對(duì)國(guó)家輿論的控制,、用戶日常行為了解,、用戶未來言行的預(yù)判都有著至關(guān)重要的作用,。針對(duì)新聞文本分類模型參數(shù)量多和訓(xùn)練時(shí)間過長(zhǎng)的不足，在最大限度保留模型性能的情況下壓縮訓(xùn)練時(shí)間,，力求二者折中,，故提出基于BERT-CNN的知識(shí)蒸餾。根據(jù)模型壓縮的技術(shù)特點(diǎn),，將BERT作為教師模型,，CNN作為學(xué)生模型，先將BERT進(jìn)行預(yù)訓(xùn)練后再讓學(xué)生模型泛化教師模型的能力,。實(shí)驗(yàn)結(jié)果表明,，在模型性能損失約2.09%的情況下，模型參數(shù)量壓縮約為原來的1/82,，且時(shí)間縮短約為原來的1/670,。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分,；重復(fù)下載不扣分,，本人上傳資源不扣分。