基于BERT-CNN的新聞文本分類的知識(shí)蒸餾方法研究[通信與網(wǎng)絡(luò)][數(shù)據(jù)中心]

近年來,，隨著大數(shù)據(jù)時(shí)代進(jìn)入人類的生活之后,，人們的生活中出現(xiàn)很多無法識(shí)別的文本,、語(yǔ)義等其他數(shù)據(jù),，這些數(shù)據(jù)的量十分龐大,，語(yǔ)義也錯(cuò)綜復(fù)雜,，這使得分類任務(wù)更加困難,。如何讓計(jì)算機(jī)對(duì)這些信息進(jìn)行準(zhǔn)確的分類,，已成為當(dāng)前研究的重要任務(wù),。在此過程中,，中文新聞文本分類成為這個(gè)領(lǐng)域的一個(gè)分支，這對(duì)國(guó)家輿論的控制,、用戶日常行為了解,、用戶未來言行的預(yù)判都有著至關(guān)重要的作用。針對(duì)新聞文本分類模型參數(shù)量多和訓(xùn)練時(shí)間過長(zhǎng)的不足,，在最大限度保留模型性能的情況下壓縮訓(xùn)練時(shí)間,，力求二者折中，故提出基于BERT-CNN的知識(shí)蒸餾。根據(jù)模型壓縮的技術(shù)特點(diǎn),，將BERT作為教師模型,，CNN作為學(xué)生模型，先將BERT進(jìn)行預(yù)訓(xùn)練后再讓學(xué)生模型泛化教師模型的能力,。實(shí)驗(yàn)結(jié)果表明,，在模型性能損失約2.09%的情況下，模型參數(shù)量壓縮約為原來的1/82,，且時(shí)間縮短約為原來的1/670,。

發(fā)表于：2023/1/13 10:27:00

城市管理綜合執(zhí)法大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[其他][數(shù)據(jù)中心]

城市管理綜合執(zhí)法大數(shù)據(jù)平臺(tái)是基于“一庫(kù)一圖一網(wǎng)一端”的數(shù)字新基建,，其以構(gòu)建智慧城市治理數(shù)據(jù)模型為核心,，數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)再造為支撐，形成互聯(lián)互通,、動(dòng)態(tài)更新,、共享開放、“到人,、到點(diǎn),、到事”的綜合執(zhí)法大數(shù)據(jù)生態(tài)體系，推進(jìn)城市治理數(shù)字化轉(zhuǎn)型,，面向各執(zhí)法部門日常勤務(wù),、巡查監(jiān)管、執(zhí)法辦案,、協(xié)調(diào)聯(lián)動(dòng)等工作,，實(shí)現(xiàn)全過程,、全方位、全要素的實(shí)時(shí)采錄,、實(shí)時(shí)上傳,、實(shí)時(shí)監(jiān)測(cè)、實(shí)時(shí)研判,、實(shí)時(shí)調(diào)度,、實(shí)時(shí)考評(píng)，重塑綜合執(zhí)法業(yè)務(wù),，型塑橄欖型城市治理結(jié)構(gòu),，實(shí)現(xiàn)基于大數(shù)據(jù)的數(shù)智提升、維基協(xié)作,、綜合集成,、共享開放、眾創(chuàng)共治,，推動(dòng)現(xiàn)有聯(lián)合執(zhí)法向基于大數(shù)據(jù)的綜合執(zhí)法轉(zhuǎn)變，全面提升感知,、分析,、服務(wù)、指揮,、監(jiān)察“五位一體”智慧城管建設(shè)能力,。

發(fā)表于：2023/1/6 17:27:49