一種基于Simhash算法的重復(fù)域名數(shù)據(jù)去重方法
所屬分類：技術(shù)論文
上傳者：zhoubin333
文檔大?。?span>559 K
標(biāo)簽： 數(shù)據(jù)去重 域名 Simhash
所需積分：0分積分不夠怎么辦？
文檔介紹：隨著數(shù)字科學(xué)技術(shù)的發(fā)展,，各領(lǐng)域需要傳輸和存儲的數(shù)據(jù)量急劇上升,。然而傳輸和存儲的數(shù)據(jù)中重復(fù)數(shù)量占據(jù)了很大的比例，這不僅會增加使用數(shù)據(jù)的成本,，也會影響處理數(shù)據(jù)的效率,。域名是一種存儲量大而且對處理速率有極高要求的數(shù)據(jù),，為了節(jié)約域名解析系統(tǒng)的存儲成本，提高傳輸效率,，本文在原有數(shù)據(jù)去重技術(shù)的基礎(chǔ)上,，引入了Simhash算法，結(jié)合域名數(shù)據(jù)的結(jié)構(gòu)特征,，改進(jìn)數(shù)據(jù)分詞和指紋值計算方式,，提出了一種基于Simhash算法的重復(fù)域名數(shù)據(jù)去重方法。實驗結(jié)果表明,，相比于傳統(tǒng)的數(shù)據(jù)去重技術(shù),，該方法對刪除重復(fù)域名數(shù)據(jù)效率更高，具有較好的實際應(yīng)用價值,。
現(xiàn)在下載
VIP會員,，AET專家下載不扣分；重復(fù)下載不扣分,，本人上傳資源不扣分,。