1 月 13 日消息,，據(jù)英偉達官方博客,，英偉達宣布推出一款名為 Nemotron-CC 的大型英文 AI 訓練數(shù)據(jù)庫,，總計包含 6.3 萬億個 Token,，其中 1.9 萬億為合成數(shù)據(jù)。英偉達聲稱該訓練數(shù)據(jù)庫可以幫助為學術(shù)界和企業(yè)界進一步推動大語言模型的訓練過程,。

目前,，業(yè)界各類 AI 模型的具體性能主要取決于相應模型的訓練數(shù)據(jù)。然而現(xiàn)有公開數(shù)據(jù)庫在規(guī)模和質(zhì)量上往往存在局限性,，英偉達稱 Nemotron-CC 的出現(xiàn)正是為了解決這一瓶頸,，該訓練數(shù)據(jù)庫 6.3 萬億 Token 的規(guī)模內(nèi)含大量經(jīng)過驗證的高質(zhì)量數(shù)據(jù)，號稱是 " 訓練大型語言模型的理想素材 ",。

數(shù)據(jù)來源方面,，Nemotron-CC 基于 Common Crawl 網(wǎng)站數(shù)據(jù)構(gòu)建，并在經(jīng)過嚴格的數(shù)據(jù)處理流程后,，提取而成高質(zhì)量子集 Nemotron-CC-HQ。

在性能方面,，英偉達稱與目前業(yè)界領(lǐng)先的公開英文訓練數(shù)據(jù)庫 DCLM（Deep Common Crawl Language Model）相比,，使用 Nemotron-CC-HQ 訓練的模型在 MMLU（Massive Multitask Language Understanding）基準測試中的分數(shù)提高了 5.6 分。

進一步測試顯示,，使用 Nemotron-CC 訓練的 80 億參數(shù)模型在 MMLU 基準測試中分數(shù)提升 5 分,，在 ARC-Challenge 基準測試中提升 3.1 分，并在 10 項不同任務的平均表現(xiàn)中提高 0.5 分,，超越了基于 Llama 3 訓練數(shù)據(jù)集開發(fā)的 Llama 3.1 8B 模型,。

英偉達官方表示，Nemotron-CC 的開發(fā)過程中使用了模型分類器,、合成數(shù)據(jù)重述（Rephrasing）等技術(shù),，最大限度地保證了數(shù)據(jù)的高質(zhì)量和多樣性。同時他們還針對特定高質(zhì)量數(shù)據(jù)降低了傳統(tǒng)的啟發(fā)式過濾器處理權(quán)重，從而進一步提高了數(shù)據(jù)庫高質(zhì)量 Token 的數(shù)量,，并避免對模型精確度造成損害,。

英偉達已將 Nemotron-CC 訓練數(shù)據(jù)庫已在 Common Crawl 網(wǎng)站上公開（點此訪問），英偉達稱相關(guān)文檔文件將在稍晚時候于該公司的 GitHub 頁中公布,。