在NeurIPS大會上發(fā)布的兩個數(shù)據(jù)集可助編目數(shù)十種語言
在近日舉行的NeurIPS大會上,發(fā)布了兩冊英特爾提供支持的關于口語數(shù)據(jù)集的白皮書,,其中,,《人的語言》主要涉及到“自動語音識別”任務,另一冊——《多語種口語語料庫》則涵蓋“關鍵詞識別”,。這兩個項目的數(shù)據(jù)集都貢獻了大量豐富的音頻數(shù)據(jù),,且每個數(shù)據(jù)集在同類中都擁有最大的可用體量。
《多語種口語語料庫》由英特爾軟件與先進技術事業(yè)部(SATG)的機器學習工程師Keith Achorn參與撰寫,。Keith在英特爾社區(qū)網(wǎng)站的博客中講述了自己參與該項目的經(jīng)歷,。
在ML Commons 的支持下,“人的語言”和“多語種口語語料庫”于2018年開始啟動,,該項目旨在識別世界上最常用的 50 種語言并統(tǒng)一到單一的數(shù)據(jù)集中,,從而使這些數(shù)據(jù)得到有效利用。該項目小組成員來自英特爾,、哈佛大學,、阿里巴巴、甲骨文,、Landing AI,、密歇根大學、谷歌,、百度等,。
在當今多元化、國際化,、多語言的工作環(huán)境中,,準確轉(zhuǎn)錄和翻譯的能力愈發(fā)重要,。通過使用以上數(shù)據(jù)集,計算機可以“聽到”口語單詞,,并自動生成文本或譯文,。
這兩個項目都運用了“多樣化語音”,這意味著它們可以更好地展現(xiàn)自然環(huán)境音,,如背景噪音,、非正式語言模式、錄音設備混音以及其他聲學環(huán)境等,。這與諸如有聲讀物之類的高度受控的內(nèi)容不同,后者產(chǎn)生的聲音更加“純凈”,。然而,,在實際應用中,多樣化語音訓練有助于提高識別的準確性,。
“人的語言”項目內(nèi)含數(shù)萬小時的對話音頻,。如今,它是世界上最大的,、可免費下載的,、用于學術和商用的英語語音識別數(shù)據(jù)集之一。
“多語種口語語料庫”是一個音頻語音數(shù)據(jù)集,,不僅擁有超過30萬個關鍵字的數(shù)十種語言,,能夠通過智能設備訪問,還涵蓋了50多億用戶的日常對話,,有助于推動全球范圍內(nèi)受眾語音應用的研發(fā),。
這兩個數(shù)據(jù)集都將提供給廣泛的用戶進行應用,它們包括商用在內(nèi)的授權(quán)許可條款都相對較為寬松,。
關于英特爾
英特爾(NASDAQ: INTC)作為行業(yè)引領者,,創(chuàng)造改變世界的技術,推動全球進步并讓生活豐富多彩,。在摩爾定律的啟迪下,,我們不斷致力于推進半導體設計與制造,幫助我們的客戶應對最重大的挑戰(zhàn),。通過將智能融入云,、網(wǎng)絡、邊緣和各種計算設備,,我們釋放數(shù)據(jù)潛能,,助力商業(yè)和社會變得更美好。