《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 業(yè)界動(dòng)態(tài) > Meta推出開源大模型Llama 3

Meta推出開源大模型Llama 3

性能直逼GPT-4
2024-04-19
來(lái)源:每日經(jīng)濟(jì)新聞
關(guān)鍵詞: META Llama3 開源大模型

當(dāng)?shù)貢r(shí)間 4 月 18 日,AI 領(lǐng)域迎來(lái)重磅消息,Meta 正式發(fā)布了人們等待已久的開源大模型 Llama 3,。

1.jpg

與此同時(shí),,Meta 首席執(zhí)行官扎克伯格宣布:基于最新的 Llama 3 模型,Meta 的 AI 助手現(xiàn)在已經(jīng)覆蓋 Instagram,、WhatsApp,、Facebook 等全系應(yīng)用,并單獨(dú)開啟了網(wǎng)站,。另外還有一個(gè)圖像生成器,,可根據(jù)自然語(yǔ)言提示詞生成圖片。

Meta 首席執(zhí)行官馬克 · 扎克伯格在一段視頻中表示,,該助理可以回答問題,、制作動(dòng)畫和生成圖像。

扎克伯格在 Facebook 上發(fā)帖:Big AI news today

Meta 首席執(zhí)行官馬克 · 扎克伯格在視頻中表示:我們相信,,Meta AI 現(xiàn)在是你可以自由使用的最智能的人工智能助手,。Meta AI 內(nèi)置于 WhatsApp、Instagram,、Facebook 和 Messenger 應(yīng)用程序的搜索框中,,因此用戶可以輕松地提出可以通過新工具回答的問題。

2.jpg

扎克伯格表示,,Meta 提供的生成式 AI 能力在免費(fèi)產(chǎn)品中性能是最強(qiáng)大的,。

在 Facebook、Instagram,、WhatsApp 和 Messenger 上,,用戶現(xiàn)在可以借助 Meta AI 進(jìn)行搜索,無(wú)需在應(yīng)用程序之間切換:

當(dāng)你瀏覽信息流的時(shí)候,,還可以直接從帖子中向 Meta AI 詢問更多信息:

圖像生成器帶來(lái)的玩法更加有趣,,Imagine 功能帶來(lái)了從文本實(shí)時(shí)創(chuàng)建圖像。這一功能的測(cè)試版從今天開始在美國(guó)的 WhatsApp 和 Meta AI 網(wǎng)絡(luò)體驗(yàn)上推出,。

開始打字時(shí),,你會(huì)看到一個(gè)圖像出現(xiàn),,每多輸入幾個(gè)字母,圖像都會(huì)發(fā)生變化:

Meta 表示,,Llama 3 在多個(gè)關(guān)鍵的基準(zhǔn)測(cè)試中性能優(yōu)于業(yè)界先進(jìn)同類模型,,其在代碼生成等任務(wù)上實(shí)現(xiàn)了全面領(lǐng)先,能夠進(jìn)行復(fù)雜的推理,,可以更遵循指令,,能夠可視化想法并解決很多微妙的問題。

Llama 3 的主要亮點(diǎn)包括:

基于超過 15T token 訓(xùn)練,,相當(dāng)于 Llama 2 數(shù)據(jù)集的 7 倍還多,;

支持 8K 長(zhǎng)文本,改進(jìn)的 tokenizer 具有 128K token 的詞匯量,,可實(shí)現(xiàn)更好的性能,;

在大量重要基準(zhǔn)中均具有最先進(jìn)性能;

新能力范疇,,包括增強(qiáng)的推理和代碼能力,;

訓(xùn)練效率比 Llama 2 高 3 倍;

帶有 Llama Guard 2,、Code Shield 和 CyberSec Eval 2 的新版信任和安全工具,。

剛剛發(fā)布的 8B 和 70B 版本 Llama 3 模型已用于 Meta AI 助手,同時(shí)也面向開發(fā)者進(jìn)行了開源,,包括預(yù)訓(xùn)練和微調(diào)版本,。

最新發(fā)布的 8B 和 70B 參數(shù)的 Llama 3 模型可以說是 Llama 2 的重大飛躍,由于預(yù)訓(xùn)練和后訓(xùn)練(Post-training)的改進(jìn),,本次發(fā)布的預(yù)訓(xùn)練和指令微調(diào)模型是當(dāng)今 8B 和 70B 參數(shù)規(guī)模中的最佳模型,。與此同時(shí),后訓(xùn)練過程的改進(jìn)大大降低了模型出錯(cuò)率,,進(jìn)一步改善了一致性,,并增加了模型響應(yīng)的多樣性。

Llama 3 將數(shù)據(jù)和規(guī)模提升到新的高度,。Meta 表示,,Llama 3 是在兩個(gè)定制的 24K GPU 集群上、基于超過 15T token 的數(shù)據(jù)上進(jìn)行了訓(xùn)練——相當(dāng)于 Llama 2 數(shù)據(jù)集的 7 倍還多,,代碼數(shù)據(jù)相當(dāng)于 Llama 2 的 4 倍,。從而產(chǎn)生了迄今為止最強(qiáng)大的 Llama 模型,Llama 3 支持 8K 上下文長(zhǎng)度,,是 Llama 2 容量的兩倍,。

此外,Meta 還開發(fā)了一套新的高質(zhì)量人類評(píng)估數(shù)據(jù)集,。該評(píng)估集包含 1800 個(gè)提示,,涵蓋 12 個(gè)關(guān)鍵用例:尋求建議、頭腦風(fēng)暴,、分類,、封閉式問答、編碼,、創(chuàng)意寫作,、提取、塑造角色,、開放式問答,、推理、重寫和總結(jié),。為了防止 Llama 3 在此評(píng)估集上出現(xiàn)過度擬合,,Meta 表示他們自己的團(tuán)隊(duì)也無(wú)法訪問該數(shù)據(jù)集。下圖顯示了針對(duì) Claude Sonnet,、Mistral Medium 和 GPT-3.5 對(duì)這些類別和提示進(jìn)行人工評(píng)估的匯總結(jié)果,。

下圖是 Llama 3 預(yù)訓(xùn)練模型和其他同等規(guī)模模型的比較,前者表現(xiàn)出 SOTA 水平,。

3.jpg

為了訓(xùn)練最好的語(yǔ)言模型,,管理大型、高質(zhì)量的訓(xùn)練數(shù)據(jù)集至關(guān)重要,。Meta 在預(yù)訓(xùn)練數(shù)據(jù)上投入了大量成本,。Llama 3 使用超過 15T 的 token 進(jìn)行了預(yù)訓(xùn)練,這些 token 都是從公開來(lái)源收集的,??傮w上講,Llama 3 的訓(xùn)練數(shù)據(jù)集是 Llama 2 使用的數(shù)據(jù)集的七倍多,,并且包含四倍多的代碼,。為了為即將到來(lái)的多語(yǔ)言用例做好準(zhǔn)備,超過 5% 的 Llama 3 預(yù)訓(xùn)練數(shù)據(jù)集由涵蓋 30 多種語(yǔ)言的高質(zhì)量非英語(yǔ)數(shù)據(jù)組成,。但是,,Llama 3 在這些語(yǔ)言上的性能水平預(yù)計(jì)不會(huì)與英語(yǔ)相同。

為了確保 Llama 3 接受最高質(zhì)量數(shù)據(jù)的訓(xùn)練,,研究團(tuán)隊(duì)開發(fā)了一系列數(shù)據(jù)過濾 pipeline,,包括使用啟發(fā)式過濾器(filter)、NSFW 過濾器,、語(yǔ)義重復(fù)數(shù)據(jù)刪除方法和文本分類器來(lái)預(yù)測(cè)數(shù)據(jù)質(zhì)量,。

研究團(tuán)隊(duì)發(fā)現(xiàn)前幾代 Llama 非常擅長(zhǎng)識(shí)別高質(zhì)量數(shù)據(jù),因此 Meta 使用 Llama 2 為給 Llama 3 提供支持的文本質(zhì)量分類器生成訓(xùn)練數(shù)據(jù)。

研究團(tuán)隊(duì)還進(jìn)行了廣泛的實(shí)驗(yàn),,以評(píng)估出在最終預(yù)訓(xùn)練數(shù)據(jù)集中不同來(lái)源數(shù)據(jù)的最佳混合方式,,最終確保 Llama 3 在各種用例(包括日常問題、STEM,、編碼,、歷史知識(shí)等)中表現(xiàn)良好。

Meta 表示,,最大的 Llama 3 參數(shù)超過 400B,,雖然這些機(jī)型仍在訓(xùn)練中,但在接下來(lái)的幾個(gè)月中也將陸續(xù)發(fā)布,,新功能包括多模態(tài),、多語(yǔ)言對(duì)話能力、更長(zhǎng)的上下文窗口以及更強(qiáng)的整體能力,。

Meta 希望 Llama 3 能趕上 OpenAI 的 GPT-4,。不過知情人士透露,因?yàn)檠芯咳藛T尚未開始對(duì) Llama 3 進(jìn)行微調(diào),,所以尚未決定 Llama 3 是否將是多模態(tài)模型,。微調(diào)是開發(fā)人員為現(xiàn)有模型提供額外數(shù)據(jù)的過程,以便它可以學(xué)習(xí)新信息或任務(wù),。較大的模型通常會(huì)提供更高質(zhì)量的答復(fù),,而較小的模型往往會(huì)更快的提供答復(fù)。有消息稱,,正式版的 Llama 3 將會(huì)在今年 7 月正式推出,。

Meta 還宣布與 Alphabet 的谷歌建立新的合作伙伴關(guān)系,在助手的答復(fù)中包括實(shí)時(shí)搜索結(jié)果,,作為與微軟必應(yīng)現(xiàn)有合作的補(bǔ)充,。隨著此次更新,Meta AI 助手正在擴(kuò)展到美國(guó)以外的十多個(gè)市場(chǎng),,包括澳大利亞,、加拿大、新加坡,、尼日利亞和巴基斯坦,。考克斯說,,Meta" 仍在努力以正確的方式在歐洲做到這一點(diǎn) ",。歐洲的隱私規(guī)定更加嚴(yán)格,即將出臺(tái)的人工智能法案也準(zhǔn)備提出披露模型訓(xùn)練數(shù)據(jù)等要求,。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章,、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者,。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請(qǐng)及時(shí)通過電子郵件或電話通知我們,,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]