當?shù)貢r間 4 月 18 日,，AI 領(lǐng)域迎來重磅消息,，Meta 正式發(fā)布了人們等待已久的開源大模型 Llama 3。
與此同時,，Meta 首席執(zhí)行官扎克伯格宣布：基于最新的 Llama 3 模型,，Meta 的 AI 助手現(xiàn)在已經(jīng)覆蓋 Instagram、WhatsApp、Facebook 等全系應(yīng)用,，并單獨開啟了網(wǎng)站,。另外還有一個圖像生成器，可根據(jù)自然語言提示詞生成圖片,。
Meta 首席執(zhí)行官馬克 · 扎克伯格在一段視頻中表示,，該助理可以回答問題、制作動畫和生成圖像,。
扎克伯格在 Facebook 上發(fā)帖：Big AI news today
Meta 首席執(zhí)行官馬克 · 扎克伯格在視頻中表示：我們相信,，Meta AI 現(xiàn)在是你可以自由使用的最智能的人工智能助手。Meta AI 內(nèi)置于 WhatsApp,、Instagram,、Facebook 和 Messenger 應(yīng)用程序的搜索框中，因此用戶可以輕松地提出可以通過新工具回答的問題,。
扎克伯格表示,，Meta 提供的生成式 AI 能力在免費產(chǎn)品中性能是最強大的。
在 Facebook,、Instagram,、WhatsApp 和 Messenger 上，用戶現(xiàn)在可以借助 Meta AI 進行搜索,，無需在應(yīng)用程序之間切換：
當你瀏覽信息流的時候,，還可以直接從帖子中向 Meta AI 詢問更多信息：
圖像生成器帶來的玩法更加有趣，Imagine 功能帶來了從文本實時創(chuàng)建圖像,。這一功能的測試版從今天開始在美國的 WhatsApp 和 Meta AI 網(wǎng)絡(luò)體驗上推出,。
開始打字時，你會看到一個圖像出現(xiàn),，每多輸入幾個字母,，圖像都會發(fā)生變化：
Meta 表示，Llama 3 在多個關(guān)鍵的基準測試中性能優(yōu)于業(yè)界先進同類模型,，其在代碼生成等任務(wù)上實現(xiàn)了全面領(lǐng)先,，能夠進行復(fù)雜的推理，可以更遵循指令,，能夠可視化想法并解決很多微妙的問題,。
Llama 3 的主要亮點包括：
基于超過 15T token 訓(xùn)練，相當于 Llama 2 數(shù)據(jù)集的 7 倍還多,；
支持 8K 長文本,，改進的 tokenizer 具有 128K token 的詞匯量，可實現(xiàn)更好的性能,；
在大量重要基準中均具有最先進性能,；
新能力范疇，包括增強的推理和代碼能力；
訓(xùn)練效率比 Llama 2 高 3 倍,；
帶有 Llama Guard 2,、Code Shield 和 CyberSec Eval 2 的新版信任和安全工具。
剛剛發(fā)布的 8B 和 70B 版本 Llama 3 模型已用于 Meta AI 助手,，同時也面向開發(fā)者進行了開源,，包括預(yù)訓(xùn)練和微調(diào)版本。
最新發(fā)布的 8B 和 70B 參數(shù)的 Llama 3 模型可以說是 Llama 2 的重大飛躍,，由于預(yù)訓(xùn)練和后訓(xùn)練（Post-training）的改進,，本次發(fā)布的預(yù)訓(xùn)練和指令微調(diào)模型是當今 8B 和 70B 參數(shù)規(guī)模中的最佳模型。與此同時,，后訓(xùn)練過程的改進大大降低了模型出錯率,，進一步改善了一致性，并增加了模型響應(yīng)的多樣性,。
Llama 3 將數(shù)據(jù)和規(guī)模提升到新的高度,。Meta 表示，Llama 3 是在兩個定制的 24K GPU 集群上,、基于超過 15T token 的數(shù)據(jù)上進行了訓(xùn)練——相當于 Llama 2 數(shù)據(jù)集的 7 倍還多,，代碼數(shù)據(jù)相當于 Llama 2 的 4 倍。從而產(chǎn)生了迄今為止最強大的 Llama 模型,，Llama 3 支持 8K 上下文長度,，是 Llama 2 容量的兩倍。
此外,，Meta 還開發(fā)了一套新的高質(zhì)量人類評估數(shù)據(jù)集,。該評估集包含 1800 個提示，涵蓋 12 個關(guān)鍵用例：尋求建議,、頭腦風(fēng)暴,、分類、封閉式問答,、編碼,、創(chuàng)意寫作、提取,、塑造角色,、開放式問答、推理,、重寫和總結(jié),。為了防止 Llama 3 在此評估集上出現(xiàn)過度擬合,，Meta 表示他們自己的團隊也無法訪問該數(shù)據(jù)集,。下圖顯示了針對 Claude Sonnet、Mistral Medium 和 GPT-3.5 對這些類別和提示進行人工評估的匯總結(jié)果。
下圖是 Llama 3 預(yù)訓(xùn)練模型和其他同等規(guī)模模型的比較,，前者表現(xiàn)出 SOTA 水平,。
為了訓(xùn)練最好的語言模型，管理大型,、高質(zhì)量的訓(xùn)練數(shù)據(jù)集至關(guān)重要,。Meta 在預(yù)訓(xùn)練數(shù)據(jù)上投入了大量成本。Llama 3 使用超過 15T 的 token 進行了預(yù)訓(xùn)練,，這些 token 都是從公開來源收集的,。總體上講,，Llama 3 的訓(xùn)練數(shù)據(jù)集是 Llama 2 使用的數(shù)據(jù)集的七倍多,，并且包含四倍多的代碼。為了為即將到來的多語言用例做好準備,，超過 5% 的 Llama 3 預(yù)訓(xùn)練數(shù)據(jù)集由涵蓋 30 多種語言的高質(zhì)量非英語數(shù)據(jù)組成,。但是，Llama 3 在這些語言上的性能水平預(yù)計不會與英語相同,。
為了確保 Llama 3 接受最高質(zhì)量數(shù)據(jù)的訓(xùn)練,，研究團隊開發(fā)了一系列數(shù)據(jù)過濾 pipeline，包括使用啟發(fā)式過濾器（filter）,、NSFW 過濾器,、語義重復(fù)數(shù)據(jù)刪除方法和文本分類器來預(yù)測數(shù)據(jù)質(zhì)量。
研究團隊發(fā)現(xiàn)前幾代 Llama 非常擅長識別高質(zhì)量數(shù)據(jù),，因此 Meta 使用 Llama 2 為給 Llama 3 提供支持的文本質(zhì)量分類器生成訓(xùn)練數(shù)據(jù),。
研究團隊還進行了廣泛的實驗，以評估出在最終預(yù)訓(xùn)練數(shù)據(jù)集中不同來源數(shù)據(jù)的最佳混合方式,，最終確保 Llama 3 在各種用例（包括日常問題,、STEM、編碼,、歷史知識等）中表現(xiàn)良好,。
Meta 表示，最大的 Llama 3 參數(shù)超過 400B,，雖然這些機型仍在訓(xùn)練中,，但在接下來的幾個月中也將陸續(xù)發(fā)布，新功能包括多模態(tài),、多語言對話能力,、更長的上下文窗口以及更強的整體能力。
Meta 希望 Llama 3 能趕上 OpenAI 的 GPT-4,。不過知情人士透露,，因為研究人員尚未開始對 Llama 3 進行微調(diào),，所以尚未決定 Llama 3 是否將是多模態(tài)模型。微調(diào)是開發(fā)人員為現(xiàn)有模型提供額外數(shù)據(jù)的過程,，以便它可以學(xué)習(xí)新信息或任務(wù),。較大的模型通常會提供更高質(zhì)量的答復(fù)，而較小的模型往往會更快的提供答復(fù),。有消息稱,，正式版的 Llama 3 將會在今年 7 月正式推出。
Meta 還宣布與 Alphabet 的谷歌建立新的合作伙伴關(guān)系,，在助手的答復(fù)中包括實時搜索結(jié)果,，作為與微軟必應(yīng)現(xiàn)有合作的補充。隨著此次更新,，Meta AI 助手正在擴展到美國以外的十多個市場,，包括澳大利亞、加拿大,、新加坡,、尼日利亞和巴基斯坦?？伎怂拐f,，Meta" 仍在努力以正確的方式在歐洲做到這一點 "。歐洲的隱私規(guī)定更加嚴格,，即將出臺的人工智能法案也準備提出披露模型訓(xùn)練數(shù)據(jù)等要求,。
