10 月 21 日消息,，智源研究院今日發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個 token 預測,，無需擴散模型或組合方法,，即可完成文本、圖像,、視頻三種模態(tài)數(shù)據(jù)的理解和生成,。官方宣稱實現(xiàn)圖像、文本,、視頻大一統(tǒng),。
在圖像生成任務中，基于人類偏好評測,，Emu3 優(yōu)于 SD-1.5 與 SDXL 模型,。在視覺語言理解任務中，對于 12 項基準測試的平均得分,，Emu3 優(yōu)于 LlaVA-1.6,。在視頻生成任務中，對于 VBench 基準測試得分,，Emu3 優(yōu)于 OpenSora 1.2,。
據(jù)介紹，Emu3 提供了一個強大的視覺 tokenizer,，能夠?qū)⒁曨l和圖像轉換為離散 token,。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時,，該模型輸出的離散 token 可以被轉換為文本,、圖像和視頻，為 Any-to-Any 的任務提供了更加統(tǒng)一的研究范式。
▲ Emu3 生成的圖像
Emu3 研究結果證明,，下一個 token 預測可以作為多模態(tài)模型的一個強大范式,，實現(xiàn)超越語言本身的大規(guī)模多模態(tài)學習,，并在多模態(tài)任務中實現(xiàn)先進的性能,。通過將復雜的多模態(tài)設計收斂到 token 本身，能在大規(guī)模訓練和推理中釋放巨大的潛力,。
目前 Emu3 已開源了關鍵技術和模型
本站內(nèi)容除特別聲明的原創(chuàng)文章之外,，轉載內(nèi)容只為傳遞更多信息，并不代表本網(wǎng)站贊同其觀點,。轉載的所有的文章,、圖片、音/視頻文件等資料的版權歸版權所有權人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者,。如涉及作品內(nèi)容、版權和其它問題,，請及時通過電子郵件或電話通知我們,，以便迅速采取適當措施，避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話：010-82306118,；郵箱：[email protected]。