《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 中國首個Sora級視頻大模型Vidu發(fā)布

中國首個Sora級視頻大模型Vidu發(fā)布

2024-04-28
來源:中國新聞網(wǎng)

在2024中關(guān)村論壇年會未來人工智能先鋒論壇上,,清華大學聯(lián)合生數(shù)科技27日正式發(fā)布中國首個長時長、高一致性,、高動態(tài)性視頻大模型——Vidu,。

該模型采用團隊原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT,,支持一鍵生成長達16秒,、分辨率高達1080P的高清視頻內(nèi)容,。

1.jpg

據(jù)介紹,Vidu不僅能夠模擬真實物理世界,,還擁有豐富想象力,,具備多鏡頭生成、時空一致性高等特點,。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型,,性能全面對標國際頂尖水平,并在加速迭代提升中,。

在當天的論壇上,,清華大學教授、生數(shù)科技首席科學家朱軍表示,,與Sora一致,,Vidu能夠根據(jù)提供的文本描述直接生成長達16秒的高質(zhì)量視頻,。除了在時長方面的突破外,,Vidu在視頻效果方面實現(xiàn)顯著提升,主要體現(xiàn)在模擬真實物理世界,、多鏡頭語言,、時空一致性高、理解中國元素等方面,。

2.jpg

“值得一提的是,,Vidu采用的是‘一步到位’的生成方式,。”朱軍表示,,與Sora一樣,,文本到視頻的轉(zhuǎn)換是直接且連續(xù)的,在底層算法實現(xiàn)上是基于單一模型完全端到端生成,,不涉及中間的插幀和其他多步驟的處理,。

朱軍表示,Vidu的快速突破源自于團隊在貝葉斯機器學習和多模態(tài)大模型的長期積累和多項原創(chuàng)性成果,。其核心技術(shù)U-ViT架構(gòu)由團隊于2022年9月提出,,早于Sora采用的DiT架構(gòu),是全球首個Diffusion與Transformer融合的架構(gòu),,完全由團隊自主研發(fā),。

自今年2月Sora發(fā)布推出后,團隊基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗,,在短短兩個月進一步突破長視頻表示與處理關(guān)鍵技術(shù),,研發(fā)推出Vidu視頻大模型,顯著提升視頻的連貫性與動態(tài)性,。

“Vidu的命名不僅諧音‘Vedio’,,也蘊含‘We do’的寓意?!敝燔姳硎?,模型的突破是一個多維度、跨領(lǐng)域的綜合性過程,,需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合,,希望與產(chǎn)業(yè)鏈上下游企業(yè)、研究機構(gòu)加強合作,,共同推動視頻大模型進展,。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點,。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,,避免給雙方造成不必要的經(jīng)濟損失,。聯(lián)系電話:010-82306118,;郵箱:[email protected]