《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動(dòng)態(tài) > 復(fù)旦聯(lián)手百度打造AI開源模型Hallo2

復(fù)旦聯(lián)手百度打造AI開源模型Hallo2

根據(jù)音頻生成4K分辨率1小時(shí)長(zhǎng)視頻
2024-10-21
來源:IT之家
關(guān)鍵詞: 復(fù)旦 百度 AI開源模型 Hallo2

10 月 21 日消息,,復(fù)旦大學(xué)和百度聯(lián)合開發(fā)了一款名為 Hallo2 的全新 AI 模型,,該模型可以生成長(zhǎng)達(dá)數(shù)小時(shí)的 4K 分辨率人物動(dòng)畫,,現(xiàn)已在 GitHub 發(fā)布開源。

0.png

Hallo2 模型建立在 latent diffusion models 的基礎(chǔ)上,,相比上一代 Hallo 模型的效果更好,,支持了長(zhǎng)視頻生成,通過引入數(shù)據(jù)增強(qiáng)方法如 patch-drop 和高斯噪聲,,有效提高了長(zhǎng)時(shí)間視頻的視覺一致性和時(shí)間連貫性,。

Hallo2 還結(jié)合了向量量化生成對(duì)抗網(wǎng)絡(luò)和時(shí)間對(duì)齊技術(shù),保證了高分辨率視頻的質(zhì)量和流暢性,。

此外,,Hallo2 將可調(diào)整的語義文本標(biāo)簽的肖像表情作為條件輸入。這超出了傳統(tǒng)的音頻提示,,可以提高可控性并增加所生成內(nèi)容的多樣性,。項(xiàng)目頁面介紹稱,Hallo2 是第一種實(shí)現(xiàn) 4K 分辨率并生成長(zhǎng)達(dá) 1 小時(shí)的音頻驅(qū)動(dòng)的人像圖像動(dòng)畫的方法,,并通過文本提示進(jìn)行增強(qiáng),。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,,并不代表本網(wǎng)站贊同其觀點(diǎn),。轉(zhuǎn)載的所有的文章、圖片,、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有,。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容,、版權(quán)和其它問題,,請(qǐng)及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,,避免給雙方造成不必要的經(jīng)濟(jì)損失,。聯(lián)系電話:010-82306118;郵箱:[email protected],。