9月2日訊，據(jù)英偉達(dá)官方消息，英偉達(dá)聯(lián)合 Georgia Tech,、UMD 和 HKPU 的研究團(tuán)隊(duì)推出了全新的視覺語(yǔ)言模型 —— NVEagle。

據(jù)悉,，NVEagle 能夠理解復(fù)雜的現(xiàn)實(shí)場(chǎng)景，通過視覺輸入進(jìn)行更好的解讀和回應(yīng),。它的設(shè)計(jì)核心在于將圖像轉(zhuǎn)化為視覺標(biāo)記,，再與文本嵌入相結(jié)合，進(jìn)而提升了對(duì)視覺信息的理解,。NVEagle 包括了三個(gè)版本 :Eagle-X5-7B,、Eagle-X5-13B 以及 Eagle-X5-13B-Chat。其中,，7B 和 13B 版本主要用于一般的視覺語(yǔ)言任務(wù),，而 13B-Chat 版本則專門針對(duì)對(duì)話式 AI 進(jìn)行了微調(diào)，能夠更好地進(jìn)行基于視覺輸入的互動(dòng),。

NVEagle 的一個(gè)亮點(diǎn)在于采用了混合專家（MoE）機(jī)制,，能夠根據(jù)不同任務(wù)動(dòng)態(tài)選擇最合適的視覺編碼器，這極大提升了對(duì)復(fù)雜視覺信息的處理能力,。該模型已在 Hugging Face 上發(fā)布,，方便研究人員和開發(fā)者使用。