7月29日周一,，在美國(guó)丹佛市舉行的計(jì)算機(jī)圖形學(xué)和交互技術(shù)年度大會(huì)和展會(huì)SIGGRAPH 2024上,，英偉達(dá)亮出新工具。

英偉達(dá)CEO黃仁勛在SIGGRAPH 2024透露，本周英偉達(dá)發(fā)送Blackwell架構(gòu)的樣品,，這是今年首發(fā)的新款芯片架構(gòu),。同時(shí)，英偉達(dá)公布了一系列軟件更新,，主要涉及用于優(yōu)化人工智能（AI）推理的云原生微服務(wù)——Nvidia inference micro service（NIM）,，推動(dòng)企業(yè)大規(guī)模部署AI模型。

今年3月英偉達(dá)推出NIM時(shí)介紹,，NIM提供經(jīng)過優(yōu)化的推理微服務(wù),，旨在縮短上市時(shí)間，并簡(jiǎn)化生成式 AI 模型在云,、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署,。NIM 支持跨多個(gè)領(lǐng)域的 AI 用例，包括大語言模型 (LLM),、視覺語言模型 (VLM),，以及用于語音、圖像,、視頻,、3D、藥物研發(fā),、醫(yī)學(xué)成像等的模型,。

開發(fā)者可以使用英偉達(dá)托管的云API測(cè)試新的生成式 AI 模型，或者通過下載 NIM 來自行托管模型,，并在主要云提供商或本地使用 Kubernetes 快速部署,，以減少開發(fā)時(shí)間、復(fù)雜性和成本,。NIM微服務(wù)通過打包算法、系統(tǒng)和運(yùn)行時(shí)優(yōu)化并添加行業(yè)標(biāo)準(zhǔn) API 來簡(jiǎn)化 AI 模型部署流程,。這使開發(fā)者能夠?qū)?NIM 集成到其現(xiàn)有應(yīng)用程序App和基礎(chǔ)設(shè)施中,，無需大量定制或?qū)I(yè)知識(shí)。

本周一英偉達(dá)宣布的更新擴(kuò)大了NIM推理微服務(wù)庫(kù),，涵蓋了物質(zhì)世界環(huán)境,、高級(jí)視覺建模和各種垂直應(yīng)用。英偉達(dá)已在預(yù)覽版中提供了約 100項(xiàng)NIM推理微服務(wù),，現(xiàn)在要發(fā)布完整版本,。比如，作為英偉達(dá)的部分新NIM,，視覺媒體公司Getty Images Holdings的4K 圖像生成 API 和圖像,、影片、音樂等數(shù)字內(nèi)容供應(yīng)商Shutterstock Inc. 的3D圖像生成器即將上線。兩者都使用英偉達(dá)的Nvidia Edify,，它是一種用于視覺生成 AI 的多模式架構(gòu),。

英偉達(dá)同日宣布，與自然語言處理（NLP）工具集和平臺(tái)Hugging Face合作,，推出了推理即服務(wù),，幫助開發(fā)人員使用托管在 Hugging Face Hub 上的開源AI模型快速制作原型，并將其部署到生產(chǎn)中,。評(píng)論稱,，這一合作將簡(jiǎn)化開發(fā)者的AI模型部署。

fVDB利用現(xiàn)實(shí)世界3D數(shù)據(jù)打造空間智能

其中,，英偉達(dá)推出fVDB,，利用現(xiàn)實(shí)世界的3D數(shù)據(jù)，打造空間智能,。英偉達(dá)稱,，生成式物質(zhì)AI模型可以理解并執(zhí)行物質(zhì)世界中精細(xì)或粗大動(dòng)作技能的操作。理解物質(zhì)世界的三維空間并在其中導(dǎo)航需要空間智能,。為了給這種AI提供一個(gè)能夠處理現(xiàn)實(shí)規(guī)模的強(qiáng)大,、連貫的框架，英偉達(dá)打造了fVDB,，這是一個(gè)專為稀疏,、大規(guī)模和高性能空間智能而設(shè)計(jì)的深度學(xué)習(xí)框架。

fVDB建立在OpenVDB上,，OpenVDB 是一個(gè)行業(yè)標(biāo)準(zhǔn)的結(jié)構(gòu)和程序庫(kù),，用于模擬和渲染水、火,、煙和云等稀疏體積數(shù)據(jù),。fVDB 提供的空間規(guī)模是以前框架的四倍，性能是以前框架的 3.5 倍,，并且可以訪問大量現(xiàn)實(shí)世界數(shù)據(jù)集,。它通過組合以前需要多個(gè)深度學(xué)習(xí)庫(kù)的功能來簡(jiǎn)化流程。

開源模塊化框架Isaac Lab提供模擬 加快機(jī)器人學(xué)習(xí)

英偉達(dá)同時(shí)推出Isaac Lab,，它是一個(gè)用于機(jī)器人學(xué)習(xí)的開源模塊化框架,，可以解決傳統(tǒng)訓(xùn)練方法對(duì)機(jī)器人學(xué)習(xí)技能的限制。

Isaac Lab 為不同的訓(xùn)練環(huán)境提供模塊化的高保真模擬,，提供物質(zhì)世界AI功能和 GPU 驅(qū)動(dòng)的物質(zhì)世界模擬,。

Isaac Lab 支持模仿學(xué)習(xí)（模仿人類）和強(qiáng)化學(xué)習(xí)（通過反復(fù)試驗(yàn)學(xué)習(xí)），為任何機(jī)器人實(shí)現(xiàn)提供靈活的訓(xùn)練方法,。它為訓(xùn)練場(chǎng)景提供了一個(gè)用戶友好的環(huán)境,，可幫助機(jī)器人制造商根據(jù)不斷變化的業(yè)務(wù)需求添加或更新機(jī)器人技能。

用英偉達(dá)NIM和VIA微服務(wù)打造VLM 驅(qū)動(dòng)的視覺AI代理

英偉達(dá)為物質(zhì)世界的AI量身定制了NIM，支持語音和翻譯,、視覺以及逼真的動(dòng)畫和行為,。英偉達(dá)推出VIA微服務(wù)，現(xiàn)已可在開發(fā)者預(yù)覽版中下載,。

VIA微服務(wù)可以輕松與NIM集成,，用戶可以在英偉達(dá)的模型預(yù)覽API和可下載NIM微服務(wù)API目錄中靈活使用任何LLM或VLM模型。VIA微服務(wù)是英偉達(dá)Metropolis微服務(wù)的擴(kuò)展,，是云原生構(gòu)建塊,，可加快VLM和NIM驅(qū)動(dòng)的視覺AI代理開發(fā)速度，無論部署在邊緣還是云端,。

借助生成式 AI,、NIM微服務(wù)和基礎(chǔ)模型，現(xiàn)在用戶可以用更少的模型,，構(gòu)建具有廣泛感知和豐富上下文理解的App,。VLM支持能夠理解自然語言提示并執(zhí)行視覺問答的視覺 AI 代理。視覺AI代理使用計(jì)算機(jī)視覺功能來感知物質(zhì)世界并與其交互,、執(zhí)行推理任務(wù),。

這些代理能充分釋放了各行各業(yè)應(yīng)用的可能性，它們能顯著簡(jiǎn)化App開發(fā)的工作流程,，并提供了變革性的新感知功能,，例如圖像或視頻摘要、交互式視覺問答和視覺警報(bào),。這些視覺AI代理將可以部署在工廠,、倉(cāng)庫(kù)、零售店,、機(jī)場(chǎng),、交通路口等地，將幫助運(yùn)營(yíng)團(tuán)隊(duì)利用自然互動(dòng)中產(chǎn)生的更豐富見解,，做出更好的決策,。

Omniverse Replicator幫助解決限制模型訓(xùn)練的數(shù)據(jù)短缺問題

英偉達(dá)介紹了如何用NIM微服務(wù)為USD建立自定義合成數(shù)據(jù)生成 (SDG) 管道，該微服務(wù)采用了英偉達(dá)的Omniverse Replicator,。Omniverse Replicator是基于通用場(chǎng)景描述 (OpenUSD) 和英偉達(dá)RTX構(gòu)建的 SDK。

開發(fā)人員可以使用 NIM微服務(wù)和 Omniverse Replicator 等來構(gòu)建支持生成式AI 的SDG管道,，解決通常會(huì)限制模型訓(xùn)練的現(xiàn)實(shí)世界數(shù)據(jù)短缺問題,。

英偉達(dá)的Omniverse和模擬技術(shù)副總裁 Rev Lebaredian 說：

“我們構(gòu)建了世界上第一個(gè)能夠理解基于OpenUSD的語言、幾何,、材料,、物理和空間的生成式AI模型。”

Lebaredian稱,，2016 年以來,，英偉達(dá)一直在投資OpenUSD，使工業(yè)企業(yè)和物質(zhì)AI開發(fā)人員能夠更輕松,、更快地開發(fā)高性能模型,。

英偉達(dá)還與共同創(chuàng)立了OpenUSD聯(lián)盟的蘋果合作，構(gòu)建了從英偉達(dá)由圖形就緒數(shù)據(jù)中心組成的網(wǎng)絡(luò)——Graphics Delivery Network,、到蘋果Apple Vision Pro在內(nèi)的混合渲染管道流,。