NVIDIA刷新AI推理紀(jì)錄，推出面向企業(yè)級服務(wù)器的A30和A10 GPU
NVIDIA AI平臺在從數(shù)據(jù)中心到邊緣的所有MLPerf基準(zhǔn)測試類別中脫穎而出
加利福尼亞州圣克拉拉市—2021年4月21日—NVIDIA今日宣布其AI推理平臺在最新MLPerf基準(zhǔn)測試所有類別中展現(xiàn)出的性能均創(chuàng)下紀(jì)錄,。這一AI推理平臺通過NVIDIA? A30和A10 GPU對主流服務(wù)器實(shí)現(xiàn)了全新的擴(kuò)展,。
MLPerf是業(yè)界公認(rèn)的AI性能衡量基準(zhǔn)，涵蓋計算機(jī)視覺,、醫(yī)學(xué)影像,、推薦系統(tǒng)、語音識別和自然語言處理等一系列工作負(fù)載,。
此次MLPerf是NVIDIA A30和A10 GPU的首秀,。兩款GPU集高性能與低功耗于一身，可成為企業(yè)在AI推理,、訓(xùn)練,、圖形和傳統(tǒng)企業(yè)級計算工作負(fù)載等諸多方面的主流選擇。思科,、戴爾科技,、慧與、浪潮和聯(lián)想預(yù)計將從今年夏季開始將這兩款GPU集成到其最高容量的服務(wù)器中,。
NVIDIA能夠取得如此佳績,，得益于NVIDIA AI平臺的廣度，其包含多種類型的GPU和AI軟件,，包括TensorRT?和NVIDIA Triton?推理服務(wù)器—— 微軟,、Pinterest、Postmates,、T-Mobile,、USPS和微信等領(lǐng)先企業(yè)都部署了該平臺。
NVIDIA加速計算部門總經(jīng)理兼副總裁Ian Buck表示：“隨著AI持續(xù)為各行各業(yè)帶來變革,，MLPerf也成為企業(yè)的一項(xiàng)重要工具,，能夠助力其在IT基礎(chǔ)設(shè)施投資方面做出明智的決策。 如今,，所有主要OEM廠商都提交了MLPerf測試結(jié)果,，NVIDIA及合作伙伴的關(guān)注點(diǎn)不僅在于實(shí)現(xiàn)全球領(lǐng)先的AI性能，同時還注重通過即將面市的一系列搭載A30和A10 GPU的企業(yè)級服務(wù)器來實(shí)現(xiàn)AI普及化,?！?/p>
MLPerf結(jié)果
NVIDIA是唯一一家針對數(shù)據(jù)中心和邊緣類別中的每項(xiàng)測試都提交結(jié)果的公司，在所有MLPerf工作負(fù)載中均展現(xiàn)出頂級的性能,。
多項(xiàng)提交結(jié)果還基于Triton推理服務(wù)器,，其支持來自所有主要框架的模型，可在GPU及CPU上運(yùn)行,，并針對批處理,、實(shí)時和串流傳輸?shù)炔煌牟樵冾愋瓦M(jìn)行了優(yōu)化，可簡化在應(yīng)用中部署AI的復(fù)雜性,。在配置相當(dāng)?shù)那闆r下,，采用Triton的提交結(jié)果所達(dá)到的性能接近于最優(yōu)化的GPU實(shí)現(xiàn)及CPU實(shí)現(xiàn)能夠達(dá)到的性能,。
NVIDIA還開創(chuàng)性地使用NVIDIA Ampere架構(gòu)的多實(shí)例GPU性能，在單一GPU上使用7個MIG實(shí)例,，同時運(yùn)行所有7項(xiàng)MLPerf離線測試,。該配置實(shí)現(xiàn)了與單一MIG實(shí)例獨(dú)立運(yùn)行幾乎完全相同的性能。
這些提交結(jié)果展示了MIG的性能和通用性,，使基礎(chǔ)設(shè)施經(jīng)理能夠針對特定應(yīng)用,，配置適當(dāng)數(shù)量的GPU計算,，從而讓每個數(shù)據(jù)中心GPU都能發(fā)揮最大的效用,。
除NVIDIA公司提交的測試結(jié)果外，多家NVIDIA合作伙伴也提交了共360多項(xiàng)基于NVIDIA GPU的測試結(jié)果,，包括阿里云,、戴爾科技、富士通,、技嘉科技,、慧與、浪潮,、聯(lián)想和超微,。
NVIDIA不斷拓展的AI平臺
NVIDIA A30和A10 GPU是NVIDIA AI平臺中的最新成員。NVIDIA AI平臺包括NVIDIA Ampere架構(gòu)GPU,、NVIDIA Jetson AGX Xavier?,、Jetson Xavier NX，以及經(jīng)優(yōu)化后能夠?qū)崿F(xiàn)AI加速的全棧NVIDIA軟件,。
A30能夠?yàn)樾袠I(yè)標(biāo)準(zhǔn)服務(wù)器提供通用的性能,，支持廣泛的AI推理和主流企業(yè)級計算工作負(fù)載，如推薦系統(tǒng),、對話式AI和計算機(jī)視覺,。
NVIDIA A10 GPU可加速深度學(xué)習(xí)推理、交互式渲染,、計算機(jī)輔助設(shè)計和云游戲,，使企業(yè)能夠基于通用基礎(chǔ)設(shè)施，為混合型AI和圖形工作負(fù)載提供支持,。通過采用NVIDIA虛擬GPU軟件,，可改進(jìn)管理，為設(shè)計師,、工程師,、藝術(shù)家和科學(xué)家所用的虛擬桌面提高利用率并完善配置。
NVIDIA Jetson平臺基于NVIDIA Xavier?系統(tǒng)級模塊,，可在邊緣提供服務(wù)器級的AI性能,，助力機(jī)器人,、醫(yī)療健康、零售等領(lǐng)域?qū)崿F(xiàn)更多的創(chuàng)新應(yīng)用,。Jetson基于NVIDIA的統(tǒng)一架構(gòu)和CUDA-X? 軟件堆棧,，是唯一采用緊湊型設(shè)計、能夠運(yùn)行所有邊緣工作負(fù)載且功耗低于30W的平臺,。
供貨
NVIDIA A100 GPU搭載于領(lǐng)先服務(wù)器制造商的服務(wù)器,、所有主要云服務(wù)提供商的云端，以及NVIDIA DGX?系統(tǒng)產(chǎn)品組合（包括NVIDIA DGX Station A100,、NVIDIA DGX A100和NVIDIA DGX SuperPOD）,。
預(yù)計A30和A10（功耗分別為165W和150W）將從今夏起用于各類服務(wù)器中，包括經(jīng)嚴(yán)格測試以確保在各類工作負(fù)載下均可實(shí)現(xiàn)高性能的NVIDIA認(rèn)證系統(tǒng)?,。
Jetson AGX Xavier 和Jetson Xavier NX系統(tǒng)級模塊已通過全球經(jīng)銷商供貨,。
NVIDIA Triton和NVIDIA TensorRT均可通過NVIDIA的軟件目錄NGC?獲取。