成立于1993年的英偉達(dá),,最為人熟知的就是他們的GPU,。尤其是進(jìn)入最近幾年,,因為AI的火熱,,英偉達(dá)GPU的關(guān)注度暴增,行業(yè)對他們在這個領(lǐng)域的認(rèn)可程度也達(dá)到了前所未有的高度,。但其實GPU只是英偉達(dá)的根本,。歷經(jīng)過去幾年的收購和產(chǎn)品線拓展外,英偉達(dá)已經(jīng)開拓了多條產(chǎn)品線,,DPU就是其中的一條,。
DPU:為數(shù)據(jù)移動而生
在數(shù)據(jù)中心領(lǐng)域,CPU和GPU是當(dāng)之無愧的“處理器巨頭”,,他們憑借各自的優(yōu)勢在數(shù)據(jù)中心中建立了無可撼動的地位,。但在Nvidia CEO黃仁勛看來,DPU已經(jīng)成為以數(shù)據(jù)為中心的加速計算模型的第三位成員,。其中CPU用于通用計算,,GPU用于加速計算,而DPU在數(shù)據(jù)中心周圍移動數(shù)據(jù),,進(jìn)行數(shù)據(jù)處理,。
這里所說的DPU,就是DataProcessing Unit的縮寫,,也就是所謂的數(shù)據(jù)處理單元,,這是英偉達(dá)耗資69億美元收購的以色列芯片廠商Mellanox所帶來的拳頭產(chǎn)品之一。
據(jù)英偉達(dá)方面介紹,,DPU是一款具備了高性能,,軟件可編程和多核CPU等特性的新型可編程處理器。在這個SoC中,,擁有高性能網(wǎng)絡(luò)接口,,能夠以有線傳輸?shù)乃俾式馕觥⑻幚頂?shù)據(jù),,并將其快速傳輸?shù)紾PU和CPU,。更重要的是,英偉達(dá)方面表示,,DPU豐富的,、靈活和可編程的加速引擎可減輕和改善AI和機(jī)器學(xué)習(xí)應(yīng)用的性能。所有的這些DPU功能對于實現(xiàn)隔離的裸機(jī)云原生計算至關(guān)重要,,它也將定義下一代云規(guī)模計算,。他們進(jìn)一步指出,DPU可以用作獨立的嵌入式處理器,,但通常會集成到SmartNIC中,,為未來的服務(wù)器提供支持,。
從英偉達(dá)方面的介紹我們得知,DPU可以執(zhí)行原本需要CPU處理的網(wǎng)絡(luò),、存儲和安全等任務(wù),。這就意味著如果在數(shù)據(jù)中心中采用了DPU,那么CPU的不少運算能力可以被釋放出來,,去執(zhí)行廣泛的企業(yè)應(yīng)用,。
在近日舉辦的GTC大會上,英偉達(dá)帶來了其全新的DPU 產(chǎn)品BlueField-2,、BlueField-2X,,以及全新的DOCA SDK。
首先看BlueField-2 DPU,,如下圖所示,,在DPU中,擁有8個64bit的Arm Cortex A72內(nèi)核,,同時還擁有2VLIM加速引擎和Mellanox的ConnertX-6 Dx NIC,,同時還集成了行業(yè)領(lǐng)先的50Gb / s PAM4 SerDes和PCIe Gen 4.0接口,這就讓其能提供速度為25Gb / s,、50Gb / s或100Gb/ s的兩個端口,,或者一個速度高達(dá)200Gb/s的以太網(wǎng)和InfiniBand連接。
得益于這些配置,,BlueField-2 DPU能夠加速數(shù)據(jù)中心中包括隔離,、信任根、密鑰管理,、RDMA/RoCE,、GPUDirect、彈性塊存儲和數(shù)據(jù)壓縮等在內(nèi)的安全,、網(wǎng)絡(luò)和存儲任務(wù),。
除了BlueField-2 DPU之外,英偉達(dá)還帶了BlueField-2X DPU,,這款產(chǎn)品除了擁有BlueField-2 DPU的所有特性以外,,還集成了一個NVIDIA Ampere GPU,這就讓其可以運用AI來執(zhí)行數(shù)據(jù)中心的安全,、網(wǎng)絡(luò)和存儲等任務(wù),。
英偉達(dá)方面表示,因為Ampere GPU采用了NVIDIA的第三代Tensor Core,,所以它能夠使用AI進(jìn)行包括識別異常流量以預(yù)防機(jī)密數(shù)據(jù)被盜,,線速加密流量分析,主機(jī)自檢識別惡意活動,動態(tài)安全流程和自動響應(yīng)在內(nèi)的實時安全分析,。
在介紹了這兩款DPU之后,,英偉達(dá)還帶來了DPU的全新路線圖。如下圖所示,,英偉達(dá)未來兩代的DPU將在2022和2023年面世,,它們所帶來的性能提升是非常明顯的。
為了方便DPU的開發(fā),,英偉達(dá)同時還帶來了一款名為DOCA(Data-Center-Infrastructure-on-a-ChipArchitecture)的SDK,。據(jù)了解,,DOCA為開發(fā)人員提供了一個全面的開放平臺,,協(xié)助他們在BlueField系列DPU上打造軟件定義的,硬件加速的網(wǎng)絡(luò),、存儲,、安全和管理等應(yīng)用。而DOCA也已經(jīng)完全集成到NVIDIA NGC中,,該軟件目錄為第三方應(yīng)用程序開發(fā)商提供了便捷和容器化的軟件開發(fā)環(huán)境,,那就意味著他們可以利用DPU在數(shù)據(jù)中心中的加速服務(wù),并開發(fā),,認(rèn)證和分發(fā)應(yīng)用程序給其客戶,。
JETSON:迎接AIoT革命
在英偉達(dá)面向未來的產(chǎn)品布局中,AIoT也是一個他們不會錯過的重點方向,。正如該公司邊緣計算VP和GM Deepu Talla所說,,這是一個涉及萬億連接的市場,他們沒理由錯過,。
如上圖所示,,這是一個始于2014年的產(chǎn)品線,在當(dāng)年三月,,他們發(fā)布了Jeston系列的第一款產(chǎn)品Jeston TK1,。這是一款基于全球首款針對嵌入式系統(tǒng)的移動超級計算機(jī),其面向的應(yīng)用包括計算機(jī)視覺,、圖像處理以及實時數(shù)據(jù)處理等領(lǐng)域,。
按照英偉達(dá)的介紹,Jetson是他們面向新一代自主機(jī)器推出的嵌入式系統(tǒng),,是一系列適用于一切自主機(jī)器(Autonomous Machines)的AI平臺,。其系統(tǒng)所提供的性能和能效可提高自主機(jī)器軟件的運行速度,而且功耗更低,。英偉達(dá)方面的資料顯示,,Jetson系列的每個系統(tǒng)都是一個完備的模塊化系統(tǒng) (SOM),具備 CPU、GPU,、PMIC,、DRAM 和閃存,并且具備可擴(kuò)展性,。對于開發(fā)者和用戶來說,,只需選擇適合應(yīng)用場景功能需求的SOM,即能夠以此為基礎(chǔ)構(gòu)建系統(tǒng),。
自2014年以來,,英偉達(dá)已經(jīng)面向不同應(yīng)用場景推出了TK1、TX1,、TX2,、AGX Xavier、Nano和XavierNX六款產(chǎn)品,。而現(xiàn)在,,他們則帶來了售價僅為59美元的JetsonNano 2GB。在英偉達(dá)看來,,這是一款非常適用于學(xué)生,、教育和機(jī)器人愛好者的AI和機(jī)器人入門套件。
英偉達(dá)官方也表示,,Jetson Nan 2GB開放套件設(shè)計的初衷是希望將AI的教與學(xué)融為一體,,興趣認(rèn)識可以借助其開發(fā)機(jī)器人技術(shù)和智能物聯(lián)網(wǎng)等領(lǐng)域的項目。為了支持這項工作,,英偉達(dá)還將提供免費的在線培訓(xùn)和AI認(rèn)證計劃,,這將支持成千上萬的開發(fā)人員在充滿活力的Jetson社區(qū)中提供更多的開源項目、開發(fā)方法和視頻,。
英偉達(dá)方面指進(jìn)一步出,,NVIDIA JetPack? SDK為新款的Jetson Nan 2GB提供支持,這就讓開發(fā)者可以基于此針對需求做多樣化的開發(fā),。
開發(fā)者平臺:英偉達(dá)的武器
為了讓開發(fā)者將其硬件帶到各種領(lǐng)域,,英偉達(dá)在軟件上做了很多的投入,CUDA就是其最成功的代表,。正如很多行內(nèi)人士所示,,英偉達(dá)之所以能夠在AI時代大展所長,他們在CUDA上持之以恒的投入功不可沒,,這也是他們?yōu)镈PU投入DOCA開發(fā)的原因,。
而為了更便利開發(fā)者,英偉達(dá)帶來了更多的開發(fā)平臺,。如為了更好地將AI帶到邊緣應(yīng)用,,英偉達(dá)在2019年推出了EGX AI 平臺,。該平臺可以實時感知、理解和處理數(shù)據(jù),,而無需先將數(shù)據(jù)發(fā)送到云端或數(shù)據(jù)中心,。
作為一款高性能和可擴(kuò)展的平臺,EGX 能從小型的 NVIDIA Jetson Nano擴(kuò)展到所有安裝了NVIDIA GPU的服務(wù)器群,,提供從0.5TOPS到 10,000 TOPS的支持,,可以為數(shù)百名用戶提供實時語音識別和其他復(fù)雜的 AI 體驗。而據(jù)他們介紹,,包括戴爾,、浪潮、聯(lián)想和Supermicro在內(nèi)的服務(wù)器供應(yīng)商也提供了對NVIDIA EGX AI平臺的支持,。這就讓制造,、健康、零售,、物流,、農(nóng)業(yè)、電信,、公共安全和廣播媒體等大型行業(yè)從EGX AI平臺受益,也能加速他們的AI部署,。
英偉達(dá)方面表示,,公司的EGX平臺正在擴(kuò)展,以結(jié)合NVIDIA Ampere GPU和單個PCIe卡上的BlueField-2DPU功能,,為企業(yè)提供了通用的平臺去構(gòu)建安全的加速數(shù)據(jù)中心,。
在GTC2020上,英偉達(dá)還帶來了了全新的NVIDIA Maxine——一款云原生的流視頻AI平臺,。
據(jù)介紹,,基于這個平臺,服務(wù)提供商預(yù)計可以為每天舉行的超過3000萬次網(wǎng)絡(luò)會議帶來新的AI功能,,當(dāng)中包括凝視校正,,超分辨率和降噪等。由于數(shù)據(jù)是在云中而不是在本地設(shè)備上處理的,,因此終端用戶無需任何專用的硬件,,就可以享受新的功能。
“Maxine平臺將大大減少視頻通話所需的帶寬,。和傳統(tǒng)流視頻傳輸整個屏幕的像素不一樣,,AI軟件會分析通話中每個人的關(guān)鍵面部點,然后智能地調(diào)整另一側(cè)視頻中的臉部,。這樣就可以以更小流量的方式在網(wǎng)絡(luò)上傳輸流視頻”,,英偉達(dá)方面強調(diào)。
Maxine平臺同時集成了多個NVIDIAAI SDK和API技術(shù)。除了NVIDIAJarine,,Maxine平臺還利用了NVIDIA DeepStream高通量音頻和視頻流SDK和NVIDIA TensorRTTM SDK,,以實現(xiàn)高性能的深度學(xué)習(xí)推理。Maxine中使用的NVIDIA SDK中提供的AI音頻,、視頻和自然語言功能是在NVIDIA DGX系統(tǒng)上經(jīng)過數(shù)十萬次訓(xùn)練而開發(fā)的,,這進(jìn)一步體現(xiàn)了其領(lǐng)先性。
除此之外,,英偉達(dá)還帶來了Omniverse平臺,。
據(jù)介紹,Omniverse是世界上第一個基于NVIDIA RTX的3D模擬和協(xié)作平臺,,匯集了英偉達(dá)在圖形,、仿真和AI方面的突破,融合了物理和虛擬世界,,能夠?qū)崟r模擬真實感并具有真實感細(xì)節(jié),。
使用該平臺,遠(yuǎn)程團(tuán)隊可以同時在項目上進(jìn)行協(xié)作,,例如架構(gòu)師反復(fù)進(jìn)行3D架構(gòu)設(shè)計,,動畫師修改3D場景,以及工程師合作進(jìn)行自動駕駛汽車開發(fā),,就像他們在網(wǎng)上共同編輯文檔一樣容易,。
據(jù)透露,Omniverse得到了包括Adobe,,Autodesk,,Bentley Systems,Robert McNeel&Associates和SideFX在內(nèi)的許多主要軟件領(lǐng)導(dǎo)者的支持,。NVIDIA還計劃攜手其他領(lǐng)先的軟件提供者,,以便所有藝術(shù)家和設(shè)計師都能在Omniverse上選擇自己所需的應(yīng)用程序。
得益于其GPU方面的領(lǐng)先實力,,英偉達(dá)已經(jīng)在AI市場坐穩(wěn)了龍頭芯片供應(yīng)商的位置,。再加上公司在如上文談到的軟硬件的投入。相信未來無論在數(shù)據(jù)中心領(lǐng)域,,還是AIoT市場,,英偉達(dá)必然會有一席之地。