成立于1993年的英偉達(dá),，最為人熟知的就是他們的GPU。尤其是進(jìn)入最近幾年,，因?yàn)锳I的火熱，英偉達(dá)GPU的關(guān)注度暴增,，行業(yè)對他們在這個(gè)領(lǐng)域的認(rèn)可程度也達(dá)到了前所未有的高度。但其實(shí)GPU只是英偉達(dá)的根本,。歷經(jīng)過去幾年的收購和產(chǎn)品線拓展外,，英偉達(dá)已經(jīng)開拓了多條產(chǎn)品線,，DPU就是其中的一條。
DPU：為數(shù)據(jù)移動而生
在數(shù)據(jù)中心領(lǐng)域,，CPU和GPU是當(dāng)之無愧的“處理器巨頭”，他們憑借各自的優(yōu)勢在數(shù)據(jù)中心中建立了無可撼動的地位。但在Nvidia CEO黃仁勛看來,，DPU已經(jīng)成為以數(shù)據(jù)為中心的加速計(jì)算模型的第三位成員。其中CPU用于通用計(jì)算,，GPU用于加速計(jì)算，而DPU在數(shù)據(jù)中心周圍移動數(shù)據(jù),，進(jìn)行數(shù)據(jù)處理,。
這里所說的DPU,，就是DataProcessing Unit的縮寫，也就是所謂的數(shù)據(jù)處理單元,，這是英偉達(dá)耗資69億美元收購的以色列芯片廠商Mellanox所帶來的拳頭產(chǎn)品之一。
據(jù)英偉達(dá)方面介紹,，DPU是一款具備了高性能，軟件可編程和多核CPU等特性的新型可編程處理器,。在這個(gè)SoC中,，擁有高性能網(wǎng)絡(luò)接口,，能夠以有線傳輸?shù)乃俾式馕觥⑻幚頂?shù)據(jù),，并將其快速傳輸?shù)紾PU和CPU。更重要的是,，英偉達(dá)方面表示,，DPU豐富的,、靈活和可編程的加速引擎可減輕和改善AI和機(jī)器學(xué)習(xí)應(yīng)用的性能。所有的這些DPU功能對于實(shí)現(xiàn)隔離的裸機(jī)云原生計(jì)算至關(guān)重要,，它也將定義下一代云規(guī)模計(jì)算。他們進(jìn)一步指出,，DPU可以用作獨(dú)立的嵌入式處理器，但通常會集成到SmartNIC中，為未來的服務(wù)器提供支持,。
從英偉達(dá)方面的介紹我們得知,，DPU可以執(zhí)行原本需要CPU處理的網(wǎng)絡(luò)、存儲和安全等任務(wù),。這就意味著如果在數(shù)據(jù)中心中采用了DPU,，那么CPU的不少運(yùn)算能力可以被釋放出來，去執(zhí)行廣泛的企業(yè)應(yīng)用,。
在近日舉辦的GTC大會上，英偉達(dá)帶來了其全新的DPU 產(chǎn)品BlueField-2,、BlueField-2X，以及全新的DOCA SDK,。
首先看BlueField-2 DPU,，如下圖所示，在DPU中,，擁有8個(gè)64bit的Arm Cortex A72內(nèi)核,，同時(shí)還擁有2VLIM加速引擎和Mellanox的ConnertX-6 Dx NIC,，同時(shí)還集成了行業(yè)領(lǐng)先的50Gb / s PAM4 SerDes和PCIe Gen 4.0接口,，這就讓其能提供速度為25Gb / s、50Gb / s或100Gb/ s的兩個(gè)端口,，或者一個(gè)速度高達(dá)200Gb/s的以太網(wǎng)和InfiniBand連接,。
得益于這些配置,，BlueField-2 DPU能夠加速數(shù)據(jù)中心中包括隔離、信任根,、密鑰管理、RDMA/RoCE,、GPUDirect,、彈性塊存儲和數(shù)據(jù)壓縮等在內(nèi)的安全、網(wǎng)絡(luò)和存儲任務(wù),。
除了BlueField-2 DPU之外,，英偉達(dá)還帶了BlueField-2X DPU,，這款產(chǎn)品除了擁有BlueField-2 DPU的所有特性以外,，還集成了一個(gè)NVIDIA Ampere GPU，這就讓其可以運(yùn)用AI來執(zhí)行數(shù)據(jù)中心的安全、網(wǎng)絡(luò)和存儲等任務(wù),。
英偉達(dá)方面表示,，因?yàn)锳mpere GPU采用了NVIDIA的第三代Tensor Core,，所以它能夠使用AI進(jìn)行包括識別異常流量以預(yù)防機(jī)密數(shù)據(jù)被盜，線速加密流量分析,，主機(jī)自檢識別惡意活動，動態(tài)安全流程和自動響應(yīng)在內(nèi)的實(shí)時(shí)安全分析,。
在介紹了這兩款DPU之后,，英偉達(dá)還帶來了DPU的全新路線圖。如下圖所示,，英偉達(dá)未來兩代的DPU將在2022和2023年面世,，它們所帶來的性能提升是非常明顯的。
為了方便DPU的開發(fā),，英偉達(dá)同時(shí)還帶來了一款名為DOCA（Data-Center-Infrastructure-on-a-ChipArchitecture）的SDK,。據(jù)了解，DOCA為開發(fā)人員提供了一個(gè)全面的開放平臺,，協(xié)助他們在BlueField系列DPU上打造軟件定義的,，硬件加速的網(wǎng)絡(luò)、存儲,、安全和管理等應(yīng)用,。而DOCA也已經(jīng)完全集成到NVIDIA NGC中，該軟件目錄為第三方應(yīng)用程序開發(fā)商提供了便捷和容器化的軟件開發(fā)環(huán)境,，那就意味著他們可以利用DPU在數(shù)據(jù)中心中的加速服務(wù),，并開發(fā)，認(rèn)證和分發(fā)應(yīng)用程序給其客戶,。
JETSON：迎接AIoT革命
在英偉達(dá)面向未來的產(chǎn)品布局中,，AIoT也是一個(gè)他們不會錯(cuò)過的重點(diǎn)方向。正如該公司邊緣計(jì)算VP和GM Deepu Talla所說,，這是一個(gè)涉及萬億連接的市場,，他們沒理由錯(cuò)過。
如上圖所示,，這是一個(gè)始于2014年的產(chǎn)品線,，在當(dāng)年三月，他們發(fā)布了Jeston系列的第一款產(chǎn)品Jeston TK1,。這是一款基于全球首款針對嵌入式系統(tǒng)的移動超級計(jì)算機(jī),，其面向的應(yīng)用包括計(jì)算機(jī)視覺、圖像處理以及實(shí)時(shí)數(shù)據(jù)處理等領(lǐng)域,。
按照英偉達(dá)的介紹,，Jetson是他們面向新一代自主機(jī)器推出的嵌入式系統(tǒng)，是一系列適用于一切自主機(jī)器（Autonomous Machines）的AI平臺,。其系統(tǒng)所提供的性能和能效可提高自主機(jī)器軟件的運(yùn)行速度,，而且功耗更低。英偉達(dá)方面的資料顯示,，Jetson系列的每個(gè)系統(tǒng)都是一個(gè)完備的模塊化系統(tǒng) （SOM）,，具備 CPU、GPU,、PMIC,、DRAM 和閃存，并且具備可擴(kuò)展性,。對于開發(fā)者和用戶來說,，只需選擇適合應(yīng)用場景功能需求的SOM，即能夠以此為基礎(chǔ)構(gòu)建系統(tǒng),。
自2014年以來,，英偉達(dá)已經(jīng)面向不同應(yīng)用場景推出了TK1、TX1,、TX2,、AGX Xavier、Nano和XavierNX六款產(chǎn)品,。而現(xiàn)在,，他們則帶來了售價(jià)僅為59美元的JetsonNano 2GB。在英偉達(dá)看來,，這是一款非常適用于學(xué)生,、教育和機(jī)器人愛好者的AI和機(jī)器人入門套件。
英偉達(dá)官方也表示,，Jetson Nan 2GB開放套件設(shè)計(jì)的初衷是希望將AI的教與學(xué)融為一體，興趣認(rèn)識可以借助其開發(fā)機(jī)器人技術(shù)和智能物聯(lián)網(wǎng)等領(lǐng)域的項(xiàng)目,。為了支持這項(xiàng)工作,，英偉達(dá)還將提供免費(fèi)的在線培訓(xùn)和AI認(rèn)證計(jì)劃，這將支持成千上萬的開發(fā)人員在充滿活力的Jetson社區(qū)中提供更多的開源項(xiàng)目,、開發(fā)方法和視頻,。
英偉達(dá)方面指進(jìn)一步出，NVIDIA JetPack? SDK為新款的Jetson Nan 2GB提供支持,，這就讓開發(fā)者可以基于此針對需求做多樣化的開發(fā),。
開發(fā)者平臺：英偉達(dá)的武器
為了讓開發(fā)者將其硬件帶到各種領(lǐng)域，英偉達(dá)在軟件上做了很多的投入,，CUDA就是其最成功的代表,。正如很多行內(nèi)人士所示，英偉達(dá)之所以能夠在AI時(shí)代大展所長,，他們在CUDA上持之以恒的投入功不可沒,，這也是他們?yōu)镈PU投入DOCA開發(fā)的原因。
而為了更便利開發(fā)者,，英偉達(dá)帶來了更多的開發(fā)平臺,。如為了更好地將AI帶到邊緣應(yīng)用，英偉達(dá)在2019年推出了EGX AI 平臺,。該平臺可以實(shí)時(shí)感知,、理解和處理數(shù)據(jù)，而無需先將數(shù)據(jù)發(fā)送到云端或數(shù)據(jù)中心,。
作為一款高性能和可擴(kuò)展的平臺,，EGX 能從小型的 NVIDIA Jetson Nano擴(kuò)展到所有安裝了NVIDIA GPU的服務(wù)器群，提供從0.5TOPS到 10,000 TOPS的支持,，可以為數(shù)百名用戶提供實(shí)時(shí)語音識別和其他復(fù)雜的 AI 體驗(yàn),。而據(jù)他們介紹,，包括戴爾,、浪潮,、聯(lián)想和Supermicro在內(nèi)的服務(wù)器供應(yīng)商也提供了對NVIDIA EGX AI平臺的支持,。這就讓制造、健康,、零售,、物流、農(nóng)業(yè),、電信,、公共安全和廣播媒體等大型行業(yè)從EGX AI平臺受益，也能加速他們的AI部署,。
英偉達(dá)方面表示,，公司的EGX平臺正在擴(kuò)展，以結(jié)合NVIDIA Ampere GPU和單個(gè)PCIe卡上的BlueField-2DPU功能,，為企業(yè)提供了通用的平臺去構(gòu)建安全的加速數(shù)據(jù)中心。
在GTC2020上,，英偉達(dá)還帶來了了全新的NVIDIA Maxine——一款云原生的流視頻AI平臺,。
據(jù)介紹，基于這個(gè)平臺,，服務(wù)提供商預(yù)計(jì)可以為每天舉行的超過3000萬次網(wǎng)絡(luò)會議帶來新的AI功能,，當(dāng)中包括凝視校正，超分辨率和降噪等,。由于數(shù)據(jù)是在云中而不是在本地設(shè)備上處理的,，因此終端用戶無需任何專用的硬件，就可以享受新的功能,。
“Maxine平臺將大大減少視頻通話所需的帶寬,。和傳統(tǒng)流視頻傳輸整個(gè)屏幕的像素不一樣，AI軟件會分析通話中每個(gè)人的關(guān)鍵面部點(diǎn),，然后智能地調(diào)整另一側(cè)視頻中的臉部,。這樣就可以以更小流量的方式在網(wǎng)絡(luò)上傳輸流視頻”，英偉達(dá)方面強(qiáng)調(diào),。
Maxine平臺同時(shí)集成了多個(gè)NVIDIAAI SDK和API技術(shù),。除了NVIDIAJarine，Maxine平臺還利用了NVIDIA DeepStream高通量音頻和視頻流SDK和NVIDIA TensorRTTM SDK,，以實(shí)現(xiàn)高性能的深度學(xué)習(xí)推理,。Maxine中使用的NVIDIA SDK中提供的AI音頻、視頻和自然語言功能是在NVIDIA DGX系統(tǒng)上經(jīng)過數(shù)十萬次訓(xùn)練而開發(fā)的,，這進(jìn)一步體現(xiàn)了其領(lǐng)先性,。
除此之外，英偉達(dá)還帶來了Omniverse平臺,。
據(jù)介紹,，Omniverse是世界上第一個(gè)基于NVIDIA RTX的3D模擬和協(xié)作平臺，匯集了英偉達(dá)在圖形,、仿真和AI方面的突破,，融合了物理和虛擬世界，能夠?qū)崟r(shí)模擬真實(shí)感并具有真實(shí)感細(xì)節(jié),。
使用該平臺,，遠(yuǎn)程團(tuán)隊(duì)可以同時(shí)在項(xiàng)目上進(jìn)行協(xié)作，例如架構(gòu)師反復(fù)進(jìn)行3D架構(gòu)設(shè)計(jì),，動畫師修改3D場景,，以及工程師合作進(jìn)行自動駕駛汽車開發(fā),，就像他們在網(wǎng)上共同編輯文檔一樣容易,。
據(jù)透露,，Omniverse得到了包括Adobe，Autodesk,，Bentley Systems,，Robert McNeel＆Associates和SideFX在內(nèi)的許多主要軟件領(lǐng)導(dǎo)者的支持。NVIDIA還計(jì)劃攜手其他領(lǐng)先的軟件提供者,，以便所有藝術(shù)家和設(shè)計(jì)師都能在Omniverse上選擇自己所需的應(yīng)用程序,。
得益于其GPU方面的領(lǐng)先實(shí)力，英偉達(dá)已經(jīng)在AI市場坐穩(wěn)了龍頭芯片供應(yīng)商的位置,。再加上公司在如上文談到的軟硬件的投入,。相信未來無論在數(shù)據(jù)中心領(lǐng)域，還是AIoT市場,，英偉達(dá)必然會有一席之地,。