最近英特爾發(fā)布了一款I(lǐng)PU,這可以說是對英偉達(dá)DPU的一個回應(yīng)。因為從英特爾對IPU介紹的字面意思來看,,“釋放CPU開銷”,、“可編程”、“智能網(wǎng)卡”這幾個特性與當(dāng)下火熱的DPU的作用如出一轍,。在Nvidia以及Marvell,、Broadcom和 VMware等其他制造商中,,智能網(wǎng)卡被稱為數(shù)據(jù)處理單元 (DPU),,并且已經(jīng)出現(xiàn)了好幾代,,如 Nvidia的BlueField。其實不止國外,,國內(nèi)DPU的創(chuàng)新市場也不斷有玩家涌現(xiàn),,諸如芯啟源、中科馭數(shù),、星云智聯(lián)等本土DPU企業(yè)也正在排兵布陣,。不過隨著英特爾的加入,這個新戰(zhàn)場將更加熱鬧無比,。
DPU走上歷史舞臺
去年10月,,由于Nvidia 將基于Mellanox的SmartNIC卡命名為“DPU”,DPU這一概念一炮而紅,。其實DPU這個概念是Fungible最先提的,然后被NVIDIA發(fā)揚光大,。不到一年時間,,DPU成為業(yè)界追逐的話題、資本界青睞的細(xì)分賽道,、廠商們競相研發(fā)的技術(shù),。
為何DPU這么受追捧,或者說我們?yōu)槭裁葱枰狣PU呢,?
現(xiàn)在除了主內(nèi)存和輔助內(nèi)存之外的所有計算都是在CPU上完成的,,面對超大規(guī)模數(shù)據(jù)處理的需求,CPU的算力已經(jīng)達(dá)到瓶頸,,所以就需要硬件加速,。但數(shù)據(jù)中心服務(wù)器上運行有這么多性能的敏感任務(wù),又不可能為每一個任務(wù)分配一張加速卡,。所以就需要一個通用的加速平臺來整合這些加速任務(wù),。
DPU正是這樣一個存在,它被定位為完成性能敏感的并且通用的工作任務(wù)加速處理,。由DPU完成基礎(chǔ)的工作任務(wù),,構(gòu)建強(qiáng)大的基礎(chǔ)設(shè)施層,上層的CPU和GPU來完成其他更有價值的工作,。
那么,,究竟什么是DPU?相比CPU和GPU,,DPU究竟為何與眾不同,?
DPU 是一種新型的可編程處理器,,DPU 是一種片上系統(tǒng)或 SoC,它結(jié)合了3個關(guān)鍵因素:(1)行業(yè)標(biāo)準(zhǔn),、高性能,、軟件可編程的多核 CPU,通?;趶V泛使用的 Arm 架構(gòu),,與其他SoC組件緊密耦合。(2)一種高性能網(wǎng)絡(luò)接口,,能夠以線速或網(wǎng)絡(luò)其余部分的速度解析,、處理和有效地將數(shù)據(jù)傳輸?shù)?GPU 和 CPU。(3)一組豐富的靈活可編程加速引擎,,可為 AI 和機(jī)器學(xué)習(xí),、安全、電信和存儲等卸載并提高應(yīng)用程序性能,。
DPU最核心的任務(wù)是IO數(shù)據(jù)的預(yù)處理和后處理,,如網(wǎng)絡(luò)類任務(wù)(虛擬網(wǎng)絡(luò)、IPSec等),、存儲類任務(wù)(分布式存儲,、數(shù)據(jù)加解密、數(shù)據(jù)壓縮,、數(shù)據(jù)冗余算法等),、虛擬化加速(虛擬化整體Offload,業(yè)務(wù)管理分離),、安全和認(rèn)證類的任務(wù)(Root of Trust 等),。或者,,從云計算業(yè)務(wù)的角度看,,我們可以看做是,DPU是把整個IaaS的服務(wù)完整的Offload到硬件來做加速,。
如此看來,,關(guān)于DPU的應(yīng)用上,一線的云運營商對DPU的需求會更強(qiáng)烈,。因為,,數(shù)據(jù)中心規(guī)模足夠大的緣故,任何一個任務(wù)的Offload到硬件都意味著非常顯著的成本降低,,這些都是最直接的利潤,。隨著整個軟硬件技術(shù)棧的演進(jìn),DPU的采用會逐步擴(kuò)展到所有的云運營商,以及其他各類數(shù)據(jù)中心,。
看到了DPU如此重要且具有意義的作用,,目前在國際上參與DPU研發(fā)設(shè)計的廠商既有Intel、Broadcom,、Marvall,、Nvidia等巨頭,也有Fungible,、Pensando等初創(chuàng)公司,。各家的打法也不太相同,關(guān)于此,,在《巨頭們紛紛涌入,,DPU有何魔力?》一文中有作一些介紹,。不過兩個在數(shù)據(jù)中心領(lǐng)域一直虎狼之斗的兩大巨頭英特爾和英偉達(dá),,還是很有看點的,他們是如何應(yīng)對當(dāng)下以及未來復(fù)雜數(shù)據(jù)處理問題的,?
英偉達(dá)的DPU產(chǎn)品先行
英特爾的IPU理念超前
如今,,數(shù)據(jù)中心已經(jīng)成為英特爾、英偉達(dá),、AMD這些老牌芯片巨頭未來爭奪的主戰(zhàn)場,,而且英偉達(dá)收購Arm的意圖,也是想能進(jìn)一步占據(jù)數(shù)據(jù)中心服務(wù)器市場,,其DPU就是集成了Arm的核,這可以說是取代英特爾的X86 CPU的一個切入點,。
在DPU領(lǐng)域,,英偉達(dá)可以說是先行者,且這幾年其BlueField系列產(chǎn)品迭代速率也很快,。英偉達(dá)在DPU上的技術(shù)突破,,來自于收購以色列芯片制造公司Mellanox之后,英偉達(dá)在這家公司的硬件基礎(chǔ)上開發(fā)出BlueField系列的兩款DPU——英偉達(dá)BlueField-2 DPU與BlueField-2X DPU,。Nvidia于今年春季發(fā)布的BlueField-3 DPU承諾可卸載多達(dá) 300 個 CPU 內(nèi)核的 I/O 任務(wù),。目前其技術(shù)路線圖已經(jīng)到了BlueField-4。
此外,,英偉達(dá)還推出了DOCA的軟件開發(fā)套件,,這是一種集數(shù)據(jù)中心功能于芯片的架構(gòu),可助力開發(fā)者輕松地對 BlueField DPU 進(jìn)行編程,。DOCA是為DPU量身定做的軟件框架,,目的在于支持廣大開發(fā)者在 BlueField DPU上進(jìn)行軟件開發(fā),DOCA與DPU之間就如 CUDA與GPU的關(guān)系。向上,,DOCA 可以給程序員提供簡單的開發(fā)接口,,同時向下平滑兼容與支持每一代 BlueField DPU 的產(chǎn)品。據(jù)英偉達(dá)稱,,DOCA能實現(xiàn)從單芯片級數(shù)據(jù)中心到3U(CPU,、GPU、DPU)一體超大規(guī)模數(shù)據(jù)中心統(tǒng)一架構(gòu),。
而就在6月15日的Six Five峰會上,,英特爾推出了全新的基礎(chǔ)設(shè)施處理器(IPU)。首先要明確的是,,英特爾的IPU不應(yīng)與英特爾自己的成像處理單元 (IPU) 或英特爾平臺更新 (IPU) ,,還有來自Mellanox(現(xiàn)在是NVIDIA)的IPU和Graphcore IPU所混淆,他們所定義的IPU意思都不一樣,。
其實細(xì)細(xì)看來,,英特爾的IPU不是什么新鮮事物,跟當(dāng)下主流的DPU作用類似,。據(jù)英特爾官方的說法,,IPU是一種可編程網(wǎng)絡(luò)設(shè)備,旨在使云和通信服務(wù)提供商減少在中央處理器(CPU)方面的開銷,,并充分釋放性能價值,。利用IPU,客戶能夠部署安全穩(wěn)定且可編程的解決方案,,從而更好地利用資源,,平衡數(shù)據(jù)處理與存儲的工作負(fù)載。它擴(kuò)展了英特爾的智能網(wǎng)卡功能,,旨在應(yīng)對當(dāng)下復(fù)雜的數(shù)據(jù)中心,,并提升效率。
英特爾的IPU能干啥呢,?其IPU可以通過專用協(xié)議加速器來加速基礎(chǔ)設(shè)施功能,,包括存儲虛擬化、網(wǎng)絡(luò)虛擬化和安全,;通過把軟件中的存儲和網(wǎng)絡(luò)虛擬化功能從CPU轉(zhuǎn)移到IPU,,從而釋放CPU核心。還能允許靈活的工作負(fù)載分配,,提高數(shù)據(jù)中心利用率,。
用于數(shù)據(jù)中心的英特爾 IPU(圖片:英特爾)
據(jù)英特爾稱,目前英特爾已經(jīng)使用 FPGA 部署了 IPU,,微軟,、百度,、京東云和 VMWare是買家。通過特定功能,,IPU可對數(shù)據(jù)中心中基于微服務(wù)架構(gòu)的現(xiàn)代應(yīng)用程序進(jìn)行加速,。谷歌和Facebook的研究表明,微服務(wù)通信開銷可消耗22%到80%的CPU性能,。
據(jù)了解,,英特爾將推出更多基于FPGA的IPU平臺和專用 ASIC,不過這些最終會是什么樣子以及它們將實現(xiàn)什么都尚未說明,。無論 IPU 最終變成什么樣,,這都是朝著分解邁出的明確一步,也是未來形成組件化“至強(qiáng)平臺”的巨大飛躍,。
那么如何看待兩家的發(fā)展的思路呢,?關(guān)于這點,筆者有幸采訪到了軟硬件融合技術(shù)理念倡導(dǎo)者,、(前)Ucloud芯片及硬件研發(fā)負(fù)責(zé)人黃朝波,,對于英特爾此次推出的IPU,黃朝波認(rèn)為其理念超前,,但實際的產(chǎn)品,,現(xiàn)在還是FPGA,要看后面芯片的版本會怎么樣,。
而在其《軟硬件融合》一書中對于超大規(guī)模云計算架構(gòu)的創(chuàng)新上已有很深的見解,,在他看來,在數(shù)據(jù)中心軟硬件結(jié)合的發(fā)展全貌是:
第一階段:智能網(wǎng)卡(SmartNIC),。管理側(cè)網(wǎng)絡(luò)后臺任務(wù)是最先遇到資源消耗挑戰(zhàn)問題的,,典型的如Os,在25bit/s下占用的CPU資源已經(jīng)非常顯著,。智能網(wǎng)卡就是為卸載網(wǎng)絡(luò)相關(guān)工作任務(wù)而設(shè)計的,。
第二階段:數(shù)據(jù)處理器(DPU)。從本質(zhì)上來說,,在智能網(wǎng)卡的基礎(chǔ)上行,不僅僅是網(wǎng)絡(luò),,而是整個I/O相關(guān)的工作任務(wù)處理都會面臨資源消耗的挑戰(zhàn)問題,,因此DPU在網(wǎng)絡(luò)卸載的基礎(chǔ)上,加入了存儲卸載及虛擬化卸載的解決方案,。
更進(jìn)一步的:基礎(chǔ)設(shè)施處理器(Infrastructure Process Unit,,IPU)。從云計算公司的角度來看,,基礎(chǔ)設(shè)施處理器平臺不僅承載網(wǎng)絡(luò),、存儲及虛擬化的卸載,,還需要承擔(dān)安全、管理,、監(jiān)控等各種管理面的功能,,更為關(guān)鍵的是物理隔離業(yè)務(wù)和管理:業(yè)務(wù)在CPU和GPU,管理在DPU(或者更準(zhǔn)確地稱為IPU),。
更貼合用戶需求的:彈性的基礎(chǔ)設(shè)施處理器(elastic IPU,,eIPU)。隨著業(yè)務(wù)規(guī)模的進(jìn)一步擴(kuò)大,,云計算公司對底層芯片提出了新的需求,。在傳統(tǒng)芯片需求的基礎(chǔ)上,新的需求體現(xiàn)在:差異化的產(chǎn)品開發(fā),、高效的業(yè)務(wù)卸載及快速迭代,。對功能擴(kuò)展而言,傳統(tǒng)的解決方案都是基于集成或獨立CPU實現(xiàn)的軟件功能擴(kuò)展,。在云計算場景中,,需要更加極致的性能,基于CPU的軟件方案已經(jīng)無法滿足要求,,這就需要通過硬件方式(eIPU方案)來實現(xiàn)高性能的功能擴(kuò)展,,提供性能強(qiáng)大、開發(fā)低門檻的硬件功能彈性,。
國內(nèi)DPU玩家入局
在DPU這個創(chuàng)新的市場上,,國內(nèi)這幾年不乏有玩家提早布局,而且現(xiàn)在資本市場也非常青睞DPU這個細(xì)分賽道,,據(jù)投中網(wǎng)的報道,,現(xiàn)在頭部的DPU項目已經(jīng)呈現(xiàn)出了熱火烹油的機(jī)構(gòu)爭搶態(tài)勢。國內(nèi)的DPU初創(chuàng)企業(yè)正迎來發(fā)展的大好時機(jī),。
中科馭數(shù)算是國內(nèi)布局較早的一家DPU企業(yè),,其創(chuàng)始團(tuán)隊來自于中科院計算所體系結(jié)構(gòu)國家重點實驗室。而且其DPU基于自主研發(fā)的KPU架構(gòu),,KPU(Kernel Processing Unit)架構(gòu)是中科馭數(shù)基于軟件定義加速器技術(shù)路線自主研發(fā)的芯片架構(gòu),。以KPU架構(gòu)為核心,2019年其設(shè)計了業(yè)界首顆數(shù)據(jù)庫與時序數(shù)據(jù)處理融合加速芯片,,已經(jīng)成功流片,。今年初,中科馭數(shù)宣布了其下一顆DPU芯片研發(fā)計劃,,功能層面包括完善的L2/ L3/L4層的網(wǎng)絡(luò)協(xié)議處理,,可處理高達(dá)200G網(wǎng)絡(luò)帶寬數(shù)據(jù)。該顆芯片預(yù)計將于2021年底流片,。
截至目前,,中科馭數(shù)已經(jīng)布局126項發(fā)明專利,,其中47項已獲得授權(quán),馭數(shù)圍繞KPU(Kernel Processing Unit)芯片架構(gòu),、基礎(chǔ)軟件和計算系統(tǒng),,建立了較完善的知識產(chǎn)權(quán)體系。
在應(yīng)用領(lǐng)域方面,,中科馭數(shù)從金融行業(yè)入手,,除了深耕金融領(lǐng)域,2021年中科馭數(shù)產(chǎn)品的商業(yè)應(yīng)用還將逐步拓展到混合云,、數(shù)據(jù)中心,、電信通信等領(lǐng)域。前段時間剛與中移物聯(lián)網(wǎng)達(dá)成戰(zhàn)略合作,,雙方將在邊緣端網(wǎng)絡(luò)處理,、異構(gòu)算力基礎(chǔ)設(shè)施領(lǐng)域建立合作。
6月11日消息,,DPU芯片企業(yè)“芯啟源”宣布完成數(shù)億元Pre-A3輪融資,,本輪融資由SIG海納亞洲、浦東科創(chuàng),、晶晨半導(dǎo)體,、熠美投資(市北高新大數(shù)據(jù)基金)等聯(lián)合投資,既有股東軟銀中國在本輪繼續(xù)追加投資,。本輪融資將用于吸引研發(fā)人才與管理人才加入團(tuán)隊,,并啟動DPU芯片下一階段技術(shù)研發(fā)和市場拓展。
芯啟源成立于2015年,,芯啟源是一家針對超大規(guī)模電信和企業(yè)級的智能網(wǎng)絡(luò)提供核心芯片和系統(tǒng)的高科技公司,,擁有兩大板塊核心產(chǎn)品。據(jù)其官微介紹,,芯啟源智能網(wǎng)卡是目前國內(nèi)唯一的基于SoC架構(gòu)的成熟DPU(Data Processing Unit,,數(shù)據(jù)處理單元)完整解決方案,并擁有自主知識產(chǎn)權(quán),,已成熟量產(chǎn),,可提供從芯片、板卡,、驅(qū)動軟件和全套云網(wǎng)解決方案產(chǎn)品,,已獲得了中國移動蘇研院的首批智能網(wǎng)卡訂單。
據(jù)企查查顯示,,另外一家DPU芯片企業(yè)星云智聯(lián)成立于2021年3月22日,,該公司專注于數(shù)據(jù)中心基礎(chǔ)互聯(lián)通信架構(gòu)和DPU芯片研發(fā),。今年4月份,,珠海星云智聯(lián)宣布完成數(shù)億元天使輪融資,,由高瓴創(chuàng)投(GL Ventures)領(lǐng)投,鼎暉VGC(鼎暉創(chuàng)新與成長基金),、華登國際中國基金參與跟投,。
據(jù)介紹,其正在研發(fā)的DPU將在 IAAS和PAAS之間形成獨立的CAAS(通信服務(wù)層),,實現(xiàn)物理資源的“多虛一”和近乎裸金屬性能的“一虛多”,,簡化IAAS,提升資源利用率,;卸載PAAS中與通信數(shù)據(jù)流相關(guān)的處理,,提升應(yīng)用的通信效率和性能。從而實現(xiàn)數(shù)據(jù)中心架構(gòu)的跨越式發(fā)展,,有力支撐云計算,、HPC、AI等業(yè)務(wù)的指數(shù)級增長,,形成一個超300億美元的新市場,。
就目前形勢來看,不論各家公司如何發(fā)揮各自專長去設(shè)計DPU芯片,,都將推動整體行業(yè)的向前發(fā)展,。
結(jié)語
據(jù)IDC統(tǒng)計,近10年來全球算力增長明顯滯后于數(shù)據(jù)增長,。全球算力的需求每3.5個月就會翻一倍,,遠(yuǎn)遠(yuǎn)超過了當(dāng)前算力的增長速度。而算力源于芯片,,業(yè)內(nèi)人士預(yù)測,,DPU將成為繼CPU和GPU之后重要的算力芯片。
以數(shù)據(jù)為中心的計算架構(gòu)成為了趨勢,,網(wǎng)絡(luò)計算和DPU成為以數(shù)據(jù)為中心計算架構(gòu)的核心,。黃朝波認(rèn)為:“未來所有的服務(wù)器都會配備1-2塊DPU/IPU卡”。DPU作為算力新型基礎(chǔ)設(shè)施中的新物種,,將在數(shù)據(jù)傳輸,、存儲、運算等方面扮演越來越重要的角色,,算力時代DPU可以讓不可能成為可能,。