AI的快速發(fā)展直接促進了CPU和GPU的發(fā)展,而AI應用專門的處理器是IPU,,IPU將基于自身優(yōu)勢為世界的智能化進程增添不竭動力,。
一、英偉達專注的GPU優(yōu)勢逐漸縮小
從專注圖像渲染崛起的英偉達的GPU,,走的也是相當于ASIC的技術(shù)路線,,但隨著游戲、視頻渲染以及AI加速需要的出現(xiàn),,英偉達的GPU也在向著GPGPU的方向演進,。
當硬件更多的需要與軟件生態(tài)掛鉤時,市場大多數(shù)參與者便會倒下,。在競爭清理過后,,GPU形成了如今的雙寡頭市場,并且步入相當成熟的階段,。
ASIC本身的成本,、靈活性缺失,以及應用范圍很窄的特點,,都導致它無法采用最先進制程: 即便它們具備性能和能效優(yōu)勢,,一旦無法采用最先進制程,則這一優(yōu)勢也將不再明顯,。
為保持其在GPU領(lǐng)域的寡頭地位,,使得英偉達必須一直保持先進的制程工藝,保持其通用性,,但是要犧牲一定的效能優(yōu)勢,。
相比于來自類GPU的競爭,,英偉達不應該忽視Graphcore的IPU,特別是Graphcore一直都在強調(diào)其是為AI而生,,面向的應用也是CPU,、GPU不那么擅長的AI應用。
二,、利用AI計算打側(cè)面競爭戰(zhàn)
不管CPU還是GPU都無法從根本上解決AI問題,,因為AI是一個面向計算圖的任務(wù)、與CPU的標量計算和GPU的矢量計算區(qū)別很大,。
而另一邊的IPU,,則為AI計算提供了全新的技術(shù)架構(gòu),同時將訓練和推理合二為一,,兼具處理二者工作的能力,。
作為標準的神經(jīng)網(wǎng)絡(luò)處理芯片,IPU可以支持多種神經(jīng)網(wǎng)絡(luò)模型,,因其具備數(shù)以千計到數(shù)百萬計的頂點數(shù)量,,遠遠超過GPU的頂點規(guī)模,可以進行更高潛力的并行計算工作,。
計算加上數(shù)據(jù)的突破可以讓IPU在原生稀疏計算中展現(xiàn)出領(lǐng)先IPU 10-50倍的性能優(yōu)勢,,到了數(shù)據(jù)稀疏以及動態(tài)稀疏時,IPU就有了比GPU越來越顯著的優(yōu)勢,。
此外,,如果是在IPU更擅長的分組卷積內(nèi)核中,組維度越少,,IPU的性能優(yōu)勢越明顯,,總體而言,有4-100倍的吞吐量提升,。
在5G網(wǎng)絡(luò)切片和資源管理中需要用到的強化學習,,用IPU訓練吞吐量也能夠提升最多13倍。
三,、兩種芯片勢能英偉達與Graphcore的較量
Graphcore成立于2016年,是一家專注于機器智能,、同時也代表著全新計算負載的芯片制造公司,,其包括IPU在內(nèi)的產(chǎn)品研發(fā)擅長大規(guī)模并行計算、稀疏的數(shù)據(jù)結(jié)構(gòu),、低精度計算,、數(shù)據(jù)參數(shù)復用以及靜態(tài)圖結(jié)構(gòu)。
英偉達的潛在競爭對手Graphcore的第二代IPU在多個主流模型上的表現(xiàn)優(yōu)于A100 GPU,,兩者將在超大規(guī)模數(shù)據(jù)中心正面競爭,。
未來,,IPU可能在一些新興的AI應用中展現(xiàn)出更大的優(yōu)勢。
第二代IPU相比第一代IPU有兩倍峰值算力的提升,,在典型的CV還有NLP的模型中,,第二代IPU相比第一代IPU則展現(xiàn)出了平均8倍的性能提升。
如果對比英偉達基于8個最新A100 GPU的DGX-A100,,Graphcore 8個M2000組成的系統(tǒng)的FP32算力是DGX-A100的12倍,,AI計算是3倍,AI存儲是10倍,。
四,、AI計算未來有三種計算平臺
第一種平臺是CPU,它還會持續(xù)存在,,因為一些業(yè)務(wù)在CPU上的表現(xiàn)依然不錯;
第二種平臺是GPU,,它還會持續(xù)發(fā)展,會有適合GPU的應用場景,。
第三種平臺是就是Graphcore的IPU,。
IPU旨在幫助創(chuàng)新者在AI應用上實現(xiàn)新的突破,幫助用戶應對當前在CPU,、GPU上表現(xiàn)不太好的任務(wù)或者阻礙大家創(chuàng)新的場景,。”盧濤副總指出,。
目前GPU在全球已是大規(guī)模的商用部署,,其次是Google的TPU通過內(nèi)部應用及TensorFlow的生態(tài)占第二大規(guī)模,IPU處于第三,,是量產(chǎn)的,、部署的平臺。
與此同時,,Graphcore也在中國積極組建其創(chuàng)新社區(qū),。Graphcore已在微信、知乎,、微博和GitHub開通了官方頻道,,旨在與開發(fā)者、創(chuàng)新者,、研究者更好地交流和互動,。
關(guān)于未來的AI計算領(lǐng)域,未來會是 “CPU,、GPU,、IPU并行” 的時代,GPU或部分CPU專注于業(yè)務(wù)場景的實現(xiàn)和落地,,而IPU專為AI創(chuàng)新者帶來更多突破,。
五,、構(gòu)建生態(tài)鏈條IPU仍在路上
IPU想要在AI計算中擁有挑戰(zhàn)GPU地位的資格,除了在性能和價格上面證明自己的優(yōu)勢之外,,還需要在為機器學習框架提供的軟件棧上提供更多選擇,,獲得主流AI算法廠商的支持。
在標準生態(tài),、操作系統(tǒng)上也需要有廣泛的支持,,對于開發(fā)者有更方便的開發(fā)工具和社區(qū)內(nèi)容的支持,才能從實際應用中壯大IPU的開發(fā)生態(tài),。
一個AI芯片從產(chǎn)出到大規(guī)模應用必須要經(jīng)過一系列的中間環(huán)節(jié),,包括像上面提到的支持主流算法框架的軟件庫、工具鏈,、用戶生態(tài)等等,,打通這樣一條鏈條都會面臨一個巨大挑戰(zhàn)。
目前申請使用Graphcore IPU開發(fā)者云的主要是商業(yè)用戶和高校,,個人研究者比較少,。IPU開發(fā)者云支持當前一些最先進和最復雜的AI算法模型的訓練和推理。
和本世紀初的GPU市場一樣,,在AI芯片市場步入弱編程階段,,如今百家爭鳴的局面預計也將很快結(jié)束,市場在一輪廝殺后會剩下為數(shù)不多的參與者做最終對決,。
現(xiàn)在要看的是在發(fā)展初期的逐一擊破階段,,Graphcore是否真有定義并主控第三類芯片的魄力了。
不過從創(chuàng)新的架構(gòu)到芯片再到成為革命性的產(chǎn)品,,Graphcore從芯片到落地之間的距離,,需要易用的軟件和豐富的工具來支持,特別是對軟件生態(tài)依賴程度比較到的云端芯片市場,。
IPU不是GPU,,既是挑戰(zhàn)也是機會。IPU不是GPU的替代品或者類似品,,所以不能拿GPU的邏輯來套用IPU的邏輯,。
近兩年,基于AI 芯片研發(fā)的各種產(chǎn)品的井噴,,預計未來IPU在各類AI應用中將具有更大的優(yōu)勢,。