“我們希望構(gòu)建一個先進的計算平臺，幫助創(chuàng)新者實現(xiàn)下一個突破,。我們做的就是面向未來的事情,。”

——Graphcore高級副總裁兼中國區(qū)總經(jīng)理 盧濤

第一次知道Graphcore的中文譯名時其實很驚訝,。

“擬未”,，既不是直譯，也不是音譯,。

第二次再見盧總的時候,，謎題揭曉。

“很多人覺得我們的名字特別詩意,，”盧總笑道,，“‘擬未’，其實就是共同定義并建立未來的意思,。我們希望構(gòu)建一個先進的計算平臺,，幫助創(chuàng)新者實現(xiàn)下一個突破。我們做的就是面向未來的事情,?！?/p>

2021年5月21日，第五屆世界智能大會第三屆工業(yè)互聯(lián)網(wǎng)之智能網(wǎng)聯(lián)汽車產(chǎn)城人文協(xié)同發(fā)展高峰論壇在天津舉辦,。會后,，盧濤接受了記者的采訪，分享了他對于AI行業(yè)的深刻洞見以及Graphcore在中國市場開拓上的規(guī)劃,。

Graphcore高級副總裁兼中國區(qū)總經(jīng)理 盧濤

Graphcore整體發(fā)展策略：仰望星空,，腳踏實地，以點帶面

盧濤在參會后表示,，在“智能網(wǎng)聯(lián)汽車”中,，Graphcore還是比較關(guān)注和計算相關(guān)的“智能”。在汽車領(lǐng)域,，公司已經(jīng)在一些項目上取得進展,。

由于AI的應(yīng)用行業(yè)化、場景化程度很高,，即便行業(yè)間的一部分軟件和算法是共通的,，但個性化的情況會更多，因此Graphcore在策略上十分注重頭部的應(yīng)用,?！耙话阄覀儠谀骋粋€垂直領(lǐng)域找一兩家頭部合作企業(yè),，先把相關(guān)能力、行業(yè)的Know-How（技術(shù)經(jīng)驗）建立起來,，然后再‘以點帶面’地往前突破,。不僅在汽車領(lǐng)域，在智能零售,、智慧城市等方面,，我們也都是類似的策略，這是我們整體的做法,，”盧濤如是說,，“我一直講‘我們仰望星空，但是腳踏實地’,。我們腳踏實地就是要找頭部的合作伙伴,，做了典型案例落地之后，我們再‘以點帶面’地鋪開,?！?/p>

數(shù)據(jù)中心，Graphcore的全速前進方向

“今天,，很多智能其實是在云端發(fā)生的,，”盧濤講到，“在全球范圍之內(nèi),，數(shù)據(jù)中心,、互聯(lián)網(wǎng)、AI,，都屬于‘走得最快’的產(chǎn)業(yè)之列,。很多人講‘AI產(chǎn)業(yè)化’、‘產(chǎn)業(yè)AI化’,?！瓵I產(chǎn)業(yè)化’就是把AI變成一個產(chǎn)業(yè)。這一點互聯(lián)網(wǎng)已經(jīng)實現(xiàn)了,，互聯(lián)網(wǎng)數(shù)據(jù)通過AI,、算法已經(jīng)轉(zhuǎn)換成各種各樣的商業(yè)方式了,?！a(chǎn)業(yè)AI化’就是用AI技術(shù)‘武裝’各種各樣的產(chǎn)業(yè)，數(shù)據(jù)中心和互聯(lián)網(wǎng)就是其中非常重要的一環(huán),，原因有兩個：第一,，它是整個AI落地的前沿陣地；第二,，各種各樣的行業(yè)能力要依靠數(shù)據(jù)中心的能力來支撐,。所以基于當前這樣的一個背景,，整體上我們在數(shù)據(jù)中心上的步伐會走得更快?！?/p>

對標英偉達DGX Station,，Graphcore有IPU-M2000

在4月份舉辦的GTC 2021技術(shù)大會上，英偉達宣布將升級DGX Station和DGX SuperPod,。當談及Graphcore與之相對的發(fā)展規(guī)劃時,，盧濤表示：“英偉達的產(chǎn)品系列非常多，不僅僅有DGX Station,、DGX A100,、還有一些針對邊緣應(yīng)用的。首先,，我們必須要承認別人的產(chǎn)品系列跟型號可能會更多一些,。我們在目前其實是沒有在規(guī)劃Station這種形式的產(chǎn)品的。我們今天在展區(qū)（第五屆世界智能大會展區(qū)）展出了IPU-M2000組成的IPU-POD4,、IPU-POD16和IPU-POD64,。我們的產(chǎn)品還在繼續(xù)迭代，可能有一些產(chǎn)品形態(tài)會跟DGX Station長得不一樣,，但是可能能夠起到類似的作用,。DGX Station跟DGX A100很大的一個區(qū)別，就是DGX A100在6U的機器里面有8個A100,，功耗,、成本都非常高，而DGX Station是一個規(guī)模更小的產(chǎn)品形態(tài),，不管是功耗,、成本，還是體積,，都會更小一點,，能夠比較方便地在一些入門級的場景中使用。從某種意義上,，目前我們單個的IPU-M2000可以做到類似的事情,，因為我們的粒度本來就很細。我們還在進一步地思索我們未來的產(chǎn)品形態(tài),，但是目前來講,，入門級產(chǎn)品方面，一個IPU-M2000就可以起到類似的作用,，成本,、功耗比較低，也能進行一些需要比較大規(guī)模的平臺來處理的計算,?！?/p>

IPU跟GPU,，到底有啥區(qū)別？

GPU本身的優(yōu)勢是較高的并行處理任務(wù)的效率,，但是碰到一些強化學(xué)習(xí)或者是RNN這些模型的時候優(yōu)勢就不會那么明顯,。那么與之相比，“為AI而生”的IPU具體優(yōu)勢體現(xiàn)在哪些地方呢,？盧濤指出了如下幾點：

“從芯片到芯片級別,，IPU跟GPU有兩個最大的差異化的特點。第一個是我們比GPU更擅長做并行處理,。我們有一千多個處理器內(nèi)核,。第二個，我們的內(nèi)存架構(gòu)非常不一樣,。GPU是層次化的內(nèi)存結(jié)構(gòu),，片內(nèi)有一個大概二三十兆的片內(nèi)緩存，片外是高速的顯存,。我們?nèi)吭谄瑑?nèi),。我們一顆芯片有900兆的處理器內(nèi)存儲。如果是要擴展成集群,，還有一些不同的地方,，比如我們的IPU-Link能夠很方便地做芯片與芯片之間的協(xié)同?！?/p>

此外,，和GPU比起來，IPU在LSTM和RNN方面也有巨大的優(yōu)勢,?！皬娀瘜W(xué)習(xí)底層的算法邏輯用的是LSTM的cell。RNN就是循環(huán)神經(jīng)網(wǎng)絡(luò),。LSTM就是長短期記憶網(wǎng)絡(luò),。計算機的記憶存在內(nèi)存里面，需要用的時候讀一下,，它就記得了,。它要不停地訪問存儲。這些算法相對來說并行度沒有別的一些算法那么高,。那么內(nèi)存這一塊就非常重要了,。”盧濤補充道,。

另外,，在計算的顆粒度較細，以及對時延要求較為嚴格的場景中,，IPU都會存在優(yōu)勢,。“我們既能做訓(xùn)練,，也能做推理,。其中在幾類計算上我們會比較有優(yōu)勢，”盧濤說道,，“一類是計算的顆粒度比較細的時候,，我們的優(yōu)勢很大。AI中,，很多底層是要算一個矩陣的乘法,。矩陣有大矩陣和小矩陣。本來是一個很大的矩陣,，我把它拆成一堆小矩陣,，就是顆粒度細了。現(xiàn)在有很多算法,，像谷歌的科學(xué)家做的EfficientNet,，其中很重要的一點，就是把很大的矩陣拆成很多很小的矩陣,，這樣就降低了算法模型的參數(shù)規(guī)模,，并且提高了算法的精度。這種算法上我們的表現(xiàn)很好,。還有一類是推理中有一些場景對時延要求很嚴格,。我們的時延很低，與此同時我們整個的吞吐量也非常高,。在大量的實際案例中,，我們可以看到，我們在這方面具有數(shù)量級的優(yōu)勢,?！北R濤最后說道。

CPU,、GPU,、IPU，人工智能時代的三足鼎立

“我們認為CPU和GPU是會長期存在的,，因為它們各自都有自己的應(yīng)用領(lǐng)域和自己很擅長的方向,，” 當談及人工智能時代IPU與CPU、GPU的競爭關(guān)系時,，盧濤表示,，“我們希望CPU、GPU,、IPU并存,。IPU跟它們比起來也有自己的領(lǐng)域,。”

據(jù)介紹,，Graphcore的第一代產(chǎn)品大概比英偉達V100晚了18個月發(fā)布,。但是第二代產(chǎn)品在時間上已基本追平（英偉達5月份發(fā)布，11月份量產(chǎn),；Graphcore 7月份發(fā)布,，12月份量產(chǎn)）。所以從某種意義上來說,，Graphcore的產(chǎn)品迭代比英偉達還要快,。“這是一個很關(guān)鍵的點,。半導(dǎo)體在過去幾十年很重要的一個產(chǎn)品邏輯和商業(yè)邏輯,，就是要保持一個很穩(wěn)定的迭代速度。我們目前在很積極地研發(fā)我們后面的一些產(chǎn)品,。我們覺得從節(jié)奏上我們未必會比他們慢,。未來我們也是希望能保持一個比較穩(wěn)定的迭代周期來往前推進?；旧衔覀冏詈笠彩菚瘛淮慨a(chǎn),、一代研發(fā)、一代架構(gòu)’這樣的一個過程,?！北R濤繼續(xù)講到。

“開放,、開源,，然后擁抱社區(qū)”，Graphcore的軟件之路

“軟件是今天GPU最大的護城河,，也是用戶從GPU遷到別的平臺上的最大阻力,。我們最近也在做一些工作，希望能夠盡量降低用戶在移植工作上的工作量,?！闭劶败浖R濤說到,。

Graphcore是一家硬件公司,，同時也是一家軟件公司。據(jù)介紹,，目前公司的軟件工程師比芯片工程師要多很多,，以后數(shù)值差可能還會拉大。“軟件的組件非常多,，以GPU為例,，從CUDA，到TensorFlow,、PyTorch等不同的機器學(xué)習(xí)框架軟件,，到類似于Keras的更高層框架,，再到類似ResNet,、BERT用戶的算法、模型等等,，最后再到圖像的前處理,、后處理等。整個軟件棧確實是非常大的,。如果一個做AI處理器的公司沒有意識到軟件的重要性,，將會是一個很嚴重的問題?！北R濤告訴記者,，“當前，軟件方面,，從棧的角度來看,，我們在層次化的角度上跟英偉達還是比較類似的：比如對應(yīng)CUDA，我們有Poplar,；再上面是cuDNN,、cuBLAS，我們上面是PopLibs,；再往上面是TensorFlow,、PyTorch等等。在這一層,，我們正在做對于PaddlePaddle的支持,。再往上就是應(yīng)用?！?/p>

在Graphcore看來,，軟件的成功并不是靠單家公司的一己之力來實現(xiàn)的。Graphcore會秉承“開放,、開源,，然后擁抱社區(qū)”的整體策略，在整個應(yīng)用的生態(tài)里面盡己所能,，與合作伙伴共同打造良好的軟件生態(tài)系統(tǒng),。

提及生態(tài)，盧濤也表示，Graphcore目前的發(fā)展瓶頸就在于生態(tài),?！敖⑸鷳B(tài)是一個需要長期投入和努力的事情，我們現(xiàn)在還是一個比較新的公司,，建立生態(tài)不是一蹴而就的,，我們正在不停地加大投資、投入來做,?！?/p>

壯大中的Graphcore中國團隊

生態(tài)的建立同時需要人力的投入。

作為Graphcore在中國的零號員工,，盧濤正在帶領(lǐng)本地團隊快速壯大,。目前，Graphcore中國團隊共有40人左右,，市場,、銷售等只占很小一部分，其余的主要都是工程師,，當中又有很多人是軟件工程師,。

“Graphcore在全球的研發(fā)中心主要集中在英國，包括布里斯托,、倫敦,、劍橋，另外,，在挪威奧斯陸以及美國的帕拉奧托也有我們的軟件團隊,，中國的軟件團隊目前有20多個人?！?/p>

盧濤告訴記者,，Graphcore中國軟件團隊的表現(xiàn)無論從業(yè)務(wù)水平還是執(zhí)行力上來講，都收獲了大家的認可,。因此,，在未來12-18個月，Graphcore要在中國打造出一支超過200人的軟件團隊,，做機器學(xué)習(xí)框架相應(yīng)的一些算法等,。

“我覺得我們中國的軟件團隊在全球的軟件團隊里的份額應(yīng)該會越來越大。雖然當時團隊很小,，很長時間一段時間都是十幾個人,，但是做的一些成果我覺得大家都比較認可。我們做了一些比較關(guān)鍵性的交付,，比如我們TensorFlow上的BERT方面的工作,，其實是中國團隊做的,。”盧濤談到,。

在中國建立研發(fā)中心也需要進行本地化工作,。盧濤提及，Graphcore屬于PaddlePaddle于去年發(fā)起的“百度飛槳硬件生態(tài)圈”的初始成員之一,，因此Graphcore正在做對于PaddlePaddle的支持,。另外，Graphcore也正與阿里云合作HALO,、與微軟亞洲研究院合作NNFusion,。與此同時，Graphcore與國內(nèi)做框架,、做集成的機構(gòu)也都在探索合作的過程中,。