Graphcore高級(jí)副總裁盧濤:構(gòu)建先進(jìn)計(jì)算平臺(tái),,幫助創(chuàng)新者實(shí)現(xiàn)下一突破
2021-06-16
作者:韋肖葳
來(lái)源:電子技術(shù)應(yīng)用
“我們希望構(gòu)建一個(gè)先進(jìn)的計(jì)算平臺(tái),,幫助創(chuàng)新者實(shí)現(xiàn)下一個(gè)突破,。我們做的就是面向未來(lái)的事情?!?br/>
——Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理 盧濤
第一次知道Graphcore的中文譯名時(shí)其實(shí)很驚訝,。
“擬未”,既不是直譯,,也不是音譯,。
第二次再見(jiàn)盧總的時(shí)候,,謎題揭曉,。
“很多人覺(jué)得我們的名字特別詩(shī)意,”盧總笑道,,“‘?dāng)M未’,,其實(shí)就是共同定義并建立未來(lái)的意思。我們希望構(gòu)建一個(gè)先進(jìn)的計(jì)算平臺(tái),,幫助創(chuàng)新者實(shí)現(xiàn)下一個(gè)突破,。我們做的就是面向未來(lái)的事情?!?/p>
2021年5月21日,,第五屆世界智能大會(huì)第三屆工業(yè)互聯(lián)網(wǎng)之智能網(wǎng)聯(lián)汽車(chē)產(chǎn)城人文協(xié)同發(fā)展高峰論壇在天津舉辦。會(huì)后,,盧濤接受了記者的采訪,,分享了他對(duì)于AI行業(yè)的深刻洞見(jiàn)以及Graphcore在中國(guó)市場(chǎng)開(kāi)拓上的規(guī)劃。
Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理 盧濤
Graphcore整體發(fā)展策略:仰望星空,,腳踏實(shí)地,,以點(diǎn)帶面
盧濤在參會(huì)后表示,在“智能網(wǎng)聯(lián)汽車(chē)”中,,Graphcore還是比較關(guān)注和計(jì)算相關(guān)的“智能”,。在汽車(chē)領(lǐng)域,公司已經(jīng)在一些項(xiàng)目上取得進(jìn)展,。
由于AI的應(yīng)用行業(yè)化,、場(chǎng)景化程度很高,,即便行業(yè)間的一部分軟件和算法是共通的,但個(gè)性化的情況會(huì)更多,,因此Graphcore在策略上十分注重頭部的應(yīng)用,。“一般我們會(huì)在某一個(gè)垂直領(lǐng)域找一兩家頭部合作企業(yè),,先把相關(guān)能力,、行業(yè)的Know-How(技術(shù)經(jīng)驗(yàn))建立起來(lái),然后再‘以點(diǎn)帶面’地往前突破,。不僅在汽車(chē)領(lǐng)域,,在智能零售、智慧城市等方面,,我們也都是類(lèi)似的策略,,這是我們整體的做法,”盧濤如是說(shuō),,“我一直講‘我們仰望星空,,但是腳踏實(shí)地’。我們腳踏實(shí)地就是要找頭部的合作伙伴,,做了典型案例落地之后,,我們?cè)佟渣c(diǎn)帶面’地鋪開(kāi)?!?/p>
數(shù)據(jù)中心,,Graphcore的全速前進(jìn)方向
“今天,很多智能其實(shí)是在云端發(fā)生的,,”盧濤講到,,“在全球范圍之內(nèi),數(shù)據(jù)中心,、互聯(lián)網(wǎng),、AI,都屬于‘走得最快’的產(chǎn)業(yè)之列,。很多人講‘AI產(chǎn)業(yè)化’,、‘產(chǎn)業(yè)AI化’?!瓵I產(chǎn)業(yè)化’就是把AI變成一個(gè)產(chǎn)業(yè),。這一點(diǎn)互聯(lián)網(wǎng)已經(jīng)實(shí)現(xiàn)了,互聯(lián)網(wǎng)數(shù)據(jù)通過(guò)AI,、算法已經(jīng)轉(zhuǎn)換成各種各樣的商業(yè)方式了,。‘產(chǎn)業(yè)AI化’就是用AI技術(shù)‘武裝’各種各樣的產(chǎn)業(yè),數(shù)據(jù)中心和互聯(lián)網(wǎng)就是其中非常重要的一環(huán),,原因有兩個(gè):第一,,它是整個(gè)AI落地的前沿陣地;第二,,各種各樣的行業(yè)能力要依靠數(shù)據(jù)中心的能力來(lái)支撐,。所以基于當(dāng)前這樣的一個(gè)背景,整體上我們?cè)跀?shù)據(jù)中心上的步伐會(huì)走得更快,?!?/p>
對(duì)標(biāo)英偉達(dá)DGX Station,Graphcore有IPU-M2000
在4月份舉辦的GTC 2021技術(shù)大會(huì)上,,英偉達(dá)宣布將升級(jí)DGX Station和DGX SuperPod,。當(dāng)談及Graphcore與之相對(duì)的發(fā)展規(guī)劃時(shí),盧濤表示:“英偉達(dá)的產(chǎn)品系列非常多,,不僅僅有DGX Station,、DGX A100、還有一些針對(duì)邊緣應(yīng)用的,。首先,,我們必須要承認(rèn)別人的產(chǎn)品系列跟型號(hào)可能會(huì)更多一些。我們?cè)谀壳捌鋵?shí)是沒(méi)有在規(guī)劃Station這種形式的產(chǎn)品的,。我們今天在展區(qū)(第五屆世界智能大會(huì)展區(qū))展出了IPU-M2000組成的IPU-POD4,、IPU-POD16和IPU-POD64。我們的產(chǎn)品還在繼續(xù)迭代,,可能有一些產(chǎn)品形態(tài)會(huì)跟DGX Station長(zhǎng)得不一樣,,但是可能能夠起到類(lèi)似的作用,。DGX Station跟DGX A100很大的一個(gè)區(qū)別,,就是DGX A100在6U的機(jī)器里面有8個(gè)A100,功耗,、成本都非常高,,而DGX Station是一個(gè)規(guī)模更小的產(chǎn)品形態(tài),不管是功耗,、成本,,還是體積,都會(huì)更小一點(diǎn),,能夠比較方便地在一些入門(mén)級(jí)的場(chǎng)景中使用,。從某種意義上,目前我們單個(gè)的IPU-M2000可以做到類(lèi)似的事情,,因?yàn)槲覀兊牧6缺緛?lái)就很細(xì),。我們還在進(jìn)一步地思索我們未來(lái)的產(chǎn)品形態(tài),但是目前來(lái)講,,入門(mén)級(jí)產(chǎn)品方面,,一個(gè)IPU-M2000就可以起到類(lèi)似的作用,,成本、功耗比較低,,也能進(jìn)行一些需要比較大規(guī)模的平臺(tái)來(lái)處理的計(jì)算,。”
IPU跟GPU,,到底有啥區(qū)別,?
GPU本身的優(yōu)勢(shì)是較高的并行處理任務(wù)的效率,但是碰到一些強(qiáng)化學(xué)習(xí)或者是RNN這些模型的時(shí)候優(yōu)勢(shì)就不會(huì)那么明顯,。那么與之相比,,“為AI而生”的IPU具體優(yōu)勢(shì)體現(xiàn)在哪些地方呢?盧濤指出了如下幾點(diǎn):
“從芯片到芯片級(jí)別,,IPU跟GPU有兩個(gè)最大的差異化的特點(diǎn),。第一個(gè)是我們比GPU更擅長(zhǎng)做并行處理。我們有一千多個(gè)處理器內(nèi)核,。第二個(gè),,我們的內(nèi)存架構(gòu)非常不一樣。GPU是層次化的內(nèi)存結(jié)構(gòu),,片內(nèi)有一個(gè)大概二三十兆的片內(nèi)緩存,,片外是高速的顯存。我們?nèi)吭谄瑑?nèi),。我們一顆芯片有900兆的處理器內(nèi)存儲(chǔ),。如果是要擴(kuò)展成集群,還有一些不同的地方,,比如我們的IPU-Link能夠很方便地做芯片與芯片之間的協(xié)同,。”
此外,,和GPU比起來(lái),,IPU在LSTM和RNN方面也有巨大的優(yōu)勢(shì)?!皬?qiáng)化學(xué)習(xí)底層的算法邏輯用的是LSTM的cell,。RNN就是循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM就是長(zhǎng)短期記憶網(wǎng)絡(luò),。計(jì)算機(jī)的記憶存在內(nèi)存里面,,需要用的時(shí)候讀一下,它就記得了,。它要不停地訪問(wèn)存儲(chǔ),。這些算法相對(duì)來(lái)說(shuō)并行度沒(méi)有別的一些算法那么高。那么內(nèi)存這一塊就非常重要了?!北R濤補(bǔ)充道,。
另外,在計(jì)算的顆粒度較細(xì),,以及對(duì)時(shí)延要求較為嚴(yán)格的場(chǎng)景中,,IPU都會(huì)存在優(yōu)勢(shì)?!拔覀兗饶茏鲇?xùn)練,,也能做推理。其中在幾類(lèi)計(jì)算上我們會(huì)比較有優(yōu)勢(shì),,”盧濤說(shuō)道,,“一類(lèi)是計(jì)算的顆粒度比較細(xì)的時(shí)候,我們的優(yōu)勢(shì)很大,。AI中,,很多底層是要算一個(gè)矩陣的乘法。矩陣有大矩陣和小矩陣,。本來(lái)是一個(gè)很大的矩陣,,我把它拆成一堆小矩陣,就是顆粒度細(xì)了?,F(xiàn)在有很多算法,,像谷歌的科學(xué)家做的EfficientNet,其中很重要的一點(diǎn),,就是把很大的矩陣拆成很多很小的矩陣,,這樣就降低了算法模型的參數(shù)規(guī)模,并且提高了算法的精度,。這種算法上我們的表現(xiàn)很好,。還有一類(lèi)是推理中有一些場(chǎng)景對(duì)時(shí)延要求很?chē)?yán)格。我們的時(shí)延很低,,與此同時(shí)我們整個(gè)的吞吐量也非常高,。在大量的實(shí)際案例中,,我們可以看到,,我們?cè)谶@方面具有數(shù)量級(jí)的優(yōu)勢(shì)?!北R濤最后說(shuō)道,。
CPU、GPU,、IPU,,人工智能時(shí)代的三足鼎立
“我們認(rèn)為CPU和GPU是會(huì)長(zhǎng)期存在的,因?yàn)樗鼈兏髯远加凶约旱膽?yīng)用領(lǐng)域和自己很擅長(zhǎng)的方向,” 當(dāng)談及人工智能時(shí)代IPU與CPU,、GPU的競(jìng)爭(zhēng)關(guān)系時(shí),,盧濤表示,“我們希望CPU,、GPU,、IPU并存。IPU跟它們比起來(lái)也有自己的領(lǐng)域,?!?/p>
據(jù)介紹,Graphcore的第一代產(chǎn)品大概比英偉達(dá)V100晚了18個(gè)月發(fā)布,。但是第二代產(chǎn)品在時(shí)間上已基本追平(英偉達(dá)5月份發(fā)布,,11月份量產(chǎn);Graphcore 7月份發(fā)布,,12月份量產(chǎn)),。所以從某種意義上來(lái)說(shuō),Graphcore的產(chǎn)品迭代比英偉達(dá)還要快,?!斑@是一個(gè)很關(guān)鍵的點(diǎn)。半導(dǎo)體在過(guò)去幾十年很重要的一個(gè)產(chǎn)品邏輯和商業(yè)邏輯,,就是要保持一個(gè)很穩(wěn)定的迭代速度,。我們目前在很積極地研發(fā)我們后面的一些產(chǎn)品。我們覺(jué)得從節(jié)奏上我們未必會(huì)比他們慢,。未來(lái)我們也是希望能保持一個(gè)比較穩(wěn)定的迭代周期來(lái)往前推進(jìn),。基本上我們最后也是會(huì)像‘一代量產(chǎn),、一代研發(fā),、一代架構(gòu)’這樣的一個(gè)過(guò)程?!北R濤繼續(xù)講到,。
“開(kāi)放、開(kāi)源,,然后擁抱社區(qū)”,,Graphcore的軟件之路
“軟件是今天GPU最大的護(hù)城河,也是用戶從GPU遷到別的平臺(tái)上的最大阻力,。我們最近也在做一些工作,,希望能夠盡量降低用戶在移植工作上的工作量?!闭劶败浖?,盧濤說(shuō)到,。
Graphcore是一家硬件公司,同時(shí)也是一家軟件公司,。據(jù)介紹,,目前公司的軟件工程師比芯片工程師要多很多,以后數(shù)值差可能還會(huì)拉大,?!败浖慕M件非常多,以GPU為例,,從CUDA,,到TensorFlow、PyTorch等不同的機(jī)器學(xué)習(xí)框架軟件,,到類(lèi)似于Keras的更高層框架,,再到類(lèi)似ResNet、BERT用戶的算法,、模型等等,,最后再到圖像的前處理、后處理等,。整個(gè)軟件棧確實(shí)是非常大的,。如果一個(gè)做AI處理器的公司沒(méi)有意識(shí)到軟件的重要性,將會(huì)是一個(gè)很?chē)?yán)重的問(wèn)題,?!北R濤告訴記者,“當(dāng)前,,軟件方面,,從棧的角度來(lái)看,我們?cè)趯哟位慕嵌壬细ミ_(dá)還是比較類(lèi)似的:比如對(duì)應(yīng)CUDA,,我們有Poplar,;再上面是cuDNN、cuBLAS,,我們上面是PopLibs,;再往上面是TensorFlow、PyTorch等等,。在這一層,,我們正在做對(duì)于PaddlePaddle的支持。再往上就是應(yīng)用,?!?/p>
在Graphcore看來(lái),軟件的成功并不是靠單家公司的一己之力來(lái)實(shí)現(xiàn)的,。Graphcore會(huì)秉承“開(kāi)放,、開(kāi)源,然后擁抱社區(qū)”的整體策略,,在整個(gè)應(yīng)用的生態(tài)里面盡己所能,,與合作伙伴共同打造良好的軟件生態(tài)系統(tǒng)。
提及生態(tài),,盧濤也表示,,Graphcore目前的發(fā)展瓶頸就在于生態(tài)?!敖⑸鷳B(tài)是一個(gè)需要長(zhǎng)期投入和努力的事情,,我們現(xiàn)在還是一個(gè)比較新的公司,建立生態(tài)不是一蹴而就的,,我們正在不停地加大投資,、投入來(lái)做?!?/p>
壯大中的Graphcore中國(guó)團(tuán)隊(duì)
生態(tài)的建立同時(shí)需要人力的投入,。
作為Graphcore在中國(guó)的零號(hào)員工,盧濤正在帶領(lǐng)本地團(tuán)隊(duì)快速壯大,。目前,,Graphcore中國(guó)團(tuán)隊(duì)共有40人左右,市場(chǎng),、銷(xiāo)售等只占很小一部分,,其余的主要都是工程師,當(dāng)中又有很多人是軟件工程師,。
“Graphcore在全球的研發(fā)中心主要集中在英國(guó),,包括布里斯托、倫敦,、劍橋,,另外,在挪威奧斯陸以及美國(guó)的帕拉奧托也有我們的軟件團(tuán)隊(duì),,中國(guó)的軟件團(tuán)隊(duì)目前有20多個(gè)人,。”
盧濤告訴記者,,Graphcore中國(guó)軟件團(tuán)隊(duì)的表現(xiàn)無(wú)論從業(yè)務(wù)水平還是執(zhí)行力上來(lái)講,,都收獲了大家的認(rèn)可。因此,,在未來(lái)12-18個(gè)月,,Graphcore要在中國(guó)打造出一支超過(guò)200人的軟件團(tuán)隊(duì),做機(jī)器學(xué)習(xí)框架相應(yīng)的一些算法等,。
“我覺(jué)得我們中國(guó)的軟件團(tuán)隊(duì)在全球的軟件團(tuán)隊(duì)里的份額應(yīng)該會(huì)越來(lái)越大,。雖然當(dāng)時(shí)團(tuán)隊(duì)很小,,很長(zhǎng)時(shí)間一段時(shí)間都是十幾個(gè)人,但是做的一些成果我覺(jué)得大家都比較認(rèn)可,。我們做了一些比較關(guān)鍵性的交付,,比如我們TensorFlow上的BERT方面的工作,其實(shí)是中國(guó)團(tuán)隊(duì)做的,?!北R濤談到。
在中國(guó)建立研發(fā)中心也需要進(jìn)行本地化工作,。盧濤提及,,Graphcore屬于PaddlePaddle于去年發(fā)起的“百度飛槳硬件生態(tài)圈”的初始成員之一,因此Graphcore正在做對(duì)于PaddlePaddle的支持,。另外,,Graphcore也正與阿里云合作HALO、與微軟亞洲研究院合作NNFusion,。與此同時(shí),,Graphcore與國(guó)內(nèi)做框架、做集成的機(jī)構(gòu)也都在探索合作的過(guò)程中,。