新年剛過,，人工智能界先后有兩次理論上的新知公諸于世：一是圖靈獎(jiǎng)獲得者David Patterson與John Hennessy發(fā)布論文稱計(jì)算機(jī)體系結(jié)構(gòu)的新黃金時(shí)代將到來,，二是計(jì)算機(jī)視覺奠基者之一Alan Yuille公開懟了一波深度學(xué)習(xí),，他認(rèn)為神經(jīng)網(wǎng)絡(luò)已進(jìn)入瓶頸期,，現(xiàn)在科研人員一股腦兒涌入深度學(xué)習(xí)不利于軟件算法的發(fā)展,。

透過兩則消息，不難察覺到人工智能產(chǎn)業(yè)急需變革的呼聲已經(jīng)十分強(qiáng)烈,，無論是硬件端還是軟件算法,，而它確實(shí)要迎來了新的發(fā)展階段。事實(shí)上,，隨著市場(chǎng)需求變化和技術(shù)迭代,，一直以來軟件算法和硬件芯片雖各自發(fā)展卻也如兩股互相“博弈”的力量般糾纏不休。而當(dāng)深度學(xué)習(xí)發(fā)展步入模式時(shí),，一邊是專家對(duì)創(chuàng)新衰退的憂慮,，另一邊則預(yù)示著深度學(xué)習(xí)架構(gòu)的發(fā)展已經(jīng)邁入一定的成熟階段，此時(shí)將部分功能下沉到硬件端的需求則順勢(shì)衍生,。

圖 ｜《計(jì)算機(jī)體系結(jié)構(gòu)的新黃金時(shí)代》

在《計(jì)算機(jī)體系結(jié)構(gòu)的新黃金時(shí)代》中,，Patterson和Hennessy這樣寫道，“計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域?qū)⒂瓉碛忠粋€(gè)黃金十年,，就像20世紀(jì)80年代我們做研究那時(shí)一樣,，新的架構(gòu)設(shè)計(jì)將會(huì)帶來更低的成本，更優(yōu)的能耗,、安全和性能,?！比缢?，在深度學(xué)習(xí)算法熱潮過后，2019年的硬件產(chǎn)業(yè)也開始了新的蠢蠢欲動(dòng),，而在AI賦能應(yīng)用的大背景下,，它具體表現(xiàn)為推理芯片市場(chǎng)的崛起。

英特爾沉不住氣了,，推理芯片市場(chǎng)開啟群雄爭霸

回到2019年年初前后這一期間,，迎來了歷史轉(zhuǎn)型期的芯片市場(chǎng)可以說動(dòng)蕩不安，一邊存儲(chǔ)芯片價(jià)格在漲一波跌一波的云雨之中起伏,；另一邊為了滿足人工智能催生的產(chǎn)能需求,，英特爾、美光等老牌IDM廠商開始大肆興建起工廠,。而不同于已有的成熟市場(chǎng),，有一部分新興的AI芯片市場(chǎng)也逐漸有了蓬勃生長的態(tài)勢(shì)，產(chǎn)業(yè)化發(fā)展向好。

“苗頭”就出現(xiàn)在CES 2019上,，英特爾高調(diào)宣布與Facebook合作開發(fā)一款A(yù)I推理芯片,，并宣稱將于2019年下半年完成。

在曝光度極高的CES上,，提前半年大肆宣傳并隆重預(yù)告這一款公眾并不熟知的推理芯片,，作為x86架構(gòu)締造者，占據(jù)數(shù)據(jù)中心服務(wù)器市場(chǎng)90％份額的英特爾,，顯然有些沉不住氣了,。

圖 ｜ 英特爾宣布與Facebook合作推出推理芯片

無獨(dú)有偶，在研發(fā)推理芯片這件事情上,，各家有能力爭一塊蛋糕的廠商也都開始摩拳擦掌,，不出意外得集中在2019年前后幾個(gè)月推出自家產(chǎn)品。2018年9月,，英偉達(dá)推出自己的推理預(yù)測(cè)芯片,；11月，亞馬遜召開re：Invent大會(huì),，在會(huì)議上隆重發(fā)布了一款專用推理芯片AWS Inferentia,，以用于自己的服務(wù)器推理任務(wù)處理；而阿里也透露了自己首款推理芯片Ali－NPU的發(fā)布時(shí)間,，同F(xiàn)acebook相近,，定在了2019年中。

在2019年前后巨頭們不約而同得帶起了一波“節(jié)奏”,，這樣的集群效應(yīng)或多或少說明了專用推理芯片系統(tǒng)市場(chǎng)已經(jīng)開始要“變天”,。

數(shù)據(jù)統(tǒng)計(jì)顯示，到2021年,，訓(xùn)練市場(chǎng)規(guī)模將增長到82億美元,，而推理市場(chǎng)規(guī)模將達(dá)到118億美元，超出前者近四十億美元,。時(shí)間緊迫,，機(jī)會(huì)轉(zhuǎn)瞬即逝，在沒有巨頭的大片“藍(lán)?！笔袌?chǎng)面前,，換作誰都是要坐不住的。

一場(chǎng)由互聯(lián)網(wǎng)企業(yè)引發(fā)的芯片之戰(zhàn)

既知是藍(lán)海,，早些年亦有許多科研院所在積極研究,，巨頭們卻都到今年才遲遲動(dòng)手，是為何,？

Facebook公開道出了其中的緣由,。

去年四月份,，F(xiàn)acebook暗地里組建芯片團(tuán)隊(duì)的事情被彭博社報(bào)道，稱它想擺脫對(duì)英特爾和高通的依賴,，隨后成為熱議的焦點(diǎn),。后沒有多久，在一年一度的大會(huì)上,，F(xiàn)acebook的高管大大方方承認(rèn)了,。

作為一家互聯(lián)網(wǎng)公司，F(xiàn)acebook坦言它的初衷不是為造芯片而造芯片,，實(shí)則是深受成本成倍增加之苦但同時(shí)又尋不到更優(yōu)硬件方案,，無奈使然。2018年末的大會(huì)上,，對(duì)于這一點(diǎn),，F(xiàn)acebook高管Jason Taylor就直接毫不留情的懟了當(dāng)時(shí)市面上的推理芯片：“市面上是有很多加速器芯片，但是我們發(fā)現(xiàn)他們?cè)O(shè)計(jì)的芯片在完成關(guān)鍵工作負(fù)載任務(wù)的能力上,，值得考量,。”

言下之意,，Taylor認(rèn)為很多公司在沒有弄清楚深度學(xué)習(xí)應(yīng)用端需要處理的推理任務(wù)有哪些就開始造芯片,，頗有亂打亂撞的嫌疑。而在深度學(xué)習(xí)算法的應(yīng)用上,，以精準(zhǔn)營銷著長的Facebook似乎也更有發(fā)言權(quán),。

圖 ｜ 精準(zhǔn)營銷

據(jù)公司工程師Kim Hazelwood介紹，每天Facebook的AI應(yīng)用程序產(chǎn)生超過200萬億個(gè)推送,，翻譯超過50億個(gè)文本,，并自動(dòng)刪除超過一百萬個(gè)假賬戶，在推理功能上,，F(xiàn)acebook的任務(wù)計(jì)算量是其他任務(wù)的100倍,。官方透露的數(shù)據(jù)顯示，2018年,，F(xiàn)acebook的資本支出大約在140億美元,，2019年,，這個(gè)數(shù)字預(yù)計(jì)將增長到200億美元,，其中很大一部分支出都在數(shù)據(jù)中心服務(wù)器上。

但苦于沒有合適替代方案,，今天Facebook還不得不采用“CPU＋GPU”的服務(wù)器,。

和Facebook類似，最接近應(yīng)用,，需求也是最為強(qiáng)烈,，因而谷歌,、亞馬遜、阿里等將人工智

不可不知的“鼻祖”

在這組互聯(lián)網(wǎng)梯隊(duì)中,，谷歌是第一位吃螃蟹的“人”,，同時(shí)它用這個(gè)秘密武器助力AlphaGo戰(zhàn)勝李世石，引起轟動(dòng),。而這里的秘密武器就是谷歌TPU（張量處理單元）,。

圖 ｜ 谷歌TPU

其實(shí)2017年，當(dāng)谷歌重磅推出TPU時(shí),，很多人都好奇作為一家成功的互聯(lián)網(wǎng)公司,，谷歌怎么突然有興趣做起了芯片，還做出了這樣一款“腦洞大開”的芯片,？

在后來的公開論文中,，谷歌提到其實(shí)自己的軟件服務(wù)背后需要龐大的服務(wù)器網(wǎng)絡(luò)在支持，即需要難以計(jì)數(shù)的硬件服務(wù)器日夜運(yùn)行,。提供的數(shù)據(jù)顯示,，為了支持各類大量的數(shù)據(jù)應(yīng)用，谷歌當(dāng)時(shí)已經(jīng)在全球四個(gè)洲建有15個(gè)倉庫般大小的數(shù)據(jù)中心,。

但是隨著深度學(xué)習(xí)算法的出現(xiàn),，令谷歌自己驚奇的事情發(fā)生了。在后來計(jì)算機(jī)架構(gòu)專家David Patterson和Norm Jouppi合著的論文中,，他們提到這樣一個(gè)細(xì)節(jié)：六年前,，谷歌開始為安卓操作系統(tǒng)添加語音識(shí)別功能之后，原來相對(duì)充裕的計(jì)算能力突然間捉襟見肘,，根據(jù)當(dāng)時(shí)谷歌工程師的推算——如果世界上每一臺(tái)安卓手機(jī)每天都使用3分鐘的語音搜索功能,，且識(shí)別率百分之百正確，即一次搜索成功,，那么谷歌的數(shù)據(jù)中心的規(guī)模就起碼要翻倍,。

這樣的解釋，與Facebook后提到的境況幾近相同,。

意識(shí)到這樣的問題,，谷歌為這樣的大規(guī)模擴(kuò)張需求而背后生寒，更何況當(dāng)時(shí)還只是深度學(xué)習(xí)算法應(yīng)用剛剛開始的階段,。因此在慎重考慮了語音識(shí)別技術(shù)的迅速發(fā)展和推理運(yùn)算需求的激增等情況之后,，谷歌決定開發(fā)專屬推理芯片以替代性能不足的CPU，即后來的TPU,。

不過當(dāng)時(shí)外界只知谷歌街景,、AlphaGo等應(yīng)用中用到了TPU，對(duì)于“蒙上一層面紗”的TPU到底為何物,，眾說紛紜,。后來直到看見谷歌公開發(fā)表的TPU論文并眼見AlphaGo的成功,，眾人才意識(shí)到谷歌TPU劃時(shí)代的意義。

寒武紀(jì)陳天石毫不吝嗇得用了“濃墨重彩”一詞盛贊其對(duì)于整個(gè)產(chǎn)業(yè)發(fā)展的意義,；而英偉達(dá)黃仁勛也不惜親自撰寫長文來回應(yīng)谷歌TPU與自己產(chǎn)品的對(duì)比,，雖然言語之中難掩對(duì)英偉達(dá)技術(shù)的偏袒，但也只有勢(shì)均力敵的對(duì)手值得“老黃”如此重視,。

后來Jouppi在一篇論文中這樣評(píng)價(jià)這款芯片,，“這并不意味著TPU有多復(fù)雜，它看起來更像雷達(dá)的信號(hào)處理引擎,，而不是標(biāo)準(zhǔn)X86架構(gòu),。而且它與浮點(diǎn)單元協(xié)處理器更為神似，跟GPU倒不太一樣,?！?/p>

所謂創(chuàng)新，大概如此,。

一股清流,，從通用出發(fā)去做專用芯片

目前主導(dǎo)推動(dòng)推理芯片市場(chǎng)的以互聯(lián)網(wǎng)公司居多，除了領(lǐng)頭的谷歌,，還有Facebook,、亞馬遜等，不可忽視的還有以硬件結(jié)構(gòu)創(chuàng)新為出發(fā)點(diǎn),、骨骼清奇的寒武紀(jì)和尋求新增長力的英偉達(dá),。

不過，其中Facebook最有意思,。

從他們?cè)诠矆?chǎng)合的表態(tài)來看,，和谷歌、亞馬遜所處之境一樣,，面對(duì)不可控的成本上漲,，F(xiàn)acebook不是不著急。但不同于其他四家的芯片設(shè)計(jì)方向,，即依據(jù)應(yīng)用需求調(diào)試算法,，隨后依次開發(fā)設(shè)計(jì)硬件，F(xiàn)acebook選擇耐著性子去做一款通用的深度學(xué)習(xí)專用芯片,。按照Facebook的意思,，雖然是深度學(xué)習(xí)專用芯片，但是也不可順著應(yīng)用需求過于專一,，因此它的做法也是非常獨(dú)特,。

圖 ｜ Facebook Glow平臺(tái)

這始于Facebook早早為自己搭建好的一款名為Facebook Glow的深度學(xué)習(xí)通用處理器,。提到這款平臺(tái),，F(xiàn)acebook稱其可用于處理云端的各種深度學(xué)習(xí)加速,，但又不同于TensorFlow等開源工具，它不是針對(duì)用戶設(shè)計(jì)的,。

Taylor解釋說：“推理加速器的市場(chǎng)必將表現(xiàn)為硬件碎片化,，但我們的Glow主要是幫助深度學(xué)習(xí)專家設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)而不是讓大家用它來開發(fā)算法，以調(diào)試到去適應(yīng)各類硬件推理加速器,。我們知道碎片化時(shí)代正在到來,，因?yàn)闆]人知道怎樣把硬件資源組合起來最優(yōu)，所以我們會(huì)讓開發(fā)者專注在上層的網(wǎng)絡(luò)圖上而不是讓他們?yōu)椤布么a,?！?/p>

在軟件加速器上樹立好絕對(duì)的標(biāo)準(zhǔn)，而后基于此來設(shè)計(jì)芯片,，F(xiàn)acebook的造芯計(jì)劃可謂宏圖,。

其實(shí)對(duì)于Facebook研發(fā)芯片這件事，業(yè)內(nèi)人多用“奇葩”來形容,。依據(jù)精準(zhǔn)的上層架構(gòu)來反向“強(qiáng)行”設(shè)計(jì)出底層具有通用性的AI芯片,，很難評(píng)價(jià)其做法是否過于執(zhí)拗和宏大，只能暗嘆它的不走尋常路,，因此對(duì)于CES2019上Intel宣布的這款與Facebook聯(lián)手的芯片,，還是值得期待一下。

終端市場(chǎng)緣何如此重要,？

不難發(fā)現(xiàn),，上文提到的在推理芯片市場(chǎng)引起軒然大波的芯片產(chǎn)品都可歸為一類：服務(wù)器芯片，即終端市場(chǎng),。

從技術(shù)角度來看,，其實(shí)不僅僅是終端市場(chǎng)對(duì)推理芯片有著強(qiáng)需求，隨著智能應(yīng)用需求的深入,，手機(jī)等移動(dòng)端亦有此需求,，如華為麒麟平臺(tái)中用到的NPU芯片正是一款專用于解決神經(jīng)網(wǎng)絡(luò)推理計(jì)算的芯片。

但是不同于端側(cè)市場(chǎng)的現(xiàn)有產(chǎn)品飽和與增長力不足,，因云計(jì)算快速的深入,，服務(wù)器的計(jì)算任務(wù)需求呈爆發(fā)式增長，因而對(duì)硬件架構(gòu)提升的需求格外迫切,。

圖 ｜ 數(shù)據(jù)中心

亞馬遜James Hamilton曾結(jié)合亞馬遜所遇到的問題給出這樣的分析：一直以來,，雖然專用芯片可以成十倍改善延遲、降低成本和功耗,，但是通用芯片的地位卻是不可撼動(dòng)的,，這里面有其原因。以傳統(tǒng)服務(wù)來說,，一般情況下每個(gè)用戶只會(huì)用到幾個(gè)固定的服務(wù)器,，即我們的服務(wù)器是按照用戶分配的,，這樣的情況下專用芯片通常是沒什么用的。但是云改變了一切,，在一個(gè)完備的云系統(tǒng)中,，比較“罕見”的工作負(fù)載甚至需要連接進(jìn)入數(shù)千甚至數(shù)萬個(gè)服務(wù)器里，同時(shí)運(yùn)行以完成任務(wù),。這在過去是完全不可能實(shí)現(xiàn)的,，因?yàn)橐郧凹幢隳軌蚝芎玫姆峙淙蝿?wù)給專用硬件，也不能節(jié)約成本,，尤其是當(dāng)一些緊急狀況出現(xiàn)時(shí),。

云的出現(xiàn)打通了硬件之間的“壁壘”，也極大程度的發(fā)揮了深度學(xué)習(xí)算法的威力,，但它同時(shí)很快耗盡了眾多公司現(xiàn)有服務(wù)器芯片的計(jì)算能力,。

IDC曾做過數(shù)據(jù)統(tǒng)計(jì)，2018年第二季度全球服務(wù)器市場(chǎng)的廠商收入同比增長43．7％達(dá)到225億美元,，該季度全球服務(wù)器出貨量同比增長20．5％達(dá)到290萬臺(tái),。而其中最大的增長力就表現(xiàn)在云計(jì)算服務(wù)器上。

深度學(xué)習(xí),、推理芯片與產(chǎn)業(yè)變遷

回到推理芯片,，即處理邏輯運(yùn)算的芯片。其實(shí)它并不是什么新產(chǎn)物,，這里不得不提英特爾的x86架構(gòu),。

所謂x86架構(gòu)，通俗來講就是一種通用的“CPU＋Linux”操作系統(tǒng)的架構(gòu),，它伴隨著1978年英特爾推出的8086處理器出現(xiàn),，具體指的是英特爾開發(fā)的一套通用的計(jì)算機(jī)指令集合。目前市面上所有主流的服務(wù)器都是基于Intel x86架構(gòu)的CPU公版二次開發(fā)而來,。

采用Intel的x86架構(gòu)來處理服務(wù)器大量的計(jì)算任務(wù),，有人說是考慮CPU通過馮諾依曼架構(gòu)可以為數(shù)百萬的不同應(yīng)用加載任何軟件的靈活性優(yōu)勢(shì)，有人認(rèn)為英特爾x86架構(gòu)的向后兼容性讓用戶只要換個(gè)CPU就能獲得性能提升的優(yōu)勢(shì)主導(dǎo)使然,?？偠灾煌谟?xùn)練模式的單一,，深度學(xué)習(xí)推理任務(wù)的復(fù)雜讓產(chǎn)業(yè)界綜合考慮成本,、技術(shù)成熟度等因素而最終選擇了CPU芯片＋x86指令集的系統(tǒng)架構(gòu)。

圖 ｜ Intel x86

但眾所周知的是,，古老的x86架構(gòu)雖經(jīng)過了幾十年的技術(shù)迭代,，受系統(tǒng)架構(gòu)本身的訪問限制（又稱馮諾依曼瓶頸），其總體的吞吐量和能耗都限制了它在大量計(jì)算任務(wù)上的表現(xiàn)能力，尤其是當(dāng)深度學(xué)習(xí)算法出現(xiàn)后,，這一弊端愈加被凸顯,。

深度學(xué)習(xí)算法之所以如此重要，主要原因在于它剛剛誕生不久就能夠迅速適應(yīng)幾乎所有的應(yīng)用需求,，歷史上很少有一項(xiàng)技術(shù)有如此的影響力,，因此其特殊屬性催生了對(duì)大量數(shù)據(jù)進(jìn)行處理和分析的需求,。對(duì)于這一算法帶來的影響,，黃仁勛一句話點(diǎn)出其中奧妙：深度學(xué)習(xí)是一種新的計(jì)算方法，所以整個(gè)產(chǎn)業(yè)需要發(fā)展出一種新的計(jì)算體系結(jié)構(gòu),。

因而在深度學(xué)習(xí)的兩大功能——訓(xùn)練和推理的模式推動(dòng)下,，Caffe、Tensorflow等軟件架構(gòu)工具迅速發(fā)展,，芯片巨頭也爭相以此為起點(diǎn)開發(fā)新的芯片,。英偉達(dá)借助GPU與訓(xùn)練功能的天生匹配登上了市場(chǎng)龍頭的寶座，但他們發(fā)現(xiàn)要實(shí)現(xiàn)訓(xùn)練之后的推理功能,，即對(duì)圖像的識(shí)別,、語義的關(guān)聯(lián)處理等，GPU卻是不適合的,。

沒有合適“人選”,，推理市場(chǎng)因此空出霸主之位。退而求其次,，CPU＋GPU發(fā)展成了服務(wù)器市場(chǎng)中主流的架構(gòu)解決方案,，但終究不是長久之計(jì)。對(duì)此,，大家心知肚明,。

最后

在這一波巨頭帶動(dòng)的小高潮背后，無疑預(yù)示著產(chǎn)業(yè)發(fā)展中推理任務(wù)處理需求積聚到了一個(gè)新的高點(diǎn),。

箭在弦上,，不得不發(fā)。但最終誰將勝出,，還只能靜候各廠家接下來的芯片產(chǎn)品,。

正如Patterson與Hennessy在《計(jì)算機(jī)體系結(jié)構(gòu)的新黃金時(shí)代》里所言，“在摩爾定律走向終點(diǎn)的同時(shí),，體系結(jié)構(gòu)正在閃耀新的活力——以TPU為代表的領(lǐng)域特定架構(gòu) （Domain Specific Architectures,， DSA） 興起，但CPU,、GPU,、FPGA仍然有用武之地，最終，市場(chǎng)會(huì)選出勝者,?！?/p>