新上任的亞馬遜網(wǎng)絡(luò)服務(wù)負責人Adam Selipsky 周五表示,公司設(shè)計更多自己的芯片,,強調(diào)客戶的成本收益,。
“到目前為止,我們已經(jīng)設(shè)計了幾種不同的芯片,,未來還會有更多,,”AWS 首席執(zhí)行官 Adam Selipsky 在接受外媒采訪時表示。
“其中一個最新的稱為Graviton2,,它實際上比基于 x86 的同類芯片對客戶的性價比高 40%,,”Selipsky 說,指的是對英特爾處理器至關(guān)重要的一組指令,。
Adam Selipsky 發(fā)表上述言論之際,,全球經(jīng)濟正經(jīng)歷半導體短缺,這已使許多行業(yè)陷入困境,,并強調(diào)了芯片在日益數(shù)字化的世界中的重要性,。
盡管亞馬遜和其他大型科技公司多年來一直致力于內(nèi)部芯片設(shè)計,但一些專家認為,,與大流行相關(guān)的芯片緊縮只會加速這些正在進行的努力,。
Graviton2 是一種數(shù)據(jù)中心處理器芯片,英特爾在半導體行業(yè)的一個領(lǐng)域中占有強勢地位,。今年 3 月,,以科技為重點的新聞網(wǎng)站 The Information 報道稱,亞馬遜還致力于為硬件交換機制造網(wǎng)絡(luò)芯片,,用于在網(wǎng)絡(luò)中移動數(shù)據(jù),。
今年早些時候,Selipsky 在他的前任 Andy Jassy 被提拔接替Jeff Bezos擔任亞馬遜 CEO之后接任了 AWS 的最高職位,。Adam Selipsky 曾擔任Salesforce旗下數(shù)據(jù)可視化軟件公司 Tableau 的首席執(zhí)行官,。
在此之前,Selipsky 是 AWS 的銷售,、營銷和支持副總裁,,AWS 是亞馬遜不斷發(fā)展的帝國中至關(guān)重要且利潤豐厚的部分,。自 2014 年以來,盡管產(chǎn)生的收入遠低于核心電子商務(wù)部門,,但它一直貢獻了公司一半以上的營業(yè)收入,。
亞馬遜的芯片自研之路
在2015年,亞馬遜方面表示,,公司已經(jīng)同以色列芯片公司Annapurna Labs達成了收購協(xié)議,,這可以看作是亞馬遜芯片業(yè)務(wù)的開端。
據(jù)介紹,,以色列芯片制造商Annapurna Labs,,由Avigdor Willenz一手創(chuàng)立。他曾創(chuàng)建另一家芯片公司Galileo Technologies,,不過該公司2000年被Marvell科技集團以27億美元收購,。
資料顯示,在被亞馬遜收購的時候,,Annapurna Labs公司主要研發(fā)微處理器,,這種微處理器可以讓低功率的的計算服務(wù)器和存儲服務(wù)器快速地運行數(shù)據(jù)。Annapurna Labs是過去10年中以色列國內(nèi)成長起來的優(yōu)秀初創(chuàng)型芯片廠商之一,。盡管仍是一家初創(chuàng)型企業(yè),,但是它在此前的私募融資中已經(jīng)籌集到數(shù)千萬美元的資金。
到了2017年年底,,亞馬遜斥資9,000萬美元低調(diào)收購安全監(jiān)視器供應(yīng)商Blink,,這被認為是亞馬遜在芯片行動上的提速。亞馬遜看中了Blink的省電芯片,,打算用于旗下各種物聯(lián)網(wǎng)(IoT)裝置,,包括Cloud Cam、Echo智能音響等,。
進入2018年,,亞馬遜則終于開始發(fā)布自家的芯片。2018年11月,,亞馬遜在美國發(fā)布機器學習芯片AWS Inferentia,,AWS Inferentia是一款機器學習推理芯片,支持TensorFlow,、Apache MXNet和PyTorch深度學習框架,,以及使用ONNX格式的模型。不過亞馬遜并不打算直接向用戶銷售這款芯片,。
2018年12月,, 亞馬遜 推出首款自研Arm架構(gòu)云服務(wù)器CPU Graviton,目標直指英特爾。Graviton的問世顯示出亞馬遜AWS想要擺脫英特爾的決心,。
2019年1月,,據(jù)媒體媒體透露,亞馬遜旗下的AWS與三星風險投資,、Avery Dennison共同參與了無線技術(shù)公司W(wǎng)iliot公司價值 3000萬美元的B輪投資,。2018年11初,亞馬遜攜手英特爾,,微軟和美國明石風投投資了AI芯片初創(chuàng)公司Syntiant,。這一系列的投資和自研動作,,都顯示著亞馬遜正在由“軟”向“硬”演變,。
2019年年底,亞馬遜的云服務(wù)業(yè)務(wù)AWS在其發(fā)布會AWS re:Invent上發(fā)布了兩款新的云端服務(wù)器芯片,,分別是高性能處理器芯片Graviton2和高性能機器學習加速芯片Inferentia
亞馬遜的Graviton2處理器是亞馬遜研發(fā)的第二代高性能云端處理器芯片,。Graviton2基于ARM的高端Neoverse核,使用7nm半導體工藝制造,,晶體管數(shù)量高達300億,,相比上一代芯片核心數(shù)增加了4倍,且處理器性能也大大提升,。Graviton2處理器為云計算相關(guān)應(yīng)用做了不少優(yōu)化,,首先是浮點運算能力較上一代有不少提升,此外在指令集上計入了對于機器學習推理應(yīng)用的支持,,以及在芯片上集成了亞馬遜自研的數(shù)據(jù)編解碼加速器,。相比于基于x86處理器的解決方案,Graviton2處理器可以大大提升性能并降低成本,,性能/成本比提升可達40%,。在軟件上,Grativon2處理器能兼容主流的開源Unix操作系統(tǒng)和Docker容器,,這也從很大程度上解決了ARM服務(wù)器端處理器生態(tài)的問題,。
除了高性能處理器之外,亞馬遜發(fā)布的另一款芯片是Inferentia,,用于加速機器學習推理計算,。根據(jù)亞馬遜公布的指標,Inferentia芯片能提供128TOPS的算力,,并支持INT-8和FP-16/bfloat-16計算類型,。亞馬遜同時公布了幾種搭載了Inferentia芯片的服務(wù)器配置,最高性能的版本搭載了16顆Inferentia芯片,,從而能提供高達2000TOPS的峰值算力,。
2020年9月,亞馬遜在發(fā)布新一代Echo的時候,帶來了其新款的定制芯片——AZ1神經(jīng)邊緣處理器,?!霸谔幚碇校瑫r間很重要,,” Amazon Echo副總裁Miriam Daniel在亞馬遜的設(shè)備和服務(wù)團隊主辦的虛擬活動中說,。她解釋說:“想象一下,要求Alexa打開燈,,如果有延遲,,這會很抓狂?!?“我們的團隊非常努力地將Alexa的響應(yīng)時間削減了數(shù)百毫秒的時間”,。她接著說。
這是通過他們的新的AZ1神經(jīng)邊緣處理器,,一個專門用于在邊緣運行機器學習算法的新芯片實現(xiàn)的,。它與在AZ1上運行的新的神經(jīng)語音識別模型配合使用。
亞馬遜高管表示,, AZ1神經(jīng)邊緣處理器是與半導體制造商聯(lián)發(fā)科技(MediaTek Inc.)合作開發(fā)的一部分,。通過本地處理語音命令,它將使Echo能夠更快地回答用戶問題,。早期的智能揚聲器必須將語音命令發(fā)送到云進行處理,,然后等待結(jié)果返回,但這會延遲Alexa的響應(yīng),。
該公司的工程師對芯片進行了重大設(shè)計改進,,以促進性能提升。AZ1被描述為能夠以二十分之一的功耗為語音處理任務(wù)提供亞馬遜上一代芯片兩倍的性能,。而且,,它的內(nèi)存使用量降低了85%,這進一步有助于提高硬件效率,。
2021年,,據(jù)The Information報道,亞馬遜正在為其硬件網(wǎng)絡(luò)交換機開發(fā)定制的硅芯片,。據(jù)說這些芯片可以幫助亞馬遜改善其內(nèi)部基礎(chǔ)設(shè)施以及AWS,,這是亞馬遜于2015年以3.5億美元收購以色列芯片制造公司Annapurna Labs的目的之一。
報道進一步指出,,亞馬遜為其交換機構(gòu)建芯片可以幫助其解決自身基礎(chǔ)架構(gòu)中的瓶頸和問題,,特別是如果他們還定制構(gòu)建在其上運行的軟件時。亞馬遜已經(jīng)建立了自己的交換機,,但是它依靠Broadcom為其提供芯片支持,。對于公司來說,完全控制這些機器是很有意義的,特別是考慮到其Web服務(wù)業(yè)務(wù)的重要性,。The Information援引Amazon提供的機器學習軟件(目前運行在Annapurna芯片上)的話,,他們甚至有可能通過新的交換機提供一些以前無法提供的服務(wù)。
亞馬遜自研芯片對云服務(wù)的影響
亞馬遜今年發(fā)布最新的自研云端服務(wù)器芯片意味著云服務(wù)市場的格局在大數(shù)據(jù)-人工智能時代相比之前有了深遠的改變,,而這個改變最關(guān)鍵的部分就是算力成為了越來越重要的性能指標,。
上一代云計算主要承載的業(yè)務(wù)是讓有IT需求的公司把IT系統(tǒng)在云端執(zhí)行,這樣就省去了本地的維護成本,。舉例來說,,一家公司需要架設(shè)一個內(nèi)部的ERP系統(tǒng),在沒有云服務(wù)的時候需要自己去購買服務(wù)器,,還需要組建一支專業(yè)的IT團隊來負責服務(wù)器硬件的維護,,這樣就讓IT服務(wù)的成本變得比較高。而有了云服務(wù)之后,,這類系統(tǒng)可以直接在云服務(wù)商的數(shù)據(jù)中心完成,,公司無需再去購買服務(wù)器也不用擔心服務(wù)器的穩(wěn)定/維護/升級問題,這樣就大大降低了成本,。公司需要做的無非就是確保選擇正確的云服務(wù)商,并保證有穩(wěn)定的網(wǎng)絡(luò)連接,。由此可見,,上一代云服務(wù)主打的賣點往往是服務(wù)器帶寬,云服務(wù)穩(wěn)定性,,云服務(wù)系統(tǒng)部署簡易性等等,,總而言之更偏向于服務(wù)質(zhì)量,但是與硬件關(guān)系不大,。
隨著云計算進入大數(shù)據(jù)和人工智能時代,,云計算的需求也與時俱進。目前,,云計算的概念已經(jīng)深入人心,,因此大量公司的網(wǎng)絡(luò)業(yè)務(wù)都已經(jīng)上云,而隨著人工智能和大數(shù)據(jù)業(yè)務(wù)逐漸變?yōu)橹髁?,云計算對于大?shù)據(jù)和人工智能的支持也需要跟上,。而這一代基于深度學習的人工智能浪潮對于算力的需求尤其大,算力正在成為新的基礎(chǔ)設(shè)施,,因此,,我們認為云服務(wù)的核心競爭力正在慢慢轉(zhuǎn)向算力。
由于算力正在成為云計算的核心競爭力,,因此硬件對于云計算來說也變得越來越重要,。在上一代云計算中,對于硬件的需求非常單純,只需要普通的服務(wù)器級別x86處理器搭配足夠大的內(nèi)存和SSD即可,,而隨著對于算力的需求提升,,對于硬件的需求也在快速提升,且呈現(xiàn)專門化,。如果總結(jié)亞馬遜云計算中算力相關(guān)硬件芯片的迭代,,我們可以清楚地看到一條由通用走向?qū)S们倚阅芸焖偬嵘牡缆贰W钤绲脑朴嬎闶褂脗鹘y(tǒng)的CPU,,隨著人工智能變得火熱,,帶有GPU的云服務(wù)器進入了主流視野。相比面向通用計算的CPU,,GPU主要支持人工智能訓練和推理計算,,通用性下降了一些但是算力提升了數(shù)百倍。在之后,,亞馬遜發(fā)現(xiàn)GPU的性能還不夠好,,尤其是在大量的人工智能推理任務(wù)上,因此這次發(fā)布了Inferentia ASIC用于高性能低成本推理計算,。
放眼未來,,我們認為云計算越來越強調(diào)算力的勢頭還將繼續(xù),我們渴望看到更多的云計算服務(wù)商加入提升算力的行列,,同時也將看到硬件和芯片將在云計算領(lǐng)域的地位越來越重要,,成為算力的核心支柱。
亞馬遜自研云端芯片對于半導體行業(yè)的影響
亞馬遜大力投資自研云端服務(wù)器芯片意味著云端服務(wù)器芯片的市場格局發(fā)生變化,,通用的CPU和GPU無法覆蓋整個市場需求,。
從技術(shù)層面上來說,隨著深度學習神經(jīng)網(wǎng)絡(luò)模型對于算力的需求快速提升,,這意味著將催生高性能計算芯片市場較快發(fā)展,。業(yè)界和學界對于高性能計算芯片的探究在數(shù)十年內(nèi)從未停下,但是在人工智能時代到來之前,,由于高性能計算的市場始終有限,,因此相關(guān)技術(shù)的資本投入較小,主要是實驗性質(zhì)的探索,,新技術(shù)產(chǎn)品化落地的比例并不大,。
但是隨著高性能計算在人工智能時代成為主旋律,對于新一代高性能計算技術(shù)的需求呼之欲出,,因此我們預期會看到更多技術(shù)上的突破被真正產(chǎn)品化,。我們認為,有以下的幾個技術(shù)有很大的潛力:
?。?)chiplet技術(shù),。在高性能計算領(lǐng)域,,芯片為了追求性能會集成越來越多的晶體管,同時會需要使用最先進的半導體工藝制造,。然而,,“集成越來越多的晶體管”和“使用最新半導體工藝”這兩件事在摩爾定律遇到瓶頸的今天存在一定矛盾,因為在最新半導體工藝下的大芯片良率會下降,,成本也會大大提升,。因此,一個解決方案就是chiplet,,把一塊大芯片拆成多個小的chiplet并使用高級封裝技術(shù)做集成互聯(lián),,從而實現(xiàn)性能和成本間的折衷。
?。?)眾核技術(shù),。在大數(shù)據(jù)人工智能時代,對于算力要求很高的計算往往是可以并行化的,,因此可望通過眾核技術(shù)來解決并行計算的問題,。下一代眾核技術(shù)需要能相比GPU的SIMT擁有更強的數(shù)據(jù)流支持,并提供更好的眾核間數(shù)據(jù)通信方案,,從而提供更好的性能,。
(3)可重構(gòu)和異構(gòu)計算技術(shù),??芍貥?gòu)和異構(gòu)技術(shù)其實是一個硬幣的兩面,分別代表了通用性和專用性,。使用可重構(gòu)計算能實現(xiàn)較好的通用性,但是代價是性能上會有一定損失,;異構(gòu)計算則強調(diào)極端性能,,但是一旦任務(wù)改變,則會讓芯片閑置,,從而帶來dark silicon問題,。如何在可重構(gòu)和異構(gòu)計算之間找到一個這種平衡點將是未來的一個重要技術(shù)課題。
從市場層面上來說,,由于通用的CPU和GPU已經(jīng)難以滿足用戶對于算力的需求,,因此我們可望看到更多云服務(wù)商會采用非常規(guī)的芯片。這另一方面也涉及到了競爭差異化的問題,,隨著算力成為最主要的競爭指標,,如果使用所有競爭對手都能買到的CPU/GPU,那么就沒法實現(xiàn)差異化競爭了,。因此,,從用戶需求和競爭兩個角度來看,,都會有越來越多從事云服務(wù)的互聯(lián)網(wǎng)巨頭加入自研芯片的行列。
自研芯片包括幾種形式,,包括與Intel這樣的傳統(tǒng)處理器芯片商合作以開發(fā)帶有一定定制化功能的處理器芯片,,或者去購買IP來搭建自己定義的SoC,以及全定制的功能模塊,。一般來說,,處理器核心的門檻很高,通常采用IP授權(quán)的形式,,但是專用應(yīng)用加速器的設(shè)計則較簡單,,可以采用全定制的方案。因此,,我們預計會看到越來越多的自研芯片案例,,同時ARM的服務(wù)器端處理器IP授權(quán)業(yè)務(wù)將得到較大的發(fā)展,有望成為移動端處理器核心之外的另一個重要業(yè)務(wù),;但是人工智能加速器這類的IP我們認為更有可能是云服務(wù)商去做全定制,。