在之前舉辦的RISC-V峰會上,，Esperanto Technologies的首席執(zhí)行官Art Swift宣布了一款基于RISC-V的新型芯片，旨在進(jìn)行機(jī)器學(xué)習(xí),，包含基于開源RISC-V架構(gòu)的近1100個低功耗內(nèi)核,。

　　這個產(chǎn)品在發(fā)布之后引來了廣泛討論。今日,，EEjournal采訪了該公司的創(chuàng)始人,，談及這款芯片的設(shè)計背后的一些想法。

　　據(jù)介紹,，該芯片被定名為ET-SoC-1,。從設(shè)計上看，它包括了處理器核心,，內(nèi)存塊和網(wǎng)狀網(wǎng)絡(luò),。

　　報道指出，Esperanto公司在ET-SoC-1 的設(shè)計上已經(jīng)花費(fèi)了很多年的時間,，且直到現(xiàn)在,，該公司尚未收到第一批芯片，但是該項目已經(jīng)公諸于世,。該公司創(chuàng)始人Dave Ditzel和首席執(zhí)行官Art Swift（首席執(zhí)行官）就像快樂的父母一樣為他們的“新寶寶”感到興奮,。

　　據(jù)報道，Ditzel在微處理器領(lǐng)域擁有輝煌的履歷,，他曾擔(dān)任Intel副總裁,，是x86克隆制造商Transmeta的創(chuàng)始人，Sun SPARC業(yè)務(wù)的首席技術(shù)官,，以及擁有David Patterson博士的UC Berkeley研究生的碩士學(xué)位,。Swift則畢業(yè)于賓夕法尼亞州立大學(xué)的EE專業(yè)。,，曾領(lǐng)導(dǎo)過RISC-V基金會的市場部PPR Foundation,，在加入Esperanto之前，他還擔(dān)任過Wave Computing的首席執(zhí)行官,。這些家伙就是在培育新的處理器,。

　　這家擁有100名員工的公司認(rèn)為我們在AI問題上全都錯了。

　　首先，他們指出,，將一個供應(yīng)商的AI芯片與另一個供應(yīng)商的AI芯片進(jìn)行比較是沒有意義的,。正確的方法是查看每瓦而不是每個芯片的AI功能。瓦特很重要,。芯片只是封裝選擇,。

　　其次，可編程性是關(guān)鍵,。

　　“如果您向硬件人員提出AI問題,，他們將需要定制設(shè)計一些東西以優(yōu)化內(nèi)部循環(huán)。但這將很難編程,。” Ditzel說,?！巴ㄓ肐SA [指令集體系結(jié)構(gòu)]擅長外部循環(huán)，幾乎沒有額外的開銷,?！?/p>

　　Esperanto將特殊和通用的習(xí)慣與開源相結(jié)合。它的AI加速硬件是定制的,，但已嫁接到通用RISC-V架構(gòu)上,。Ditzel說，RISC-V的“底盤系統(tǒng)”使ET-SoC-1芯片易于編程,，而定制加速器使其值得這樣做,。

　　他們指出，整個芯片在設(shè)計時就考慮到了低功耗,，因此與“現(xiàn)有解決方案”相比,，其性能要高出30倍至50倍，同時還具有100倍的高能效,。這個數(shù)據(jù)是根據(jù)Esperanto的模擬得出的,，而我們離真正看到芯片還有幾個月的時間。

　　在這些比較中,，“現(xiàn)有解決方案”是Intel和AMD的x86芯片,。Esperanto從未明確表示公司是否與其他供應(yīng)商的AI芯片進(jìn)行比較，例如Groq,，Mythic或Swift的前任雇主——幾乎已經(jīng)破產(chǎn)的Wave Computing,。

　　用Ditzel的話說，因為這么多機(jī)器學(xué)習(xí)任務(wù)“令人難以置信地是并行的”,，所以針對ET-SoC-1的大規(guī)模并行設(shè)計似乎是正確的方法,。當(dāng)然是這樣。該芯片上有1093個處理器，全部基于RISC-V,。其中絕大多數(shù)（1088）是所謂的ET-Minion處理器,，由四個ET-Maxion處理器和一個服務(wù)處理器（也基于RISC-V）提供服務(wù)。

　　Minion被分成八組,，稱為“鄰居”,。四個鄰域構(gòu)成一個“郡”，而6×6的郡陣列組成一個ET-SoC-1芯片,。（一個郡裝有四個ET-Maxion內(nèi)核,，一個郡裝有PCIe邏輯，這就是為什么總數(shù)不是1152的原因,。）整個晶體管的總重量為238億個,。

　　但它一直在繼續(xù)。每個ST-SoC-1芯片都設(shè)計為與相似的芯片群集在一起,，在標(biāo)準(zhǔn)插入卡上最多包含六個芯片,，以及存儲器和支持邏輯。這些卡可以組合成“底座”,，底座分成“小方塊”,，八個小方塊可放入標(biāo)準(zhǔn)的19英寸機(jī)架中，當(dāng)然,，成千上萬個機(jī)架排列在典型數(shù)據(jù)中心的“大廳”中,。您幾乎可以期望世界語為擴(kuò)展數(shù)據(jù)中心建筑物制定分區(qū)委員會計劃。

　　對于這些人來說,，可伸縮性很重要,。

　　追溯到開始，每個ET-Minion內(nèi)核都以一個相當(dāng)簡單的RISC-V pipeline實施以及一個大型AI加速器開始,。它旨在以盡可能低的電壓實現(xiàn)適中的時鐘速度（在1 GHz附近）,。Esperanto的初始硅片是采用臺積電的7nm工藝制造的，其設(shè)計工作在電壓范圍的低端,，幾乎所有東西都在同一電壓平面上,，甚至包括高速緩存。

　　“在低電壓下,，晶體管的效率提高了5倍至10倍,，但沒有接近閾值電壓。作為架構(gòu)師,，我們知道如何彌補(bǔ)降低的速度,。” Ditzel辯護(hù)說,，他的芯片的頻率相對較高,。七納米與其他節(jié)點(diǎn)不同,。導(dǎo)線是電阻性的，高頻操作需要大量緩沖器,。

　　每個ET-Minion的CPU都是單標(biāo)量,，雙線程的有序?qū)崿F(xiàn)。與之結(jié)合的是具有256位浮點(diǎn)一半和512位整數(shù)一半的自定義矢量/張量單元,。FP半部每個周期可以執(zhí)行單個256位操作,，或者（更有可能）執(zhí)行16個單精度（32位）操作或32個半精度（16位）操作。整數(shù)端可以類似地在每個周期執(zhí)行一次512位操作或128字節(jié)寬的操作,。

　　Ditzel和Swift沒有詳細(xì)說明這些操作的內(nèi)容,，只是暗示它們可能很長很復(fù)雜?！皬埩恐噶羁梢赃\(yùn)行數(shù)百個周期”,，并且RISC-V pipeline將休眠直到完成為止，從而節(jié)省了功耗,?！俺绦騿T認(rèn)為這是RISC-V，但是99.9％的時間花在了張量指令上,。”

　　從理論上講,，每個ET-Minion都可以提供128 GOPS / GHz,。換句話說，每個周期128次操作,。那只是ET-Minion內(nèi)核之一,，每個芯片上有1088個。

　　堆砌很多專業(yè)核心是一回事,。讓他們以有意義的方式交流是另一回事,。Diztel說道。他指出：“這里的大部分工作和智慧都在存儲系統(tǒng)中,?！?“相加不是硬的部分。該芯片具有一個真正的內(nèi)存系統(tǒng),，具有三級高速緩存等,。軟件人員看著它說：”我知道該怎么編程！“

　　緩存出現(xiàn)在每個ET-Minion核心,，每個鄰域和每個郡中,。如果可以的話，每個高速緩存可以可選地配置為暫存RAM,。整個事物由Esperanto自身的網(wǎng)狀網(wǎng)絡(luò)綁定在一起,，并且硬件實現(xiàn)了幾個同步原語，包括原子，屏障和IPI（智能外圍互連）支持,。與外界的接口是通過PCI4 Gen 4和LPDDR4x實現(xiàn)的,。

　　相比之下，四個ET-Maxion處理器是高性能的亂序?qū)崿F(xiàn),，意在充當(dāng)獨(dú)立系統(tǒng)中的”主機(jī)“處理器,。數(shù)據(jù)中心客戶可能更喜歡Intel或AMD的x86處理器，在這種情況下,，Maxions可以擱置（或被忽略）,。

　　Esperanto說，該芯片的”典型工作點(diǎn)“低于20瓦,，對于如此大規(guī)模配置的設(shè)備而言,，這似乎是非凡的。要么”典型“條件是非典型的,，要么Ditzel的設(shè)計團(tuán)隊在提供最佳每瓦AI性能的目標(biāo)方面取得了驚人的成功,。

　　為了進(jìn)行比較，像英特爾的酷睿i7-1068（第10代Sunny Cove / Ice Lake-U微體系結(jié)構(gòu)）這樣的新型筆記本電腦處理器的TDP為28W,。這僅適用于四個x86內(nèi)核和一個GPU,。英特爾的一些低功耗處理器的TDP低于15W或20W，但與Esperanto競爭的該公司的臺式機(jī)和服務(wù)器處理器卻占據(jù)了100-200W的領(lǐng)域,。

　　即使考慮到性能的（假定）提升,，這對Esperanto的支持也是一個數(shù)量級的差異。

　　與對傳統(tǒng)CPU進(jìn)行基準(zhǔn)測試（足夠難）相比,，對機(jī)器學(xué)習(xí)工作負(fù)荷進(jìn)行基準(zhǔn)測試是完全不同的游戲,。很難知道任何AI處理器的速度和效率如何，更不用說它在推理/瓦特,，GOPS / GHz或Furlongs / fortnight上的比較了,。

　　不過，基于其經(jīng)驗豐富的的全明星陣容,，我們對其還有很大的期望,。

　　延伸閱讀：Esperanto推出具有接近1100個RISC-V內(nèi)核的AI芯片

　　在今年的RISC-V峰會上，Esperanto Technologies的首席執(zhí)行官Art Swift宣布了一款基于RISC-V的新型芯片,，旨在進(jìn)行機(jī)器學(xué)習(xí),，包含基于開源RISC-V架構(gòu)的近1100個低功耗內(nèi)核。

　　總部位于加州山景城（Mountain View）的Eseranto Technologies是在2014年創(chuàng)建的,，該公司的其他網(wǎng)站遍布美國和歐洲,，”其目標(biāo)是讓RISC-V成為計算機(jī)密集型應(yīng)用程序（如人工智能和機(jī)器學(xué)習(xí)）的首選架構(gòu)?！癝wift追溯到2017年新芯片的歷史,，當(dāng)時Esperanto的創(chuàng)始人兼董事長Dave Ditzel在第七屆RISC-V研討會上提出了Esperanto的愿景,。

　　在那個研討會上，Ditzel設(shè)定了一個目標(biāo)：”在單個設(shè)備上放置4,000個或更多的內(nèi)核“,。Ditzel要求通過RISC-V提供簡單的指令集,，并要求在定制微體系結(jié)構(gòu)和專有的低功耗設(shè)計技術(shù)領(lǐng)域進(jìn)行創(chuàng)新?！痹陔S后的三年中,，我們已經(jīng)籌集了7700萬美元的風(fēng)險投資，現(xiàn)在已經(jīng)完成了我們的第一個設(shè)計,，這是基于RISC-V的一系列AI處理器中的第一個,，“ Swift說。

　　名為et - soc1的新芯片包含兩種通用64位RISC-V內(nèi)核：首先是ET-Maxion,，一個超標(biāo)量無序內(nèi)核（每個芯片4個）,；其次是ET-Minion，一種”更精簡,、節(jié)能“的有序多線程內(nèi)核,，它包含一個用于機(jī)器學(xué)習(xí)應(yīng)用的大型協(xié)處理器（每個芯片1089個，包括一個服務(wù)處理器）,。

　　Esperanto公司ET-SoC-1 die圖,。圖片由Art Swift提供。

　　芯片擁有238億個晶體管,，采用了TSMC公司的7nm技術(shù),，直接針對超大規(guī)模的數(shù)據(jù)應(yīng)用（”特別是推斷，“Swift說）,。Swift說，該芯片使用了通用架構(gòu),，以保護(hù)客戶免受ML模型隨著時間的推移可能帶來的不兼容,。

　　正如Swift所解釋的那樣，在數(shù)據(jù)中心應(yīng)用程序中,，ET-Maxion內(nèi)核可能會被隨附的Intel或AMD主機(jī)CPU所取代-但是在邊緣應(yīng)用程序中,，Maxions對于保持低成本至關(guān)重要。

　　這些芯片支持pcie4.0和DDR4x RAM（最高32GB）,，Swift表示,，一張PCIe卡上最多可以容納6個芯片。舉個例子,，Swift展示了一個開源的Glacier Point 卡,，它可以容納6個ET-SoC-1芯片。（”這是我們的全部策略,，盡可能地利用開源社區(qū),?！埃?/p>

　　Glacier Point v2卡，最多可容納六個ET-SoC-1芯片,。圖片由Art Swift提供,。

　　在軟件方面，”我們支持所有常見的機(jī)器學(xué)習(xí)框架,，“Swift說,，并解釋Esperanto利用Facebook的開源GLOW編譯器作為中心。

　　雖然他們還沒有使用物理硅,，但Swift基于芯片仿真共享數(shù)據(jù),。”當(dāng)我們將我們的性能與現(xiàn)有解決方案在數(shù)據(jù)中心的實際測量性能進(jìn)行比較時,，“他說,，”我們發(fā)現(xiàn)，我們預(yù)計在關(guān)鍵工作負(fù)載（如推薦網(wǎng)絡(luò)）上的性能將提高50倍,，在圖像分類方面,，我們的性能將比現(xiàn)有解決方案高出30倍?！?/p>

　　”但可能更令人興奮和更重要的是,，“他繼續(xù)說，”我們能夠獲得的能源效率,。就每瓦特功率的推斷而言,，我們希望看到比現(xiàn)有的解決方案高出100倍的能源效率?！?/p>

　　Esperanto將ET-SoC-1的性能效率歸因于幾個因素,，包括RISC-V的簡單性、ET Minion核心上的機(jī)器學(xué)習(xí)協(xié)處理器,、”唯一優(yōu)化“的內(nèi)存層次結(jié)構(gòu)和定制的低壓電路,。

　　Swift反復(fù)強(qiáng)調(diào)，ET-SoC-1只是Esperanto新產(chǎn)品系列的第一位成員,，并解釋說,，該芯片的基于圖塊的設(shè)計使其易于”擴(kuò)展至數(shù)千個內(nèi)核或縮減至數(shù)百個內(nèi)核“，以滿足需求,?！睆某笠?guī)模數(shù)據(jù)中心到邊緣AI以及兩者之間的一切?！?/p>

　　Esperanto的聲明緊隨英偉達(dá)收購Arm之后,，這讓很多人懷疑，收購后大家對RISC-V的興趣和接受度是否會激增,。Esperanto還進(jìn)入了一個越來越擁擠的推理芯片市場,，競爭對手包括Xilinx,、Mythic、Groq和英特爾的Habana Labs