如果你去詢問十位不同的工程師,，他們將如何設(shè)計(jì) AI 加速器,，您將獲得十種不同的方法來在現(xiàn)代前沿芯片上排列數(shù)十億個(gè)晶體管,。

　　來到 Esperanto Technologies方面，因?yàn)楣緞?chuàng)始人Dave Ditzel 等人在CPU設(shè)計(jì)上擁有豐富的經(jīng)驗(yàn),，所以他們對(duì)機(jī)器學(xué)習(xí)芯片設(shè)計(jì)有獨(dú)到的見解——如果一個(gè)定制 CPU 還不夠，那么兩種設(shè)計(jì)怎么樣,？憑借近 240 億個(gè)晶體管的預(yù)算,，Esperanto 設(shè)法在他們的第一個(gè) AI 加速器 ET-SoC-1 上集成了1,100 個(gè)基于RISC-V設(shè)計(jì)的內(nèi)核。

　　ET-SoC-1是“Esperanto Technologies Supercomputer-on-Chip 1”的簡稱,。這是一款面向超大規(guī)模數(shù)據(jù)中心市場,，是初創(chuàng)公司Esperanto的人工智能加速器系列的第一款產(chǎn)品。ET-SoC-1 是一款推理加速器,，而不是訓(xùn)練,。雖然芯片的設(shè)計(jì)已經(jīng)完成，但截至今年早些時(shí)候,，我們還沒看到任何他們的芯片,。但早在2020年的時(shí)候，大家就對(duì)Esperanto有所討論,。毫無疑問,，公司的開發(fā)計(jì)劃顯然已經(jīng)推遲。因?yàn)槿绻碌臅r(shí)間表保持不變,，那么芯片應(yīng)該會(huì)在本季度回片，預(yù)計(jì)在 2022 年初投產(chǎn),。

　　在其他 AI 初創(chuàng)公司已經(jīng)生產(chǎn)芯片樣品一年多之后,，延遲兩年是代價(jià)是相當(dāng)昂貴的。盡管如此,，Esperanto終于準(zhǔn)備好在 8 月舉行的 Hot Chips 33 會(huì)議上分享新芯片的技術(shù)細(xì)節(jié),。

　　Esperanto Technologies 首席執(zhí)行官 Art Swift 發(fā)布了一些關(guān)于該芯片性能的披露。Swift 表示,，“我們希望能在推薦網(wǎng)絡(luò)（recommendation networks）等關(guān)鍵工作負(fù)載上的性能提高多達(dá) 50 倍,，圖像分類（image classifications）的性能提高多達(dá) 30 倍?！?/p>

　　這些聲明指的是 ET-SoC-1 的全芯片仿真與“數(shù)據(jù)中心現(xiàn)有競爭對(duì)手”的測量推理基準(zhǔn)測試的對(duì)比結(jié)果,。“但可能更令人興奮和更重要的是我們的芯片能夠獲得更好的功耗表現(xiàn),。與現(xiàn)有解決方案相比,，我們預(yù)計(jì)每瓦特推斷的能源效率將提高 100 倍，”他補(bǔ)充道,。

　　過于這些寬泛的性能陳述,，我們必須持保留態(tài)度，但Esperanto說,，我們可以期待在不久的將來看到已發(fā)布的表征硅結(jié)果,。

　　Tile Up

　　Esperanto使用基于平鋪架構(gòu)（tiled architecture）的常規(guī)設(shè)計(jì),。該芯片使用該公司定制設(shè)計(jì)的 RISC-V 兼容 CPU 內(nèi)核，它使用具有傳統(tǒng)內(nèi)存層次結(jié)構(gòu)的標(biāo)準(zhǔn) DDR4 內(nèi)存,，并利用了所有可用的 RISC-V 軟件生態(tài)系統(tǒng),。換句話說，就所有實(shí)際目的而言,，ET-SoC-1 作為標(biāo)準(zhǔn) RISC-V 服務(wù)器 CPU 通過了Duck Test,，盡管它有很多簡單的內(nèi)核，但在一般工作負(fù)載上卻表現(xiàn)不佳,。

　　事實(shí)上,，Esperanto認(rèn)為，正是出于這個(gè)原因,，他們的解決方案在很大程度上是面向未來的,。該公司表示，它結(jié)合了大量 CPU,，可以從數(shù)百個(gè)內(nèi)核擴(kuò)展到數(shù)千個(gè)內(nèi)核,。事實(shí)上，由于 ET-SoC-1 是為數(shù)據(jù)中心設(shè)計(jì)的,，對(duì)于邊緣推理等低功耗應(yīng)用,，我們可能會(huì)期待 ET-SoC-1 的相同縮減版本。什么時(shí)候Esperanto首先開始在極高的層次上談?wù)撍麄兊脑O(shè)計(jì),，他們將芯片的內(nèi)核數(shù)量推論為我們將在本文中討論的 ET-SoC-1 的 4 倍,。如果 Esperanto 的設(shè)計(jì)證明了自己，那么在這樣的方向上擴(kuò)展 ET-SoC-1 并不超出 Esperanto 的能力范圍,。

　　定制核心

　　Esperanto走的是RISC-V路線,。他們?cè)O(shè)計(jì)了兩個(gè)定制內(nèi)核——ET-Minion 和 ET-Maxion。顧名思義,，ET-Maxion 是典型的大內(nèi)核設(shè)計(jì),，能夠運(yùn)行 Linux 等標(biāo)準(zhǔn)操作系統(tǒng)。同樣,，ET-Minion 是主力小型 CPU,，具有用于處理矩陣乘法等操作的自定義張量擴(kuò)展。在 ET-SoC-1 的上下文中,，ET-Maxion 用作控制 CPU,，而 ET-Minions 執(zhí)行繁重的數(shù)據(jù)處理。

　?。?）ET-Maxion

　　正如我們之前提到的,，ET-Maxion 是一種定制的高性能大核設(shè)計(jì)?；谂_(tái)積電 7nm工藝設(shè)計(jì)并且頻率超過 2 GHz,。

　　ET-Maxion 實(shí)際上是加州大學(xué)伯克利分校亂序機(jī)器 （UC Berkeley Out-of-Order Machine ：BOOM） v2 CPU 的一個(gè)分支,，但是已經(jīng)進(jìn)行了很多更改/改進(jìn)以使其更具競爭力和商業(yè)產(chǎn)品所需的質(zhì)量，以至于在這一點(diǎn)上幾乎無法識(shí)別該譜系,。

　　事實(shí)上,，開發(fā) BOOM 的 Chris Celio 已經(jīng)投奔Esperanto，從事 ET-Maxion 的研發(fā)工作（盡管自 2020 年以來,，他以 CPU 架構(gòu)師的身份加入英特爾）,。與 BOOM 相比，ET-Maxion 觸及了機(jī)器的方方面面,。它更寬,、更長、更大,。整個(gè)前端重新設(shè)計(jì),，各種執(zhí)行單元重新設(shè)計(jì)。

　　它具有新的當(dāng)代最先進(jìn)的分支預(yù)測器（branch predictors）和預(yù)取器（prefetchers）,。有新的底層（ground-up）緩存和支持 ECC 的 TLB,。最后，Esperanto增加了商業(yè)級(jí)芯片調(diào)試和性能監(jiān)控功能,。在性能方面,，據(jù)說 ET-Maxion 在 SPEC2006 的 ISO 頻率上略微落后于 Cortex-A72，但領(lǐng)先于 Cortex-A57,。在 SiFive 最近宣布P550之前,，ET-Maxion 可能是 RISC-V 世界中可用的最高性能內(nèi)核。最近,，SiFive 推出了 P550 內(nèi)核，據(jù)稱該內(nèi)核在 2006 年的 SPECInt 得分為 8.65/GHz,，在 IPC 中的表現(xiàn)明顯優(yōu)于 ET-Maxion（和 A72）,。

　　ET-Maxion 是一個(gè)具有 10 級(jí)流水線的無序 CPU 內(nèi)核。內(nèi)核是一個(gè)四寬機(jī)器——每個(gè)周期能夠獲取 16B,，解碼它們,，并以每個(gè)周期 4 條指令的速率將它們分派到后端。從具有奇偶校驗(yàn)（parity ）和 ECC 支持的 32 KiB 分塊指令緩存中獲取指令,。Esperanto說,，他們相當(dāng)多的工作都投入到一個(gè)新的最先進(jìn)的條件預(yù)測器和一個(gè)由 2K 條目壓縮 BTB 支持的基于路徑的間接預(yù)測器上。

　　分支預(yù)測器包括兩級(jí)預(yù)測器,。一個(gè)快速的,、基于單周期 BTB 的預(yù)測器執(zhí)行初始猜測，該猜測得到第二級(jí),、較慢的多周期,、高精度分支預(yù)測器的支持,，后者可能會(huì)覆蓋它。

　　每個(gè)周期,，最多可以向調(diào)度程序發(fā)送四個(gè)指令,。ET-Maxion 使用分布式調(diào)度器（distributed scheduler ）設(shè)計(jì)，總?cè)萘繛?64 個(gè)條目,。其中LSU 有一個(gè)調(diào)度程序,，F(xiàn)PU 有一個(gè)調(diào)度程序，復(fù)雜 ALU 有一個(gè)調(diào)度程序,，簡單 ALU 有一個(gè)調(diào)度程序,。請(qǐng)注意，有兩個(gè)簡單的 ALU,，復(fù)雜的 ALU 單元也能夠處理分支操作,。

　　執(zhí)行單元由一個(gè) 64-entry 的浮點(diǎn)物理寄存器文件（physical register file）和一個(gè) 128-entry的整數(shù)物理寄存器文件提供。在執(zhí)行單元方面,，機(jī)器有五個(gè)寬,，兩個(gè)簡單的整數(shù)單元位于單個(gè)調(diào)度程序上。每個(gè)周期最多可以安排 5 條指令執(zhí)行,。浮點(diǎn)單元為 64b 寬,，完全支持 RISC-V 32 位 （F） 和 64 位 （D） 浮點(diǎn)擴(kuò)展。

　　總體而言,，內(nèi)核的上限是其128-entry的重新排序緩沖區(qū),，與機(jī)器的前端一樣，每個(gè)周期最多可以退出 4 條指令,。

　　Esperanto最初考慮使用自定義 ISA,，但由于其簡單性，他們最終選擇了 RISC-V,。該公司解釋說,，簡單的架構(gòu)使他們能夠?qū)⒏嗟木性谛阅芴匦陨希皇墙鉀Q其他 ISA 的極端問題,。

　　ET-Maxion 的平面圖如下所示,。請(qǐng)注意，這是沒有顯示 L2 的核心,。從die plot可以看出,，相當(dāng)大的面積用在了緩存陣列（幾乎占面積的1/3）和分支預(yù)測單元上。核心的頂部是硬件預(yù)取器 （HPF）（僅限 L1）,，與其他組件相比,，它非常大。選擇使用更積極（更慢但更準(zhǔn)確）的預(yù)取器使他們能夠?qū)⑵浞胖迷陉P(guān)鍵路徑的頂部和外部，從而簡化接線,。

　?。?）ET-Minion

　　ET-Minion 是來自Esperanto的第二個(gè)定制 CPU 內(nèi)核。這個(gè)內(nèi)核和上一個(gè)有很大的不同,，更有趣一點(diǎn),。ET-Minion 也是 64 位 RISC-V 處理器，但這是一臺(tái)有序機(jī)器,。

　　由于這是一個(gè)面向吞吐量（throughput-oriented）的核心,，它也是多線程的，具有兩個(gè)可以在停頓時(shí)交替的線程,。ET-Minion 采用流水線標(biāo)量設(shè)計(jì)——每個(gè)周期獲取,、解碼和發(fā)出一條指令。（請(qǐng)注意,，下圖可能缺少一些細(xì)節(jié),，因?yàn)镋speranto主要討論了核心的矢量功能）。

　　針對(duì)推理加速,，Esperanto的秘密武器是ET-Minion的執(zhí)行引擎,。ET-Minion 的后端是向量密集型的，并且只有一個(gè)執(zhí)行單元來執(zhí)行 RISC-V 架構(gòu)所需的所有必要 （64b） 操作,。核心的大部分包括兩個(gè)向量流水線（vector pipelines）,。有一個(gè) 256b 的浮點(diǎn)向量單元和一個(gè) 512b 的整數(shù)向量單元。伴隨這些向量單元的是兩個(gè)寄存器文件——一個(gè) 32-entry的 256b FP 寄存器文件（register file）和一個(gè) 32-entry的 256b 整數(shù)寄存器文件,。請(qǐng)注意,，這些寄存器文件對(duì)于每個(gè)線程都是重復(fù)的（即，總共 64 個(gè)條目）,。

　　FP 矢量單元細(xì)分為 8×32 位 FMA,，能夠執(zhí)行高達(dá) 16 SP FLOPs/cycle 或 32 HF FLOPs/cycle。整數(shù)向量單元的寬度為 512b,，是 FP 向量單元的兩倍,。該單元細(xì)分為 16×32 位 TIMA，能夠執(zhí)行多達(dá) 128 個(gè) INT8 OP/周期,。雖然可以從 FP 向量寄存器文件中輸入 FP 向量單元，但兩倍寬的整數(shù)向量單元需要從 FP 向量寄存器文件中獲取一半的向量 （256b）,，另一半從其自己的私有整數(shù)中獲取組合的 512 寬向量的寄存器文件 （256b）,。

　　Esperanto 在 ET-Minion 中加入了大量的浮點(diǎn)運(yùn)算能力，這與其他當(dāng)代加速器形成了鮮明的對(duì)比,。通常我們看到的加速器只提供 INT8 操作,。雖然您可以從 8 位量化中獲得相當(dāng)高的保真度，但Esperanto對(duì)于需要 FP16（或 32）的工作負(fù)載確實(shí)具有優(yōu)勢。

　　除了向量單元之外,，ET-Minion 還包含一個(gè)向量超越單元（vector transcendental unit ）,，可以執(zhí)行如各種三角函數(shù)、指數(shù)和對(duì)數(shù)等超越函數(shù)（transcendental functions）,，以加速諸如激活函數(shù)（activation functions）之類的事情,。trans 單元是基于 ROM 的，有利于降低芯片的功耗,。

　　這里的向量單位還有許多其他細(xì)微差別,。除了標(biāo)準(zhǔn)的 RISC-V 指令外，Esperanto還實(shí)現(xiàn)了自己的指令擴(kuò)展,。他們添加了多周期張量指令和伴隨的向量超越指令（ector transcendental instructions）,。

　　這一舉措會(huì)讓我們的一些讀者感到有些不安，尤其是因?yàn)镋speranto已經(jīng)如此多地談?wù)摿?RISC-V 的好處,。但現(xiàn)實(shí)是,，RISC-V 和所有其他 ISA 一樣，沒有任何加速 AI 的具體說明,，此類擴(kuò)展是邪惡的,。事實(shí)上，RISC-V 基金會(huì)預(yù)見到了這一點(diǎn),，并將自定義擴(kuò)展直接融入到規(guī)范中,，這就是為什么 Espernato 可以以標(biāo)準(zhǔn)方式做到這一點(diǎn)。目前尚不清楚Esperanto是否會(huì)公開披露其擴(kuò)展指令,，或者他們是否計(jì)劃將其保留為專有,，因?yàn)檫@與他們聲稱的面向未來的說法背道而馳。

　　多周期張量指令允許內(nèi)核讀取單個(gè)指令,，并且通過使用張量定序器（ sequencers）狀態(tài)機(jī),，它可以重放一系列超過 100s 甚至 1000s 周期的操作。與大多數(shù)定序器一樣,，ET-Minion 時(shí)鐘對(duì)整個(gè)前端以及在發(fā)布和執(zhí)行張量操作時(shí)未使用的每個(gè)其他單元進(jìn)行門控,。這允許內(nèi)核進(jìn)一步降低功耗。

　　順便說一下,，ET-Minion的物理設(shè)計(jì)本身就非常獨(dú)特,。流水線的每級(jí)門數(shù)設(shè)計(jì)為低（low gate count），以提高低電壓下的頻率,。Esperanto更進(jìn)一步,，設(shè)計(jì)了自己的定制 SRAM，而不是使用臺(tái)積電的標(biāo)準(zhǔn) SRAM 產(chǎn)品,。這些cell雖然體積較大,，但可以在相當(dāng)?shù)偷碾妷合路€(wěn)定運(yùn)行——遠(yuǎn)低于標(biāo)稱值,。

　　“當(dāng)我談?wù)摰碗妷翰僮鲿r(shí)，我的真正意思是在遠(yuǎn)低于標(biāo)稱電壓的情況下操作,。因此,，如果標(biāo)稱電壓為 0.75 V 左右，我們的工作電壓約為 400 mV,，”Swift說,。

　　Minion  Neighborhood

　　將八個(gè) ET-Minions 組合在一起，您就會(huì)得到Esperanto所說的 Minion Neighborhood,。在一個(gè)neighborhood內(nèi),，每個(gè)內(nèi)核競爭性地共享指令緩存。緩存容量為 32 KiB,。每個(gè)周期,，一個(gè)緩存行被發(fā)送到兩個(gè)內(nèi)核。換句話說,，指令緩存在每個(gè)周期輪詢一對(duì)內(nèi)核,，將 64B（16 條指令）發(fā)送到兩個(gè)獨(dú)立的內(nèi)核。內(nèi)核對(duì)線路進(jìn)行緩沖,，允許它們?cè)谥噶罹彺胬^續(xù)為其他內(nèi)核供電時(shí)繼續(xù)運(yùn)行,。

然后將四個(gè)neighborhood組合成一個(gè) Minion Shire，總共有 32 個(gè)核心,。每個(gè)八核neighborhood通過交叉開關(guān)（ crossbar）連接到四組 L2 內(nèi)存,。L2 包含四個(gè) 1 MiB SRAM 組，可通過軟件配置為高速緩存或暫存器存儲(chǔ)器,。在暫存器配置下,，整個(gè)內(nèi)存是一個(gè)大地址空間，軟件可以使用它以精確的方式組織數(shù)據(jù),，并以此方式訪問數(shù)據(jù),。

　　有趣的是，L2 緩存——默認(rèn)情況下是每個(gè) Minion Shire 私有的——也可以配置為可以跨越整個(gè)芯片的最后一級(jí)緩存,。所有這些功能都以per-bank granularity提供,。例如，一個(gè) bank 可以保留為暫存器,，而另一個(gè) bank 用于 1 MiB/Shire LLC,，另外兩個(gè) bank 可以配置為 2 MiB 的私有 L2 緩存。每個(gè)Shires都可以通過網(wǎng)狀互連與其他Shires進(jìn)行通信,，每個(gè)Minion Shire都有一個(gè)mesh stop,。

　　由于 ET-Minion 的低壓設(shè)計(jì)，neighborhoods和crossbar 都位于Shire內(nèi)自己的低壓電源平面上,。Shire 的其余部分（例如，分組 SRAM 和網(wǎng)狀互連組件）位于標(biāo)準(zhǔn)電壓平面上。

　　Tiled Architecture

　　Tile設(shè)計(jì)很簡單,，每個(gè) Minion Shire 都通過mesh stop連接到任何其他 Shire 和芯片上的任何其他組件,。mesh stop在四個(gè)主要方向（cardinal directions）中的每一個(gè)方向上都包含兩個(gè)單向鏈接（unidirectional links）。這些鏈接似乎每個(gè)都是 1,024b 寬,。Esperanto在芯片上有許多附加組件,，例如內(nèi)存通道和 PCIe 接口，它們也通過它們自己的網(wǎng)狀站點(diǎn)連接到整個(gè)網(wǎng)狀互連中,。

　　ET-SoC-1

　　所有這一切最終將我們引向Esperanto的第一款產(chǎn)品——ET-SoC-1,。

　　該芯片在 6×6 的網(wǎng)格中集成了 34 個(gè) Minion Shires。網(wǎng)格上的兩個(gè)附加 tiles用于控制處理器集群和 PCIe  tiles,。34 個(gè) Minion Shires 意味著芯片上有 1,088 個(gè) ET-Minion 處理器以及 136 MiB 的可配置 L2 內(nèi)存,。實(shí)際上還有一個(gè)額外的獨(dú)立 ET-Minion 充當(dāng)服務(wù)處理器。

　　最后,，ET-SoC-1 將四核 ET-Maxion tile 與 4 MiB 的私有 L2 集成在一起,，可用作自托管處理器（例如，運(yùn)行 Linux）,。雖然 ET-SoC-1 面向超大規(guī)模數(shù)據(jù)中心市場,，這意味著它與更高性能的服務(wù)器處理器一起使用，但對(duì)于邊緣應(yīng)用程序,，ET-Maxions 將在實(shí)現(xiàn)全面的高性能可操作性方面發(fā)揮更大的作用,。

　　該芯片通過低功耗 LPDDR4x 16x16b （256b） 接口供電。DRAM 控制器支持 32 GiB 的 DRAM,，速度為 137 GB/s,。

　　總而言之，ET-SoC-1 具有 1,093 （1088+1+4） 個(gè)內(nèi)核,，并通過 x8 PCIe Gen4 與外界接口,。據(jù)說該芯片的典型工作功率約為 20 瓦或低于 20 瓦，這使Esperanto能夠符合 OCP M.2 加速器模塊的規(guī)格,。我們還期望提供更高功率的 PCIe 卡,。

　　從物理上講，該芯片采用臺(tái)積電的 N7 工藝技術(shù)制造,。Esperanto沒有透露芯片尺寸,，但封裝了 238 億個(gè)晶體管，因此我們猜測該芯片的面積可能在 350 平方毫米以上,。

　　雖然它的頻率可以達(dá)到 1.5 GHz,，但名義上，芯片目標(biāo)頻率約為 1 GHz,，用于其 20 W 功率目標(biāo),。單個(gè) ET-Minion 能夠在 1 GHz 下達(dá)到 128 OPS （INT8）/周期或 128 GOPS,。

　　假設(shè)所有 1,088 個(gè) ET-Minions 都在做最有用的工作。在 1 GHz 時(shí),，我們看到整個(gè)芯片的峰值理論計(jì)算為 139.3 TOPS （INT8）,。在 1.5 GHz 時(shí)，增加到 208.9 TOPS,。

　　與許多其他加速器不同,，ET-Minions 還支持完整的 32b 和 16b 浮點(diǎn)運(yùn)算。因此,，在 1 GHz 時(shí),，如果需要 FP16，ET-SoC-1 也能夠進(jìn)行近 35 teraFLOPS（半精度）的峰值計(jì)算,。在 1.5 GHz 時(shí),，它會(huì)上升到 52。

　　帶有 6 個(gè) ET-SoC-1 芯片的 OCP Glacier Point V2 卡

　　由于該芯片適合 OCP M.2 加速器模塊,，Esperanto 建議它可以封裝為 OCP Glacier Point V2 卡的六個(gè) Esperanto Dual M.2 加速器模塊（三個(gè)在頂部,，三個(gè)在底部）。這些設(shè)計(jì)旨在直接插入 OCP Yosemite v2 多節(jié)點(diǎn)服務(wù)器平臺(tái),。

　　通過六個(gè)模塊,，每個(gè) Glacier Point 卡將擁有 6,558 個(gè) RISC-V 內(nèi)核以及 192 GiB 的 LPDDR4x 內(nèi)存和 822 GB/s 的 DRAM 帶寬。在峰值理論性能下,，該卡可以達(dá)到 835.6 TOPS （INT8） 或接近 210 teraFLOPS（半精度）,。

　　一旦Esperanto的芯片回片，我們應(yīng)該開始聽到更詳細(xì)的性能聲明,。正如我們之前提到的,，Dave Ditzel 將在 8 月即將舉行的 Hot Chips 33 會(huì)議上展示 ET-SoC-1，屆時(shí)他們可能會(huì)披露更多技術(shù)細(xì)節(jié)和基準(zhǔn),。