領(lǐng)先的模擬AI處理器公司Mythic日前宣布，公司正式推出業(yè)界首款模擬矩陣處理器（Mythic AMP?）M1108 AMP,。按照他們的說法,，這個新產(chǎn)品的發(fā)布預示了AI激動人心的新紀元，因為它首次提供了一種模擬計算解決方案,，該解決方案可實現(xiàn)一流的性能和性能,，并且其精度可與數(shù)字設(shè)備媲美。
報道指出,，M1108 AMP能為邊緣部署提供了無與倫比的可能性,，應用市場包括智能家居，AR / VR,，無人機,，視頻監(jiān)控,，智能城市以及工廠車間的自動化。憑借其革命性的技術(shù),，M1108 AMP處于AI處理重大新趨勢的最前沿。
報道指出,，M1108集成了108個AMP tiles ,，每個tiles都配有一個Mythic模擬計算引擎（MythicACE?），該引擎具有閃存單元,、ADC陣列,、32位的RISC-V處理器、SIMD矢量引擎,，SRAM和一個高吞吐量的片上網(wǎng)絡(luò)（NOC）路由,。
此外，四個控制tiles為系統(tǒng)主機處理器提供了高帶寬PCIe2.0接口,。M1108具有108個AMP tiles,，可提供高達35萬億次/秒的運算（TOPS），可在單個芯片上以高效率,、低延遲地高效執(zhí)行復雜的AI模型（例如ResNet-50,，YOLOv3和OpenPoseBody25）。在峰值吞吐量下運行復雜的AI模型時,，M1108的典型功耗約為4W,。而且，憑借利用成熟的40nm技術(shù)的固有成本優(yōu)勢,，并且不需要任何外部DRAM或SRAM,，M1108 AMP將以PCIe M.2和PCIe卡形式提供，并且M1108PCIe評估套件可應要求提供,。
模擬AI芯片怎么玩,？Mythic詳細講述
說到人工智能硬件，我們向來事無巨細,。WikiChip密切關(guān)注的一家公司是Mythic,。這家公司還沒有完全公開他們的架構(gòu)和產(chǎn)品，但一些細節(jié)已經(jīng)開始慢慢浮出水面,。在最近的人工智能硬件峰會上,，該公司的創(chuàng)始人兼首席執(zhí)行官Mike Henry）紹了該芯片的最新情況。
這家位于奧斯汀的初創(chuàng)公司由Mike Henry和Dave Fick于2012年創(chuàng)立,，最近完成了7000萬美元的B輪融資,，總?cè)谫Y額剛剛超過8500萬美元。如今,，公司員工已增至110人,。
Mythic是一家模擬公司,。但是，在我們探討細節(jié)之前,，必須指出,，它們目前僅專注于推理，無論是在數(shù)據(jù)中心還是在邊緣,。到2024年,，這兩個市場的TAM（Total Available Market總體有效市場）
預計將達到250億美元，這就是為什么這里有如此多的關(guān)注點的原因,。從長遠來看,，Mythic計劃針對大眾市場的消費品和汽車產(chǎn)品。
把所有東西都放在芯片上,，放在閃存里
隨著模型準確性的提高,，其大小也會隨之增加。如今,，模型達到了數(shù)億個參數(shù),，甚至達到數(shù)十億。最重要的是,，通常實時地需要確定性行為,，例如一致的幀速率和延遲。這就是Mythic的作用,。Mythic的論點很簡單：將足夠的存儲與大量并行計算單元打包在芯片上,，以最大化內(nèi)存帶寬并減少數(shù)據(jù)移動的能力。但是有一個轉(zhuǎn)變——這就是Mythic的原始方法的閃光點——該公司拋棄了傳統(tǒng)的SRAM,，轉(zhuǎn)而使用更密集的閃存,，此外，Mythic還計劃在模擬環(huán)境下直接在內(nèi)存中進行本地計算,。
但是為什么是閃存,？答案很簡單：因為它密度大，功耗低,，而且便宜,，幾乎比SRAM的密度大兩個數(shù)量級。
理論上,，Mythic的芯片更像內(nèi)存,，而不是傳統(tǒng)的CMOS。從更長的路線圖來看,，隨著SRAM bit cell的擴展變得越來越困難,，它帶來的好處也越來越深遠?？偟膩碚f,，從每美元的性能,、每單位成本的密度和每瓦特的性能來看，這是一個潛在的巨大勝利,。
多年來,，我們看到了一大堆路線圖，當他們開始談論未來10年的時候,，很容易忽視它,。但對Mythic來說，有一些不同之處,。值得特別指出的是，目前Mythic正在研究40納米的嵌入式閃存,。他們有一個相當清晰的28nm和22nm的路徑,，因此，粗略地說,，這個圖的一半是基于今天已經(jīng)發(fā)布的現(xiàn)有節(jié)點,。
Mythic公司的首席執(zhí)行官Mike Henry似乎相信他們可以繼續(xù)這樣做，但是盡管正在進行一些工作以繼續(xù)擴展到16/14納米節(jié)點,，還不清楚它是否會上市,。
許多業(yè)內(nèi)人士認為，嵌入式閃存在22納米的時候遭遇了瓶頸,。在與Mythic的一次簡短交談中,，他們告訴我們，他們并沒有與嵌入式閃存結(jié)合,，如果其中一項新興技術(shù)（如多位ReRAM,、PCM或NRAM）作為一種強大的替代技術(shù)出現(xiàn)，他們肯定會考慮遷移到這種技術(shù),。
IPU
Mythic的芯片被稱為IPUs或智能處理單元,。在外設(shè)方面，該芯片非常簡單,，由PCIe的x4通道和DNN平鋪網(wǎng)格組成,，PCIe是負責整個芯片管理的基本控制處理器。由于芯片的設(shè)計是為了存儲整個模型,，沒有DRAM,。
Mythic表示，由于這是一個基于tiles的設(shè)計,，如果有需求,，他們可以通過添加直接的音頻/視頻和各種其他接口來進一步定制。在去年的Hot Chip上,，Mythic談論的是一款5000萬權(quán)值（weights）的初始產(chǎn)品,。在最近的人工智能硬件峰會上,，Mike Henry表示，初始產(chǎn)品權(quán)值將達到1.2億,，這比最初的計劃要多很多,。在富士通的40nm制程中，近標線全尺寸芯片應具有約300M權(quán)值的容量,，因此120M仍然是一個相當大的芯片,。
IPU的作用是作為一個連接到主機的PCIe加速器。對于大型模型或多個模型,，可以使用多個IPU,。模型最初被加載到IPU中，并保持靜止,。沒有DRAM和編程閃存相對較慢,，因此模型應該能夠適應芯片與多個應用映射到同一芯片。這對于許多邊緣應用程序來說非常典型,。在正常操作下,，主機CPU將數(shù)據(jù)發(fā)送到IPU，并通過PCIe端口接收結(jié)果,。
IPU總體設(shè)計（WikiChip）
該芯片由DNN tiles構(gòu)成網(wǎng)格,。在一個tiles里面是一個模擬矩陣乘法器，它建立在一個巨大的嵌入式閃存池的頂部,，用來計算權(quán)值,。嵌入式閃存單元使用浮動柵極通過存儲電荷、控制閾值電壓來存儲位,。晶體管支持256級電導（G=1/R）之間的完全關(guān)閉和打開狀態(tài),，Mythic用它來表示8位值。
通過將所有神經(jīng)元的權(quán)值映射到閃光晶體管上,，他們可以利用歐姆定律自然地進行矩陣乘法運算,。實現(xiàn)的方法是使用閃光晶體管將權(quán)值表示為可變電阻。這在計算之前執(zhí)行一次,。使用8位DAC,，輸入矢量作為一組電壓通過可變電阻。根據(jù)歐姆定律,，輸出電流是輸入數(shù)據(jù)與權(quán)值向量（I = V x G）相乘的結(jié)果,。最后，一組adc將產(chǎn)生的電流轉(zhuǎn)換回數(shù)字值,，成為輸出矢量,。ReLu和其他各種非線性操作也由adc在那個時間點完成。
圍繞這個組件還有一些額外的邏輯。不管工作條件如何,，DAC/ADC封裝器都會進行補償和校準,，以獲得精確的8位計算—類似于今天的圖像傳感器所做的工作。
模擬矩陣乘法（wikichip）
需要指出的是,，這個方案沒有實際的內(nèi)存訪問,。矩陣相乘是在內(nèi)存中完成的，利用歐姆定律,，所以沒有權(quán)值訪問能量,。使用固定權(quán)值時，也沒有批量大小或其他特殊處理,。雖然固定容量可能會帶來一些問題,。順便說一下，它們支持神經(jīng)元稀疏,，但不支持權(quán)值稀疏性,。
有趣的是，Mythic說,，對于他們的第一代，為了加快開發(fā)和上市時間,，他們不會使用DAC作為輸入,。相反，他們使用一個數(shù)字近似電路,，由此分別計算每個輸入位,，然后累加結(jié)果。他們將在將來用DAC消除這種情況,，這有望為他們提供一些很好的改善,。