領(lǐng)先的模擬AI處理器公司Mythic日前宣布，公司正式推出業(yè)界首款模擬矩陣處理器（Mythic AMP?）M1108 AMP,。按照他們的說(shuō)法,，這個(gè)新產(chǎn)品的發(fā)布預(yù)示了AI激動(dòng)人心的新紀(jì)元，因?yàn)樗状翁峁┝艘环N模擬計(jì)算解決方案,，該解決方案可實(shí)現(xiàn)一流的性能和性能,，并且其精度可與數(shù)字設(shè)備媲美。
報(bào)道指出,，M1108 AMP能為邊緣部署提供了無(wú)與倫比的可能性,，應(yīng)用市場(chǎng)包括智能家居，AR / VR,，無(wú)人機(jī),，視頻監(jiān)控，智能城市以及工廠車間的自動(dòng)化,。憑借其革命性的技術(shù),，M1108 AMP處于AI處理重大新趨勢(shì)的最前沿。
報(bào)道指出,，M1108集成了108個(gè)AMP tiles ,，每個(gè)tiles都配有一個(gè)Mythic模擬計(jì)算引擎（MythicACE?），該引擎具有閃存單元,、ADC陣列,、32位的RISC-V處理器、SIMD矢量引擎,，SRAM和一個(gè)高吞吐量的片上網(wǎng)絡(luò)（NOC）路由,。
此外，四個(gè)控制tiles為系統(tǒng)主機(jī)處理器提供了高帶寬PCIe2.0接口,。M1108具有108個(gè)AMP tiles,，可提供高達(dá)35萬(wàn)億次/秒的運(yùn)算（TOPS）,，可在單個(gè)芯片上以高效率、低延遲地高效執(zhí)行復(fù)雜的AI模型（例如ResNet-50,，YOLOv3和OpenPoseBody25）,。在峰值吞吐量下運(yùn)行復(fù)雜的AI模型時(shí)，M1108的典型功耗約為4W,。而且,，憑借利用成熟的40nm技術(shù)的固有成本優(yōu)勢(shì)，并且不需要任何外部DRAM或SRAM,，M1108 AMP將以PCIe M.2和PCIe卡形式提供,，并且M1108PCIe評(píng)估套件可應(yīng)要求提供。
模擬AI芯片怎么玩,？Mythic詳細(xì)講述
說(shuō)到人工智能硬件,，我們向來(lái)事無(wú)巨細(xì)。WikiChip密切關(guān)注的一家公司是Mythic,。這家公司還沒(méi)有完全公開他們的架構(gòu)和產(chǎn)品,，但一些細(xì)節(jié)已經(jīng)開始慢慢浮出水面。在最近的人工智能硬件峰會(huì)上,，該公司的創(chuàng)始人兼首席執(zhí)行官M(fèi)ike Henry）紹了該芯片的最新情況,。
這家位于奧斯汀的初創(chuàng)公司由Mike Henry和Dave Fick于2012年創(chuàng)立，最近完成了7000萬(wàn)美元的B輪融資,，總?cè)谫Y額剛剛超過(guò)8500萬(wàn)美元,。如今，公司員工已增至110人,。
Mythic是一家模擬公司,。但是，在我們探討細(xì)節(jié)之前,，必須指出,，它們目前僅專注于推理，無(wú)論是在數(shù)據(jù)中心還是在邊緣,。到2024年,，這兩個(gè)市場(chǎng)的TAM（Total Available Market總體有效市場(chǎng)）
預(yù)計(jì)將達(dá)到250億美元，這就是為什么這里有如此多的關(guān)注點(diǎn)的原因,。從長(zhǎng)遠(yuǎn)來(lái)看,，Mythic計(jì)劃針對(duì)大眾市場(chǎng)的消費(fèi)品和汽車產(chǎn)品。
把所有東西都放在芯片上,，放在閃存里
隨著模型準(zhǔn)確性的提高,，其大小也會(huì)隨之增加。如今,，模型達(dá)到了數(shù)億個(gè)參數(shù),，甚至達(dá)到數(shù)十億,。最重要的是，通常實(shí)時(shí)地需要確定性行為,，例如一致的幀速率和延遲,。這就是Mythic的作用,。Mythic的論點(diǎn)很簡(jiǎn)單：將足夠的存儲(chǔ)與大量并行計(jì)算單元打包在芯片上,，以最大化內(nèi)存帶寬并減少數(shù)據(jù)移動(dòng)的能力。但是有一個(gè)轉(zhuǎn)變——這就是Mythic的原始方法的閃光點(diǎn)——該公司拋棄了傳統(tǒng)的SRAM,，轉(zhuǎn)而使用更密集的閃存,，此外，Mythic還計(jì)劃在模擬環(huán)境下直接在內(nèi)存中進(jìn)行本地計(jì)算,。
但是為什么是閃存,？答案很簡(jiǎn)單：因?yàn)樗芏却螅牡?，而且便宜,，幾乎比SRAM的密度大兩個(gè)數(shù)量級(jí)。
理論上,，Mythic的芯片更像內(nèi)存,，而不是傳統(tǒng)的CMOS。從更長(zhǎng)的路線圖來(lái)看,，隨著SRAM bit cell的擴(kuò)展變得越來(lái)越困難,，它帶來(lái)的好處也越來(lái)越深遠(yuǎn)?？偟膩?lái)說(shuō),，從每美元的性能、每單位成本的密度和每瓦特的性能來(lái)看,，這是一個(gè)潛在的巨大勝利,。
多年來(lái)，我們看到了一大堆路線圖,，當(dāng)他們開始談?wù)撐磥?lái)10年的時(shí)候,，很容易忽視它。但對(duì)Mythic來(lái)說(shuō),，有一些不同之處,。值得特別指出的是，目前Mythic正在研究40納米的嵌入式閃存,。他們有一個(gè)相當(dāng)清晰的28nm和22nm的路徑,，因此，粗略地說(shuō),，這個(gè)圖的一半是基于今天已經(jīng)發(fā)布的現(xiàn)有節(jié)點(diǎn),。
Mythic公司的首席執(zhí)行官M(fèi)ike Henry似乎相信他們可以繼續(xù)這樣做,，但是盡管正在進(jìn)行一些工作以繼續(xù)擴(kuò)展到16/14納米節(jié)點(diǎn)，還不清楚它是否會(huì)上市,。
許多業(yè)內(nèi)人士認(rèn)為,，嵌入式閃存在22納米的時(shí)候遭遇了瓶頸。在與Mythic的一次簡(jiǎn)短交談中,，他們告訴我們,，他們并沒(méi)有與嵌入式閃存結(jié)合，如果其中一項(xiàng)新興技術(shù)（如多位ReRAM,、PCM或NRAM）作為一種強(qiáng)大的替代技術(shù)出現(xiàn),，他們肯定會(huì)考慮遷移到這種技術(shù)。
IPU
Mythic的芯片被稱為IPUs或智能處理單元,。在外設(shè)方面,，該芯片非常簡(jiǎn)單，由PCIe的x4通道和DNN平鋪網(wǎng)格組成,，PCIe是負(fù)責(zé)整個(gè)芯片管理的基本控制處理器,。由于芯片的設(shè)計(jì)是為了存儲(chǔ)整個(gè)模型，沒(méi)有DRAM,。
Mythic表示,，由于這是一個(gè)基于tiles的設(shè)計(jì)，如果有需求,，他們可以通過(guò)添加直接的音頻/視頻和各種其他接口來(lái)進(jìn)一步定制,。在去年的Hot Chip上，Mythic談?wù)摰氖且豢?000萬(wàn)權(quán)值（weights）的初始產(chǎn)品,。在最近的人工智能硬件峰會(huì)上,，Mike Henry表示，初始產(chǎn)品權(quán)值將達(dá)到1.2億,，這比最初的計(jì)劃要多很多,。在富士通的40nm制程中，近標(biāo)線全尺寸芯片應(yīng)具有約300M權(quán)值的容量,，因此120M仍然是一個(gè)相當(dāng)大的芯片,。
IPU的作用是作為一個(gè)連接到主機(jī)的PCIe加速器。對(duì)于大型模型或多個(gè)模型,，可以使用多個(gè)IPU,。模型最初被加載到IPU中，并保持靜止,。沒(méi)有DRAM和編程閃存相對(duì)較慢,，因此模型應(yīng)該能夠適應(yīng)芯片與多個(gè)應(yīng)用映射到同一芯片。這對(duì)于許多邊緣應(yīng)用程序來(lái)說(shuō)非常典型,。在正常操作下,，主機(jī)CPU將數(shù)據(jù)發(fā)送到IPU,，并通過(guò)PCIe端口接收結(jié)果。
IPU總體設(shè)計(jì)（WikiChip）
該芯片由DNN tiles構(gòu)成網(wǎng)格,。在一個(gè)tiles里面是一個(gè)模擬矩陣乘法器,，它建立在一個(gè)巨大的嵌入式閃存池的頂部，用來(lái)計(jì)算權(quán)值,。嵌入式閃存單元使用浮動(dòng)?xùn)艠O通過(guò)存儲(chǔ)電荷,、控制閾值電壓來(lái)存儲(chǔ)位。晶體管支持256級(jí)電導(dǎo)（G=1/R）之間的完全關(guān)閉和打開狀態(tài),，Mythic用它來(lái)表示8位值,。
通過(guò)將所有神經(jīng)元的權(quán)值映射到閃光晶體管上,，他們可以利用歐姆定律自然地進(jìn)行矩陣乘法運(yùn)算,。實(shí)現(xiàn)的方法是使用閃光晶體管將權(quán)值表示為可變電阻。這在計(jì)算之前執(zhí)行一次,。使用8位DAC,，輸入矢量作為一組電壓通過(guò)可變電阻。根據(jù)歐姆定律,，輸出電流是輸入數(shù)據(jù)與權(quán)值向量（I = V x G）相乘的結(jié)果,。最后，一組adc將產(chǎn)生的電流轉(zhuǎn)換回?cái)?shù)字值,，成為輸出矢量,。ReLu和其他各種非線性操作也由adc在那個(gè)時(shí)間點(diǎn)完成。
圍繞這個(gè)組件還有一些額外的邏輯,。不管工作條件如何,，DAC/ADC封裝器都會(huì)進(jìn)行補(bǔ)償和校準(zhǔn)，以獲得精確的8位計(jì)算—類似于今天的圖像傳感器所做的工作,。
模擬矩陣乘法（wikichip）
需要指出的是,，這個(gè)方案沒(méi)有實(shí)際的內(nèi)存訪問(wèn)。矩陣相乘是在內(nèi)存中完成的,，利用歐姆定律,，所以沒(méi)有權(quán)值訪問(wèn)能量。使用固定權(quán)值時(shí),，也沒(méi)有批量大小或其他特殊處理,。雖然固定容量可能會(huì)帶來(lái)一些問(wèn)題。順便說(shuō)一下,，它們支持神經(jīng)元稀疏,，但不支持權(quán)值稀疏性。
有趣的是,，Mythic說(shuō),，對(duì)于他們的第一代,，為了加快開發(fā)和上市時(shí)間，他們不會(huì)使用DAC作為輸入,。相反,，他們使用一個(gè)數(shù)字近似電路，由此分別計(jì)算每個(gè)輸入位,，然后累加結(jié)果,。他們將在將來(lái)用DAC消除這種情況，這有望為他們提供一些很好的改善,。