自從 AI 大模型來(lái)了,，英偉達(dá)喝湯喝到撐,，GPU 自然也就成了香餑餑,。但在地緣政治局勢(shì)愈發(fā)緊張的現(xiàn)如今,，國(guó)內(nèi)高端 AI 芯片不斷被圍追堵截,。
就比如,，7 月 22 日就出現(xiàn)了戲劇性的一幕,，英偉達(dá)出現(xiàn)一正一反的消息：一方面,，美政府正考慮新的貿(mào)易限制，阻止英偉達(dá)向中國(guó)市場(chǎng)推出 " 特供版 "HGX-H20 AI GPU,，如果限制正式實(shí)施,，英偉達(dá)可能會(huì)損失約 120 億美元的收入；另一方面,，英偉達(dá)正在為中國(guó)市場(chǎng)打造全新的特供版 GPU,，以剛推出的 "Blackwell" 為基礎(chǔ)打造 B20。
可以說(shuō),，美國(guó)方面的態(tài)度非常鮮明,，就是要全面圍堵中國(guó)獲取高端 AI 芯片的渠道，以此占領(lǐng) AI 領(lǐng)域的高地,。
在這種情況下,，國(guó)內(nèi)又該如何應(yīng)對(duì)？最近一段時(shí)間內(nèi),，國(guó)內(nèi)開(kāi)始瞄準(zhǔn) TPU（張量處理單元）,，另辟蹊徑,。
國(guó)內(nèi)也有廠商做 TPU 了
眾所周知，AI 大模型主要分為兩個(gè)階段,，一是訓(xùn)練,，二是推理。
推理芯片常見(jiàn),，而訓(xùn)練芯片不常見(jiàn),，這是因?yàn)橛?xùn)練不僅消耗巨大的算力資源，同時(shí)需要處理大量的并行任務(wù),，所以 GPU 才會(huì)成為當(dāng)前的主流,。
TPU 全稱 Tensor Processing Unit，是一種專為處理張量運(yùn)算而設(shè)計(jì)的 ASIC 芯片,，由谷歌自研在 2016 年推出首款產(chǎn)品,。在深度學(xué)習(xí)的世界里，張量（多維數(shù)組）是無(wú)處不在的,。TPU 就是為了高效處理這些張量運(yùn)算而誕生的,。
TPU 內(nèi)置大量矩陣運(yùn)算單元，使得其能夠并行處理大量的矩陣運(yùn)算,，大大提高計(jì)算效率,。
不過(guò)相比 GPU 或者說(shuō) GPGPU，TPU 太專用了,，但是應(yīng)付 AI 訓(xùn)練還是綽綽有余,。
簡(jiǎn)單粗暴對(duì)比起來(lái)就是：TPU 與同期的 CPU 和 GPU 相比，可以提供 15～30 倍的性能提升,，以及 30～80 倍的效率（性能 / 瓦特）提升,。
早在 2018 年，就有一家 AGM Micro 國(guó)內(nèi)公司提供 TPU 推理技術(shù)授權(quán),，不過(guò),，后來(lái)這家公司基本不怎么發(fā)布關(guān)于 TPU 相關(guān)的消息了。
而最近,，一家名為中昊芯英的國(guó)產(chǎn)公司,，就展出了其首枚高性能 TPU（張量處理器）AI 訓(xùn)練芯片。
據(jù)了解,，中昊芯英 TPU" 剎那 " 于去年成功量產(chǎn),，已在全國(guó)多地千卡集群規(guī)模的智算中心交付落地。該芯片以 1024 片芯片高速片間互聯(lián)的能力構(gòu)建了大規(guī)模智算集群 " 泰則 ",，系統(tǒng)集群性能遠(yuǎn)超傳統(tǒng) GPU 數(shù)十倍,，可支撐超千億參數(shù) AIGC 大模型訓(xùn)練與推理。
公開(kāi)資料顯示，中昊芯英創(chuàng)始人楊龔軼凡曾在谷歌作為芯片研發(fā)核心人員,，深度參與了谷歌 TPU 2/3/4 的設(shè)計(jì)與研發(fā),，在他看來(lái)，TPU 是為 AI 大模型而生的優(yōu)勢(shì)架構(gòu),。
碳納米管和 TPU,，牽手了
昨日，也傳出另一個(gè)與 TPU 相關(guān)的消息,。
消息顯示,，北京大學(xué)電子學(xué)院碳基電子學(xué)研究中心的彭練矛 - 張志勇團(tuán)隊(duì)，在下一代芯片技術(shù)領(lǐng)域取得突破,，成功研發(fā)出世界首個(gè)基于碳納米管的張量處理器芯片（TPU）,。
官方表示，高能效計(jì)算芯片的發(fā)展有兩個(gè)重大瓶頸：一是傳統(tǒng)馮諾依曼架構(gòu)已經(jīng)無(wú)法滿足高速,、高帶寬的數(shù)據(jù)搬運(yùn)和處理需求,；二是構(gòu)建芯片的硅基互補(bǔ)金屬氧化物半導(dǎo)體晶體管，進(jìn)入了尺寸縮減,、功耗劇增的困境,，亟需發(fā)展超薄、高載流子遷移率的半導(dǎo)體作為溝道材料,。
而碳納米管具有優(yōu)異的電學(xué)特性和超薄結(jié)構(gòu),，碳納米管晶體管已經(jīng)展現(xiàn)出超越商用硅基晶體管的性能和功耗潛力。不過(guò),，為了最大化發(fā)揮芯片算力和能效，必須將新材料與器件結(jié)合,，北大的這一個(gè)成果就主要圍繞這方面進(jìn)行了研究,。
作為世界首個(gè)碳納米管基的張量處理器（TPU）芯片，可實(shí)現(xiàn)高能效的卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算,。省流版總結(jié)如下：
工藝：該芯片采用 2bit MAC（乘累加單元）,，3 微米工藝技術(shù)節(jié)點(diǎn)，集成 3000 個(gè)碳基晶體管,，可實(shí)現(xiàn)圖像輪廓識(shí)別,、提取等功能，圖像輪廓提取正確率達(dá) 100%,；
架構(gòu)：該芯片采用脈動(dòng)陣列架構(gòu)設(shè)計(jì),，可實(shí)現(xiàn)高效地?cái)?shù)據(jù)復(fù)用，大大節(jié)約張量運(yùn)算所需的數(shù)據(jù)存儲(chǔ),、搬運(yùn)等操作,，精準(zhǔn)匹配了神經(jīng)網(wǎng)絡(luò)的運(yùn)算特點(diǎn)；
識(shí)別率：其上搭建了 5 層卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)手寫(xiě)數(shù)字識(shí)別的應(yīng)用,，理論正確率 90%,，實(shí)際正確率可達(dá) 86%；
功耗：僅為 295μW,，器件總數(shù)也為新型卷積加速硬件中的最低值,；
實(shí)際應(yīng)用效果：該芯片可使用 180 nm 碳基技術(shù)進(jìn)行流片加工，仿真結(jié)果表示,，碳基神經(jīng)網(wǎng)絡(luò)加速芯片可在 1 V 電壓下工作,，可運(yùn)行的最高主頻為 850 MHz，能效可以達(dá)到 1TOPS/w,。
" 群毆 " 英偉達(dá)
相比其它 AI 芯片來(lái)說(shuō),，TPU 的關(guān)注度的確高很多。今年 6 月,，就有消息稱,，生成式 AI 技術(shù)大廠 OpenAI 為了自研 AI 芯片，新招募的研究人員幾乎為谷歌 TPU 團(tuán)隊(duì)的前員工,?？梢哉f(shuō)，在大規(guī)模訓(xùn)練和推理上,，TPU 是相對(duì)成熟的方案,。
作為 TPU 的發(fā)明者，谷歌之所以推出 TPU,，其目標(biāo)便是為企業(yè)提供 Nvidia GPU 的替代品,。前陣子的 Google I/O 2024 上，谷歌推出第六代 TPU,，性能有顯著提升,。
與 TPU v5e 相比，Trillium TPU 峰值計(jì)算性能提高了 4.7 倍,。為了實(shí)現(xiàn)更高的性能,，谷歌投入了大量精力擴(kuò)展執(zhí)行計(jì)算的矩陣乘法單元或 MXU 的大小，并提高了其整體時(shí)鐘速度,。此外,，Trillium GPU 的高帶寬內(nèi)存容量和帶寬是原來(lái)的兩倍，而芯片間互連帶寬也增加了一倍,。
為了讓客戶更放心地替代英偉達(dá),，谷歌也在謀劃用 TPU 替換掉 GPU ——可能在今年底停止外部 AI 算力芯片的采購(gòu)，轉(zhuǎn)而完全依賴自研的 TPU,。谷歌的算力總量,，結(jié)合自研 TPU 和先前的芯片采購(gòu)，預(yù)計(jì)可達(dá)全球算力總量的 25%。
總之,，現(xiàn)在的英偉達(dá)四面楚歌,，誰(shuí)都想取代他。隨著特供版接連被圍堵,，國(guó)內(nèi)市場(chǎng)似乎對(duì)英偉達(dá)不買(mǎi)賬了,，轉(zhuǎn)向采購(gòu)國(guó)產(chǎn)芯片。但在 AI 芯片市場(chǎng)上,，從來(lái)沒(méi)有什么穩(wěn)賺不賠,，前兩天就有一家日本 AI 芯片廠商宣布解散?？梢詮拇丝闯?，TPU 的立足之本，便是更好的能效比和軟件生態(tài),。在此方向上,，國(guó)產(chǎn)在路上。
