如果說英偉達(dá)的Grace CPU超級芯片的架構(gòu)是CPU+GPU是巧合,,那么英特爾和AMD推出的Falcon Shores XPU芯片、Instinct MI300芯片同樣是CPU+GPU結(jié)構(gòu)時(shí),,CPU+GPU一體的架構(gòu)就很難稱之為巧合了,。
更為“碰巧”的是,以上三種芯片其都是用于數(shù)據(jù)中心的場景,,這就意味著在未來兩年內(nèi),,AMD、英偉達(dá)和英特爾都將擁有混合CPU+GPU芯片進(jìn)入數(shù)據(jù)中心市場,。
可以說CPU+GPU的形式已經(jīng)成為未來芯片設(shè)計(jì)的趨勢,。
CPU與GPU的進(jìn)一步結(jié)合
英特爾推出XPU
英特爾宣布了一款特殊的融合型處理器“Falcon Shores”,官方稱之為XPU,。其核心是一個(gè)新的處理器架構(gòu),,將英特爾的x86 CPU和Xe GPU硬件置入同一顆Xeon芯片中。
Falcon Shores芯片基于區(qū)塊(Tile)設(shè)計(jì),,具備非常高的伸縮性,、靈活性,可以更好地滿足HPC,、AI應(yīng)用需求,。
按照英特爾給出的數(shù)字,對比當(dāng)今水平,,F(xiàn)alcon Shores的能耗比提升超過5倍,,x86計(jì)算密度提升超過5倍,內(nèi)存容量與密度提升超過5倍,。
Falcon Shores芯片將在2024年推出,。
AMD推出APU
在數(shù)據(jù)中心領(lǐng)域,AMD同樣展示其野心,。
APU是AMD傳統(tǒng)上用于集成顯卡的客戶端CPU的“加速處理單元”命名法,。自2006年Opteron CPU的鼎盛時(shí)期以來,AMD一直夢想著使用APU,,并于2010年開始推出第一款用于PC的APU,。隨后在索尼Play Station4和5以及微軟Xbox XS中推出了定制APU系列游戲機(jī),也推出了一些Opteron APU——2013年的X2100和2017年的X3000,。
最近,,AMD公布的路線圖中顯示,其將在2023年推出Instinct MI300芯片,這是AMD推出的第一款百億億次APU,,AMD將其稱為“世界上第一個(gè)數(shù)據(jù)中心APU”,。
而這個(gè)APU是一種將CPU和GPU內(nèi)核組合到一個(gè)封裝中的芯片,仔細(xì)來說是將基于Zen4的Epyc CPU與使用其全新CDNA3架構(gòu)的GPU相結(jié)合,。
AMD表示Instinct MI300預(yù)計(jì)將比其Instinct MI250X提供超過8倍的AI訓(xùn)練性能提升,,與支持Instinct MI200系列的CDNA2 GPU架構(gòu)相比,用于Instinct MI300的CDNA3架構(gòu)將為AI工作負(fù)載提供超過5倍的性能功耗比提升,。
Instinct MI300將于2023年問世,。
英偉達(dá)Grace超級芯片
一直專注于GPU設(shè)計(jì)的英偉達(dá),在去年宣布進(jìn)軍基于Arm架構(gòu)的CPU時(shí)引發(fā)了一陣轟動(dòng),。在今年3月,,英偉達(dá)推出解決HPC和大規(guī)模人工智能應(yīng)用程序的Grace Hopper超級芯片。這款芯片將NVIDIA Hopper GPU與Grace CPU通過NVLink-C2C結(jié)合在一個(gè)集成模塊中,。
CPU+GPU的Grace Hopper核心數(shù)減半,,LPDDR5X內(nèi)存也只有512GB,但多了顯卡的80GBHBM3內(nèi)存,,總帶寬可達(dá)3.5TB/s,,代價(jià)是功耗1000W,每個(gè)機(jī)架容納42個(gè)節(jié)點(diǎn),。
英偉達(dá)同樣承諾在2023年上半年推出其超級芯片。
為什么巨頭都紛紛使用這種形式,?
從推出的時(shí)間節(jié)點(diǎn)來看,,英特爾Falcon Shores芯片、AMD Instinct MI300,、英偉達(dá)Grace Hopper超級芯片分別在2024年,、2023年、2023年上半年推出,。
CPU+GPU的形式,,為什么引起了三大巨頭的興趣,紛紛將其布局于數(shù)據(jù)中心,?
首先,,在數(shù)字經(jīng)濟(jì)時(shí)代,算力正在成為一種新的生產(chǎn)力,,廣泛融合到社會(huì)生產(chǎn)生活的各個(gè)方面,。數(shù)據(jù)中心是算力的物理承載,是數(shù)字化發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施,。全球數(shù)據(jù)中心新增穩(wěn)定,,2021年全球數(shù)據(jù)中戲市場規(guī)模超過679億美元,較2020年增長9.8%。因此,,具有巨大市場的數(shù)據(jù)中心早已被科技巨頭緊盯,。
其次,數(shù)據(jù)中心會(huì)收集大量的數(shù)據(jù),,因此需要搭建于數(shù)據(jù)中心的芯片具有極大算力,,將CPU與GPU組合可以提高算力。英特爾高級副總裁兼加速計(jì)算系統(tǒng)和圖形(AXG)集團(tuán)總經(jīng)理Raja Koduri的演講中提及,,如果想要成功獲得HPC市場,,就需要芯片能夠處理海量的數(shù)據(jù)集。盡管,,GPU具有強(qiáng)大的計(jì)算能力,,能夠同時(shí)并行工作數(shù)百個(gè)的內(nèi)核,但如今獨(dú)立的GPU仍然有一大缺陷,,就是大的數(shù)據(jù)集無法輕松放入獨(dú)立GPU內(nèi)存里,,需要耗費(fèi)時(shí)間等待顯存數(shù)據(jù)緩慢刷新。
特別是內(nèi)存問題,,將CPU與GPU放入同一架構(gòu),,能夠消除冗余內(nèi)存副本來改善問題,處理器不再需要將數(shù)據(jù)復(fù)制到自己的專用內(nèi)存池來訪問/更改該數(shù)據(jù),。統(tǒng)一內(nèi)存池還意味著不需要第二個(gè)內(nèi)存芯片池,,即連接到CPU的DRAM。例如,,Instinct MI300將把CDNA3 GPU小芯片和Zen4 CPU小芯片組合到一個(gè)處理器封裝中,,這兩個(gè)處理器池將共享封裝HBM內(nèi)存。
英偉達(dá)官方表示,,使用NVLink-C2C互連,,Grace CPU將數(shù)據(jù)傳輸?shù)紿opper GPU的速度比傳統(tǒng)CPU快15倍;但對于數(shù)據(jù)集規(guī)模超大的場景來說,,即使有像NVLink和AMD的Infinity Fabric這樣的高速接口,,由于HPC級處理器操作數(shù)據(jù)的速度非常快,,在CPU和GPU之間交換數(shù)據(jù)的延遲和帶寬代價(jià)仍然相當(dāng)高昂,。因此如果能盡可能縮短這一鏈路的物理距離,就可以節(jié)約很多能源并提升性能,。
AMD表示,,與使用分立CPU和GPU的實(shí)現(xiàn)相比,該架構(gòu)的設(shè)計(jì)將允許APU使用更低的功耗,;英特爾同樣表示,,其Falcon Shores芯片將顯著提高帶寬,、每瓦性能、計(jì)算密度和內(nèi)存容量,。
定制款的吸引力
整合多個(gè)獨(dú)立組件往往會(huì)帶來很多長期收益,,但并不只是將CPU與GPU簡單整合到一顆芯片中。英特爾,、英偉達(dá)及AMD的GPU+CPU均是選擇了Chiplet方式,。
傳統(tǒng)上,為了開發(fā)復(fù)雜的 IC 產(chǎn)品,,供應(yīng)商設(shè)計(jì)了一種將所有功能集成在同一芯片上的芯片,。在隨后的每一代中,每個(gè)芯片的功能數(shù)量都急劇增加,。在最新的 7nm 和 5nm 節(jié)點(diǎn)上,,成本和復(fù)雜性飆升。
而使用Chiplet設(shè)計(jì),,將具有不同功能和工藝節(jié)點(diǎn)的模塊化芯片或小芯片封裝在同一芯片,,芯片客戶可以選擇這些小芯片中的任何一個(gè),并將它們組裝在一個(gè)先進(jìn)的封裝中,,從而產(chǎn)生一種新的,、復(fù)雜的芯片設(shè)計(jì),作為片上系統(tǒng) (SoC) 的替代品,。
正是由于小芯片的特性,,三家巨頭在自己發(fā)展多芯片互連的同時(shí),還展開了定制服務(wù),。
英特爾在發(fā)布Falcon Shores時(shí)介紹,,其架構(gòu)將使用Chiplet方法,采用不同制造工藝制造的多個(gè)芯片和不同的處理器模塊可以緊密地塞在一個(gè)芯片封裝中,。這使得英特爾可以在其可以放入其芯片的CPU、GPU,、I/O,、內(nèi)存類型、電源管理和其他電路類型上進(jìn)行更高級別的定制,。
最特別的是,,F(xiàn)alcon Shores可以按需配置不同區(qū)塊模塊,尤其是x86CPU核心,、XeGPU核心,,數(shù)量和比例都非常靈活,就看做什么用了,。
目前,,英特爾已開放其 x86 架構(gòu)進(jìn)行許可,,并制定了Chiplet策略,允許客戶將 Arm 和 RISC-V 內(nèi)核放在一個(gè)封裝中,。
最近,,AMD同樣打開了定制的大門。AMD首席技術(shù)官M(fèi)ark Papermaster在分析師日會(huì)議上表示:“我們專注于讓芯片更容易且更靈活實(shí)現(xiàn),?!?/p>
AMD允許客戶在緊湊的芯片封裝中實(shí)現(xiàn)多個(gè)芯粒(也稱為chiplet或compute tiles )。AMD已經(jīng)在使用tiles,,但現(xiàn)在AMD允許第三方制造加速器或其他芯片,,以將其與x86 CPU和GPU一起包含在其2D或3D封裝中。
AMD的定制芯片戰(zhàn)略將圍繞新的Infinity Architecture 4.0展開,,它是芯片封裝中芯粒的互連,。專有的Infinity結(jié)構(gòu)將與CXL 2.0互連兼容。
Infinity互連還將支持UCIe(Universal Chiplet Interconnect Express)以連接封裝中的chiplet,。UCIe已經(jīng)得到英特爾,、AMD、Arm,、谷歌,、Meta等公司的支持。
下一代頂級芯片會(huì)是多芯片設(shè)計(jì)嗎,?
總體而言,,AMD的服務(wù)器GPU軌跡與英特爾、英偉達(dá)非常相似,。這三家公司都在向CPU+GPU組合產(chǎn)品方向發(fā)展,,英偉達(dá)的GraceHopper(Grace+H100)、英特爾的Falcon Shores XPU(混合和匹配CPU+GPU),,現(xiàn)在MI300在單個(gè)封裝上同時(shí)使用CPU和GPU小芯片,。在所有這三種情況下,這些技術(shù)旨在將最好的CPU和最好的GPU結(jié)合起來,,用于不完全受兩者約束的工作負(fù)載,。
市場研究公司Counterpoint Research的研究分析師Akshara Bassi表示:“隨著芯片面積變得越來越大以及晶圓成品率問題越來越重要,多芯片模塊封裝設(shè)計(jì)能夠?qū)崿F(xiàn)比單芯片設(shè)計(jì)更佳的功耗和性能表現(xiàn),?!?/p>
Chiplet將繼續(xù)存在,但就目前而言,,該領(lǐng)域是一個(gè)孤島,。AMD、蘋果,、英特爾和英偉達(dá)正在將自研的互連設(shè)計(jì)方案應(yīng)用于特定的封裝技術(shù)中,。
2018 年,,英特爾將 EMIB(嵌入式多硅片)技術(shù)升級為邏輯晶圓 3D 堆疊技術(shù)。2019 年,,英特爾推出 Co-EMIB 技術(shù),,能夠?qū)蓚€(gè)或多個(gè) Foveros 芯片互連。
AMD率先提出Chiplet模式,,在2019年全面采用小芯片技術(shù)獲得了技術(shù)優(yōu)勢,。Lisa Su 在演講時(shí)表達(dá)了未來的規(guī)劃,“我們與臺(tái)積電就他們的 3D 結(jié)構(gòu)密切合作,,將小芯片封裝與芯片堆疊相結(jié)合,,為未來的高性能計(jì)算產(chǎn)品創(chuàng)建 3D 小芯片架構(gòu)?!?/p>
今年 3 月 2 日,,英特爾、AMD,、Arm,、高通、臺(tái)積電,、三星,、日月光、谷歌云,、Meta,、微軟等十大巨頭宣布成立 Chiplet 標(biāo)準(zhǔn)聯(lián)盟,推出了通用小芯片互連標(biāo)準(zhǔn) (UCIe),,希望將行業(yè)聚合起來,。
迄今為止,只有少數(shù)芯片巨頭開發(fā)和制造了基于Chiplet的設(shè)計(jì),。由于先進(jìn)節(jié)點(diǎn)開發(fā)芯片的成本不斷上升,,業(yè)界比以往任何時(shí)候都更需要Chiplet。在多芯片潮流下,,下一代頂級芯片必然也將是多芯片設(shè)計(jì),。