根據(jù)TrendForce集邦咨詢最新發(fā)表的服務(wù)器報告指出,近幾年受到新興應(yīng)用的激勵,,加速了人工智能及高效能運算的發(fā)展,,且伴隨著仰賴機器學(xué)習(xí)及推論的需求提升,建構(gòu)出的模型復(fù)雜度也隨著需求的精細(xì)程度有所增加,,因此在計算時須處理的數(shù)據(jù)量亦隨之增大,。在此情境下,龐大的數(shù)據(jù)處理量受硬件效能局限,,導(dǎo)致使用者在設(shè)備的建置面臨了效能,、容量、延遲度以及成本間的取舍問題,,從而刺激HBM(High Bandwidth Memory)及CXL(Compute Express Link)的出現(xiàn),。功能上來說,HBM為新形態(tài)存儲器,,主要協(xié)助更多元,、高復(fù)雜運算而需要的I/O作輔助,而CXL則為使存儲器資源共享的協(xié)定,提供xPU更為便捷的應(yīng)用,。
現(xiàn)行DRAM架構(gòu)垂直堆棧,,HBM突破現(xiàn)有解決方案的頻寬限制
為了不受限于傳統(tǒng)存儲器的頻寬束縛,存儲器原廠開發(fā)了HBM,,其結(jié)構(gòu)為基本邏輯顆粒上連接數(shù)層的DRAM裸晶,,而DRAM裸晶之間以硅通孔及微凸塊3D堆棧達(dá)到高頻寬設(shè)計,層數(shù)又以4層及8層為主流,。而以現(xiàn)行世代來看,,HBM2e為目前最新的量產(chǎn)世代,單層16GB的裸晶堆棧4層或8層,,使得單顆容量分別為8GB及16GB,,頻寬可達(dá)410-460GB/s,而下一代HBM3已進(jìn)入機構(gòu)件送樣階段,,可望于2022年量產(chǎn),。
根據(jù)TrendForce集邦咨詢觀察,2021年HBM位元需求占整體DRAM市場仍未達(dá)1%,,主要包含兩大原因:首先是消費級應(yīng)用因成本考量下幾乎未采用HBM,,其次是服務(wù)器市場中作為AI功能的建置低于1%,即服務(wù)器搭載相關(guān)AI運算卡的比重仍小于1%,,且多數(shù)存儲器仍使用GDDR5(x),、GDDR6來支持其算力。
展望未來,,雖然HBM仍在發(fā)展期,,但隨著應(yīng)用對AI的依賴度增加(包含模型復(fù)雜化來優(yōu)化AI精準(zhǔn)度),需要HBM的加入來支援硬件,。其中,以與AI最相關(guān)的FPGA和ASIC來看,,F(xiàn)PGA產(chǎn)品有英特爾(Intel)的Stratix,、Agilex-M以及賽靈思(Xilinx)的Versal HBM導(dǎo)入HBM;而ASIC方面,,多數(shù)數(shù)據(jù)中心在AI的建置中,,逐漸以自研的ASIC芯片作為發(fā)展方向,例如谷歌(Google)的TPU,、騰訊(Tencent)的邃思,、百度(Baidu)的昆侖皆使用HBM。再者,,英特爾(Intel)的server CPU Sapphire Rapids亦規(guī)劃于2022年底釋出帶HBM的高端版本,。TrendForce集邦咨詢認(rèn)為,HBM有助于突破AI發(fā)展中受限的硬件頻寬瓶頸,未來市場上將出現(xiàn)更多相關(guān)應(yīng)用,。
高速運算催生的新協(xié)定,,CXL將更有效整合系統(tǒng)中的運算資源
CXL則是基于PCIe Gen5規(guī)格演變的協(xié)定,讓CPU及其他加速器(例如GPU,、FPGA等之間)建立高速,、低延遲的互聯(lián)性,使其各自的存儲器模擬成一個共享的空間,,允許存儲器資源共享,,從而降低系統(tǒng)成本并獲得更高的性能,因此有利于解決AI及HPC的工作負(fù)載,。
而市場上類似概念的存儲器資源共享協(xié)定并非只有CXL提出,,英偉達(dá)(NVIDIA)的NVLink、超威半導(dǎo)體(AMD)及賽靈思(Xilinx)的Gen-Z,,皆凸顯大廠對系統(tǒng)資源整合的重視,。然而,TrendForce集邦咨詢認(rèn)為,,CXL能由眾多協(xié)定中脫穎而出的主要原因,,來自于其協(xié)定為英特爾提出,而該公司在CPU市場占有高采用率的優(yōu)勢,,英特爾CPU支援的號召能使得CXL及其相關(guān)硬設(shè)備商得以自上而下的統(tǒng)合,,因此相繼獲得超威半導(dǎo)體、ARM,、英偉達(dá),、谷歌、微軟,、Facebook,、阿里巴巴、戴爾等公司的加入,,成為目前呼聲最高的存儲器協(xié)定,。
在允許CPU及其他硬件進(jìn)行存儲器資源整合下,利于降低各硬件間的通信延遲,,也能提高AI及HPC發(fā)展需要的計算性能,。為此,英特爾將在下一代服務(wù)器CPU Sapphire Rapids中支援CXL,,而存儲器原廠亦規(guī)劃支援CXL的產(chǎn)品方案,,其中,三星(Samsung)宣布將推出支援CXL的DDR5模塊,,用以擴張服務(wù)器存儲器容量,,滿足AI運算需要的龐大存儲器需求。未來CXL亦有機會推及至NAND Flash的方案支援,使得DRAM及NAND Flash雙雙受惠,。
HBM及CXL交互合作有利于AI發(fā)展,,實際應(yīng)用于2023年將更有能見度
TrendForce集邦咨詢認(rèn)為,CXL導(dǎo)入將隨著未來CPU內(nèi)建CXL功能而普及化,,而未來AI服務(wù)器的硬件建置,,將能見到更多同時采用HBM及CXL的設(shè)計。其中HBM能分別增加CPU及加速器各自的頻寬,,加速數(shù)據(jù)處理速度,;CXL則建立彼此間溝通的高速互聯(lián)性,兩者交互有助于擴展AI算力從而加速AI發(fā)展,。
在存儲器資源共享下,,模型的設(shè)計能擺脫硬件瓶頸,持續(xù)往更復(fù)雜的架構(gòu)建設(shè),。TrendForce集邦咨詢預(yù)估,,隨著支援CXL的英特爾CPU Sapphire Rapids導(dǎo)入達(dá)一定覆蓋率,以及存儲器原廠陸續(xù)量產(chǎn)更高頻寬的HBM3及具備CXL功能的DRAM與SSD,,2023年可望于市場上見到更多HBM及CXL合作使用的應(yīng)用,。