美國當(dāng)?shù)貢r(shí)間4月9日,,Intel舉辦了一場面向客戶和合作伙伴的Intel Vision 2024產(chǎn)業(yè)創(chuàng)新大會,,做出多項(xiàng)重磅宣布,,包括全新的Gaudi 3 AI加速器,,包括全新的至強(qiáng)6品牌,,以及涵蓋全新開放、可擴(kuò)展系統(tǒng),,下一代產(chǎn)品和一系列戰(zhàn)略合作的全棧解決方案,。
數(shù)據(jù)顯示,預(yù)計(jì)到2030年,,全球半導(dǎo)體市場規(guī)模將達(dá)1萬億美元,,AI是主要推動力,不過在2023年,,只有10%的企業(yè)能夠成功將其AIGC項(xiàng)目產(chǎn)品化,。
Intel的最新解決方案,有望幫助企業(yè)應(yīng)對推廣AI項(xiàng)目時(shí)所面臨的挑戰(zhàn),,加速實(shí)現(xiàn)AIGC落地商用,。
Intel現(xiàn)有的Gaudi 2誕生于2022年5月,并于2023年7月正式引入中國,,擁有極高的深度學(xué)習(xí)性能,、效率,以及極高的性價(jià)比,。
它采用臺積電7nm工藝制造,,集成24個(gè)可編程的Tenor張量核心(TPC)、48MB SRAM緩存,、21個(gè)10萬兆內(nèi)部互連以太網(wǎng)接口(ROCEv2 RDMA),、96GB HBM2E高帶寬內(nèi)存(總帶寬2.4TB/s)、多媒體引擎等,,支持PCIe 4.0 x16,,最高功耗800W,可滿足大規(guī)模語言模型,、生成式AI模型的強(qiáng)算力需求,。
新一代的Gaudi 3面向AI訓(xùn)練和推理,,升級為臺積電5nm工藝,帶來了2倍的FP8 AI算力,、4倍的BF16 AI算力,、2倍的網(wǎng)絡(luò)帶寬、1.5倍的內(nèi)存帶寬,。
對比NVIDIA H100,,它在流行LLM上的推理性能領(lǐng)先50%、訓(xùn)練時(shí)間快40%,。
Gaudi 3預(yù)計(jì)可大幅縮短70億和130億參數(shù)Llama2模型,、1750億參數(shù)GPT-3模型的訓(xùn)練時(shí)間。
在Llama 70億/700億參數(shù),、Falcon 1800億參數(shù)大型語言模型上,,Gaudi 3的推理吞吐量和能效也都非常出色。
Gaudi 3提供多種靈活的形態(tài),,包括OAM兼容夾層卡,、通用基板、PCIe擴(kuò)展卡,,滿足不同應(yīng)用需求,。
Gaudi 3提供開放的、基于社區(qū)的軟件,,以及行業(yè)標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò),,可以靈活地從單個(gè)節(jié)點(diǎn)擴(kuò)展到擁有數(shù)千個(gè)節(jié)點(diǎn)的集群、超級集群和超大集群,,支持大規(guī)模的推理,、微調(diào)和訓(xùn)練。
Gaudi 3 AI加速器具備高性能,、經(jīng)濟(jì)實(shí)用,、節(jié)能、可快速部署等優(yōu)點(diǎn),,能夠充分滿足復(fù)雜性,、成本效益、碎片化,、數(shù)據(jù)可靠性,、合規(guī)性等AI應(yīng)用需求。
Gaudi 3將于2024年第二季度面向OEM廠商出貨,,包括戴爾,、慧與、聯(lián)想,、超威等,。
目前,,Intel Gaudi加速器的行業(yè)客戶及合作伙伴有NAVER、博世(Bosch),、IBM,、Ola/Krutrim、NielsenIQ,、Seekr,、IFF、CtrlS Group,、Bharti Airtel,、Landing AI、Roboflow,、Infosys,,等等。