9月5日消息,，近日，第五代英特爾至強(qiáng)處理器,，以?xún)?yōu)秀的表現(xiàn)通過(guò)了中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院組織的人工智能服務(wù)器系統(tǒng)性能測(cè)試（AISBench）。

借此,，英特爾也成為首批通過(guò)AISBench大語(yǔ)言模型（LLM）推理性能測(cè)試的企業(yè),。

在AISBench 2.0測(cè)試工具的評(píng)估下，第五代英特爾至強(qiáng)處理器在ChatGLM V2-6B（60億參數(shù)）和Llama2-13B（130億參數(shù)）兩個(gè)模型上均展現(xiàn)了卓越的性能,，能夠滿(mǎn)足輕量級(jí)大語(yǔ)言模型的實(shí)時(shí)推理要求,。

測(cè)試結(jié)果顯示，在60億參數(shù)的ChatGLM V2模型通用推理中,，當(dāng)輸入輸出序列為256時(shí),，處理器可達(dá)每秒2493 token的性能；當(dāng)輸入輸出序列為2048時(shí),，性能為每秒926 token,。

在130億參數(shù)的Llama2模型通用推理中，當(dāng)輸入輸出為256時(shí),，性能為每秒513 token,；當(dāng)輸入輸出序列為2048時(shí)，性能為每秒132 token,。

AISBench 2.0的測(cè)試結(jié)果,，驗(yàn)證了英特爾至強(qiáng)在運(yùn)行輕量級(jí)大語(yǔ)言模型時(shí)展現(xiàn)出的優(yōu)異推理性能。

也使得客戶(hù)可以通過(guò)基于至強(qiáng)的服務(wù)器,，構(gòu)建一個(gè)通用AI系統(tǒng)進(jìn)行數(shù)據(jù)預(yù)處理,、模型推理和部署，從而獲得兼具AI性能,、效率,、準(zhǔn)確性和可擴(kuò)展性的組合。

同時(shí)還彰顯了英特爾至強(qiáng)可以為企業(yè)提供“開(kāi)箱即用”的功能,，即可以在通用系統(tǒng)上部署一部分AI工作負(fù)載,，從而為客戶(hù)帶來(lái)更佳的總體擁有成本（TCO）優(yōu)勢(shì)。