9月5日消息，近日,，第五代英特爾至強處理器,，以優(yōu)秀的表現(xiàn)通過了中國電子技術標準化研究院組織的人工智能服務器系統(tǒng)性能測試（AISBench）。

借此,，英特爾也成為首批通過AISBench大語言模型（LLM）推理性能測試的企業(yè),。

在AISBench 2.0測試工具的評估下，第五代英特爾至強處理器在ChatGLM V2-6B（60億參數(shù)）和Llama2-13B（130億參數(shù)）兩個模型上均展現(xiàn)了卓越的性能,，能夠滿足輕量級大語言模型的實時推理要求。

測試結(jié)果顯示,，在60億參數(shù)的ChatGLM V2模型通用推理中,，當輸入輸出序列為256時，處理器可達每秒2493 token的性能,；當輸入輸出序列為2048時,，性能為每秒926 token。

在130億參數(shù)的Llama2模型通用推理中,，當輸入輸出為256時,，性能為每秒513 token,；當輸入輸出序列為2048時，性能為每秒132 token,。

AISBench 2.0的測試結(jié)果,，驗證了英特爾至強在運行輕量級大語言模型時展現(xiàn)出的優(yōu)異推理性能。

也使得客戶可以通過基于至強的服務器,，構建一個通用AI系統(tǒng)進行數(shù)據(jù)預處理,、模型推理和部署，從而獲得兼具AI性能,、效率,、準確性和可擴展性的組合。

同時還彰顯了英特爾至強可以為企業(yè)提供“開箱即用”的功能,，即可以在通用系統(tǒng)上部署一部分AI工作負載,，從而為客戶帶來更佳的總體擁有成本（TCO）優(yōu)勢。