世界頂級服務器制造商和云服務提供商即將推出 HGX H200 系統(tǒng)與云實例

NVIDIA 于11月13日宣布推出 NVIDIA HGX? H200,，為 Hopper 這一全球領先的 AI 計算平臺再添新動力,。NVIDIA HGX H200 平臺基于 NVIDIA Hopper? 架構,，搭載 NVIDIA H200 Tensor Core GPU 和領先的顯存配置，可處理生成式 AI 與高性能計算工作負載的海量數(shù)據(jù),。 

NVIDIA H200 是首款采用 HBM3e 的 GPU,，其運行更快,、更大的顯存容量將進一步加速生成式 AI 與大語言模型，同時推進用于 HPC 工作負載的科學計算,。憑借 HBM3e,，NVIDIA H200 能夠提供傳輸速度達 4.8 TB/秒的 141GB 顯存。與上一代架構的 NVIDIA A100 相比,，其容量幾乎翻了一倍,，帶寬也增加了 2.4 倍。

全球領先的服務器制造商和云服務提供商預計于 2024 年第二季度開始提供搭載 H200 的系統(tǒng),。

NVIDIA 超大規(guī)模和高性能計算副總裁 Ian Buck 表示：“想要通過生成式 AI 和 HPC 應用創(chuàng)造智能,，就必須使用大型、快速的 GPU 顯存來高速,、高效地處理海量數(shù)據(jù),。借助 NVIDIA H200，業(yè)界領先的端到端 AI 超級計算平臺的速度將會變得更快,，一些世界上最重要的挑戰(zhàn),，都可以被解決?！?span style="text-indent: 2em;"> 

持續(xù)的創(chuàng)新帶來持續(xù)的性能飛躍

與前代架構相比,，NVIDIA Hopper 架構實現(xiàn)了前所未有的性能躍升，而 H100 持續(xù)的軟件升級,，包括最近發(fā)布的 NVIDIA TensorRT?-LLM 等強大的開源庫,，都在不斷提升其性能標準。

H200 的推出將帶來進一步的性能飛躍,，比如在一個 700 億參數(shù)的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍,。隨著未來軟件的持續(xù)升級，H200 有望實現(xiàn)更大的性能優(yōu)勢與提升,。 

NVIDIA H200 的規(guī)格

NVIDIA H200 將提供四路和八路 NVIDIA HGX H200 服務器主板可選,，其與HGX H100 系統(tǒng)的硬件和軟件都兼容。同時還可用于今年 8 月發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper? 超級芯片,。這些配置使 H200 可以部署在各類數(shù)據(jù)中心，包括本地,、云,、混合云和邊緣。 

在 NVIDIA NVLink? 和 NVSwitch? 高速互連技術的加持下,，HGX H200 可為各種應用工作負載提供最高的性能,，包括針對 1750 億參數(shù)以上超大模型的 LLM 訓練和推理。

八路 HGX H200 可提供超過 32 PetaFLOPS的 FP8 深度學習計算能力和 1.1TB 的聚合高帶寬內存容量,，能夠為生成式 AI 和 HPC 應用帶來強勁性能,。

當H200 與采用超高速 NVLink-C2C 互連技術的 NVIDIA Grace? CPU 搭配使用時,，就組成了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——專為大型 HPC 和 AI 應用而設計的計算模塊。 

使用 NVIDIA 全棧式軟件加速 AI 

NVIDIA 加速計算平臺具備強大軟件工具支持,，能夠助力開發(fā)者和企業(yè)構建并加速從 AI 到 HPC 的生產就緒型應用,，包括適用于語音、推薦系統(tǒng)和超大規(guī)模推理等工作負載的 NVIDIA AI Enterprise 軟件套件,。

供應情況

NVIDIA H200 將于 2024 年第二季度開始通過全球系統(tǒng)制造商和云服務提供商提供,。