NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍

NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍 - 画像


NVIDIAがAIおよびハイパフォーマンス・コンピューティング(HPC)向けのGPU「H200」を2023年11月13日(月)に発表しました。H200は前世代モデル「H100」と比べて推論速度が2倍、x86 CPUと比べてHPC性能が110倍になっていることがアピールされています。
H200 Tensor Core GPU | NVIDIA
https://www.nvidia.com/en-us/data-center/h200/

NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍 - 画像


NVIDIA Supercharges Hopper, the World’s Leading AI Computing Platform | NVIDIA Newsroom
https://nvidianews.nvidia.com/news/nvidia-supercharges-hopper-the-worlds-leading-ai-computing-platform
H200はGPUアーキテクチャ「Hopper」を採用したGPUで、AI処理やHPC向けに最適化されています。同じくHopperを採用した前世代モデルのH100はAIの開発に必要な推論および学習において非常に高い性能を発揮し、需要過多によって製品不足に陥るほどの人気を集めました。
新たに発表されたH200には高速かつ大容量なメモリ技術「HBM3e」が採用されており、メモリ容量は141GB、メモリ帯域幅は4.8TB毎秒に達しています。H200は高性能なメモリを採用することでH100と比べて2倍の推論速度を実現しているとのこと。NVIDIAが示したH100(薄緑)とH200(緑)の推論速度比較グラフを確認すると、H200はH100と比較してLlama2 13Bで1.4倍、GPT-3 175Bで1.6倍、Llama2 70Bで1.9倍の推論速度を達成していることが分かります。

NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍 - 画像


また、HPC性能はX86 CPUの110倍で、NVIDIA製GPU「A100」と比べても2倍高性能であることが示されています。

NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍 - 画像


さらに、H200の運用費用や消費エネルギーはH100と比べて半減していることもアピールされています。

NVIDIAがAIおよびHPC向けGPU「H200」を発表、H100と比べて推論速度が2倍でHPC性能はx86 CPUの110倍 - 画像


H200の詳細な仕様は以下の通り。
フォームファクタH200 SXMFP6434 TFLOPSFP64 Tensor Core67 TFLOPSFP3267 TFLOPSTF32 Tensor Core989 TFLOPSBFLOAT16 Tensor Core1979 TFLOPSFP16 Tensor Core1979 TFLOPSFP8 Tensor Core3958 TFLOPSINT8 Tensor Core3958 TFLOPSメモリ容量141GBメモリ帯域幅4.8TB/sデコーダー7 NVDEC
7 JPEG消費電力最大700Wマルチインスタンス GPU(MIG)Up to 7 MIGs @16.5GB eachフォームファクタSXM接続性NVIDIA NVLink: 900GB/s
PCIe Gen5: 128GB/s
なお、H200は4ウェイもしくは8ウェイ構成のNVIDIA HGX H200サーバーボードとして提供される予定で、AIおよびHPC特化型チップシステム「NVIDIA GH200 Grace Hopper Superchip」に組み込むことも可能とされています。

ジャンルで探す