AMDが帯域幅6.0TB/sの256GBメモリを搭載したAIアクセラレータ「Instinct MI325」を発表、NVIDIAのH200を一部のテストで打ち負かす

AMDがカリフォルニア州サンフランシスコで開催されたイベント「AMD Advancing AI 2024」で、CDNA 3アーキテクチャを基盤とするAIアクセラレータ「Instinct MI300」シリーズの強化モデルである「Instinct MI325X」を2024年第4四半期(10月～12月)に量産出荷すると正式に発表しました。同時に、CDNA 4アーキテクチャを採用した次世代モデル「Instinct MI355X」を2025年後半に出荷予定であることも明らかにしました。
AMD Delivers Leadership AI Performance with AMD Instinct MI325X Accelerators :: Advanced Micro Devices, Inc. (AMD)
https://ir.amd.com/news-events/press-releases/detail/1220/amd-delivers-leadership-ai-performance-with-amd-instinct
AMD reveals core specs for Instinct MI355X CDNA4 AI accelerator — slated for shipping in the second half of 2025 | Tom's Hardware
https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-reveals-core-specs-for-instinct-mi355x-cdna4-ai-accelerator-slated-for-shipping-in-the-second-half-of-2025
Instinct MI325の存在は、2024年7月に開催された2024年第2四半期決算報告で発表されていました。
AMDのAIデータセンター部門はAI特化型チップがヒットして前年比2倍の成長、2024年第2四半期で過去最高の収益となる28億ドルを計上 - GIGAZINE

MI300XからMI325Xへの主な変更点はGPUあたりのメモリ容量で、MI300Xでは最大192GBだったのが、最大256GBとなっています。ただし、決算報告では最大288GBと報告されていたので、正式発表に当たってメモリ容量はわずかに減らされたことになります。メモリの通信帯域幅は6TB/sで、トランジスタ数は1530億。処理能力は8ビット浮動小数点演算で2.6PFLOPS、16ビット浮動小数点演算で1.3PFLOPSです。

MI325を8基組み合わせたプラットフォームだと、処理能力はFP8(8ビット浮動小数点)演算で20.8PFLOPS、FP16(16ビット浮動小数点)演算で10.4PFLOPSだとのこと。

AMDは、MI325XとNVIDIAのH200を大規模言語モデルを動作させた際のシングルGPUパフォーマンスの比較結果を示しました。Mixtral 8x7B、Mistral 7B、Llama 3.1 70Bのいずれにおいても、MI325のパフォーマンスはH200を上回ったとのこと。

また、MI325XとH200をそれぞれ8基組み合わせてLlama 3.1の405GBモデルと70GBモデルを動作させた時のマルチGPUパフォーマンスの比較結果が以下。MI325プラットフォームはH200 HGXの1.4倍のパフォーマンスを見せたそうです。

MetaのLlama-2をトレーニングする際のMI325Xのパフォーマンスは、シングル・マルチともにH200とほぼ同等であるとAMDはアピールしています。

さらに、AMDはInstinct MI300シリーズの上位モデルとして、「Instinct MI350」シリーズをリリースすると発表。CDNA 4アーキテクチャを採用し、最大メモリ容量は288GBとなっています。

Instinct MI350シリーズの1つであるMI355Xは、FP16演算とFP8演算の両方でMI325の1.8倍のパフォーマンスを叩き出すとのこと。また、Instinct MI350シリーズではFP6・FP4のデータタイプもサポートされており、MI355Xは9.2PFLOPSの演算能力を示すそうです。

AMDによれば、MI355Xは2025年後半に出荷予定だとのこと。また、さらにその次世代アーキテクチャを採用したInstinct MI400シリーズは2026年量産出荷を目指しているとAMDは述べました。

なお、AMD Advancing AI 2024の様子は以下のムービーで見ることができます。
Advancing AI 2024 ‪@AMD‬ - YouTube