MicrosoftがAMDのAIチップ「MI300X」を用いた高コスパのAI開発用クラウドサービスを提供開始

AIの学習や推論に用いるAIインフラストラクチャーの市場ではNVIDIA製のAI特化チップが大きなシェアを占めています。そんな中、MicrosoftがAMD製のAI特化チップ「MI300X」を用いたAIインフラストラクチャー「ND MI300X v5」をAzureで提供開始することを発表しました。
Introducing the new Azure AI infrastructure VM series ND MI300X v5 - Microsoft Community Hub
https://techcommunity.microsoft.com/t5/azure-high-performance-computing/introducing-the-new-azure-ai-infrastructure-vm-series-nd-mi300x/ba-p/4145152
AMD Instinct MI300X Accelerators Power Microsoft Azure OpenAI Service Workloads and New Azure ND MI300X V5 VMs :: Advanced Micro Devices, Inc. (AMD)
https://ir.amd.com/news-events/press-releases/detail/1198/amd-instinct-mi300x-accelerators-power-microsoft-azure
小規模なAIの学習および推論は消費者向けのGPUやCPUでも可能ですが、大規模言語モデルなどの規模の大きなAIモデルの学習や推論を実行する場合は一般的なGPUでは非効率的です。このため、NVIDIAやIntel、AMDといった半導体メーカーはAIの学習や推論に特化したチップを開発しています。しかし、記事作成時点ではNVIDIA製AI特化チップ「H100」を用いたAI処理インフラストラクチャーが市場シェアの大部分を占めており、AMDやIntelのAI特化チップは目立たない存在となっています。
AMDが開発したMI300XはH100と比べて最大1.6倍の性能を備えたAI特化チップで、テスト環境によっては最大2.1倍の性能を発揮したという報告もあります。また、2023年12月時点でOpenAI・Microsoft・Meta・OracleといったAIインフラストラクチャーの提供元がMI300Xの採用を表明していました。
AMDがAIチップ「Instinct MI300」シリーズでNVIDIAの牙城に切り込む、既にOpenAI・Microsoft・Meta・Oracleが採用を決定 - GIGAZINE

新たに、MicrosoftはMI300Xを用いたAIインフラストラクチャー「ND MI300X v5」をAzureのサービスとして提供開始することを発表しました。ND MI300X v5には1.5TBのHBMが搭載されており、メモリ帯域幅は5.3TB/sに達するとのこと。Microsoftは、高速な大容量メモリによって消費電力やコストを削減しつつ処理の高速化を実現できるとアピールしています。
ND MI300X v5はAure向けに最適化されているほか、OpenAIの大規模言語モデル「GPT-4 Turbo」にも最適化されています。さらに、Microsoftは「ND MI300X v5は人気のあるOpenAIのモデルやオープンソースモデルに対して優れたコストパフォーマンスを提供します」と述べ、OpenAI以外のモデルでも高い性能を発揮することを強調しています。
また、ND MI300X v5はAMDのAI開発ソフトウェア「ROCm」をサポートしており、TensorFlowやPyTorchなどの一般的な機械学習フレームワークに加えて「ONNX」「DeepSpeed」「MSCCL」といったMicrosoftのAIアクセラレーションライブラリも利用可能です。

MicrosoftのOffice 365製品管理部門のコーポレート・バイスプレジデントを務めるジェイソン・ヘンダーソン氏は「MI300Xをベースにした新しいAzure VMはMicrosoft Copilotサービスに素晴らしい結果をもたらしました。MicrosoftによるAIアクセラレータへの投資によって、Copilotのユーザーに継続的なパフォーマンス上のメリットを提供できます」「(ND MI300X v5は)Microsoft 365 チャットやWord Copilot、Teams Meeting Copilotなどを含むMicrosoft 365 Copilotを支える主要なAIインフラストラクチャーの一部です」と述べ、ND MI300X v5がMicrosoftの製品改善に役立っていることをアピールしています。