IntelがAIアクセラレータ「Gaudi 3」を発表、NVIDIAのH100より高速かつ低消費電力で一部テストではH200にも勝利

IntelがAIアクセラレータ「Gaudi 3」を2024年4月9日に発表しました。Gaudi 3はAI学習性能とAI推論性能の両面でNVIDIAのAI特化GPU「H100」よりも高い性能を発揮するそうです。
Intel Gaudi 3 AI Accelerator
https://www.intel.com/content/www/us/en/products/details/processors/ai-accelerators/gaudi3.html
Intel Breaks Down Proprietary Walls to Bring Choice to Enterprise GenAI Market
https://www.intel.com/content/www/us/en/newsroom/news/vision-2024-gaudi-3-ai-accelerator.html#gs.7pyw4a
Intel Unleashes Enterprise AI with Gaudi 3, AI Open Systems Strategy and New Customer Wins :: Intel Corporation (INTC)
https://www.intc.com/news-events/press-releases/detail/1689/intel-unleashes-enterprise-ai-with-gaudi-3-ai-open-systems
Gaudi 3はIntelの第5世代Tensor Processor Core(TPC)を64コア搭載し、6万4000もの並列処理が可能な行列乗算エンジン(MME)を8コア搭載しています。また、メモリ帯域幅3.7TB/sのHBM2eメモリを128GB搭載し、SRAMも96MB搭載。これにより、大規模言語モデルやマルチモーダルAIモデルの学習や推論に十分なメモリを確保しています。さらに、200ギガビットイーサネットを24ポート搭載することで大規模なコンピューティングクラスタの構築にも対応しています。

Intelのテスト結果では、Gaudi 3はNVIDIAのH100と比べて「Llama2 7B」「Llama2 13B」「GPT-3 175B」といった大規模言語モデルの学習時間を50％短縮できるとのこと。また、「Llama 7B」「Llama 70B」「Falcon 180B」の推論速度がH100と比べて50％高速になることや電力効率が40％向上することも確認されています。さらに、NVIDIAが2024年中の発売を予定しているH200に対しても、「Llama 7B」「Llama 70B」「Falcon 180B」において30％高速な推論が可能なことが確認されています。

Gaudi 3は2024年第2四半期にDell、Hewlett Packard Enterprise、Lenovo、SupermicroといったOEMに供給される予定で、一般提供は2024年第3四半期に始まります。また、2024年第4四半期にはGaudi 3のPCIeアドインカードも出荷開始予定です。
◆フォーラム開設中
本記事に関連するフォーラムをGIGAZINE公式Discordサーバーに設置しました。誰でも自由に書き込めるので、どしどしコメントしてください！Discordアカウントを持っていない場合は、アカウント作成手順解説記事を参考にアカウントを作成してみてください！
• Discord | "AMDやIntelはNVIDIAのAIチップシェアを奪えると思う？" | GIGAZINE(ギガジン)
https://discord.com/channels/1037961069903216680/1227554349685669929