「AIのトレーニングにかかるコストはわずか3年で1000億ドルに上昇するかもしれない」とAnthropicのCEOが予想

チャットAI「Claude」などを開発するAI企業「Anthropic」のダリオ・アモデイCEOが、「2025年から2027年にかけての3年間で、AIのトレーニングコストが100億ドル(約1兆6000億円)～1000億ドル(約16兆円)にまで上昇する可能性があります」と主張しています。
Dario Amodei - CEO of Anthropic | Podcast | In Good Company | Norges Bank Investment Management - YouTube

AI models that cost $1 billion to train are underway, $100 billion models coming — largest current models take 'only' $100 million to train: Anthropic CEO | Tom's Hardware
https://www.tomshardware.com/tech-industry/artificial-intelligence/ai-models-that-cost-dollar1-billion-to-train-are-in-development-dollar100-billion-models-coming-soon-largest-current-models-take-only-dollar100-million-to-train-anthropic-ceo

ノルウェー政府系ファンドのNorges Bank Investment Managementと行われた対談の中で、アモデイ氏はAIの進歩について触れ、ChatGPTなどの生成AIから汎用人工知能(AGI)に突然到達することはないと提言。代わりに「人間の子どもが徐々に学習するように、過去のモデルの発展に基づいて、段階的にAGIに近づいて行くでしょう」と述べています。
そのため「AIモデルが毎年10倍強力になるとすれば、AIモデルをトレーニングするために必要なハードウェアも10倍以上の強化が求められます。ハードウェアはAIトレーニングにおける最大のコスト要因になるでしょう」とアモデイ氏は予測しました。実際に、2023年時点でChatGPTのトレーニングには3万個ものGPUが必要になると報じられており、イーロン・マスク氏のAIスタートアップ「xAI」は、1台当たり約3万ドル(約481万円)から4万ドル(約642万円)のAI向けGPU「B200」を約30万台購入予定であることを明かしています。
Given the pace of technology improvement, it’s not worth sinking 1GW of power into H100s.
The @xAI 100k H100 liquid-cooled training cluster will be online in a few months.
Next big step would probably be ~300k B200s with CX8 networking next summer.— Elon Musk (@elonmusk) June 2, 2024

また、OpenAIとMicrosoftは1150億ドル(約18兆4000億円)規模のAIデータセンター開設を予定していることが報じられています。
アモデイ氏によると、すでにAIのトレーニングにかかるコストは上昇しつつあるとのこと。OpenAIのAIモデル「GPT-4o」を含めた現行のAIモデルのトレーニングには約1億ドル(約160億円)を要しており、Anthropicが開発中のAIモデルのトレーニング費用は約10億ドル(約1600億円)に上るそう。

アモデイ氏は「AIのトレーニングにかかる費用は2025年から2027年にかけての3年間で100億ドル、もしかすると1000億ドルにまで上昇するでしょう。このままアルゴリズムやチップの改良が続けば、2027年頃には人間よりも優れたAIモデルが開発される可能性が高いと思います」と推測しました。