AIのスケーリング則が限界に直面、「学習データや学習量を増やせばAIの性能が上がる」という状況はすでに終わっている

AIのスケーリング則は2020年1月にOpenAIが提唱した法則で、「AIモデルの性能は、『学習に使われるデータの規模』『学習に使われる計算量』『モデルのパラメーター数』が増加するほど強化される」というものです。この法則について、AIの動向に詳しいゲイリー・マーカス氏が「AI業界ではスケーリング則が通用しなくなっている」と指摘する記事を公開しています。
The new AI scaling law shell game - by Gary Marcus
https://garymarcus.substack.com/p/a-new-ai-scaling-law-shell-game
マーカス氏によると「スケーリング則」という言葉の意味は変化を続けており、記事作成時点で語られるスケーリング則は大きく3種類に分かれるとのこと。1つ目はOpenAIが提唱したものに近い「学習時間が長いほどAIの性能が強化される」というもので、2つ目は「推論時間が長いほどAIの性能が強化される」というもの、3つ目は「学習済みAIモデルへの追加学習にかける時間が長いほどAIの性能が強化される」というものです。
3種のスケーリング則のうち「学習時間が長いほどAIの性能が強化される」という法則は、AI企業によって否定されつつあります。例えば、OpenAIのサム・アルトマンCEOは2023年4月に「(スケーリング則に頼った)巨大なAIモデルの時代は終わったと考えている」と発言しています。
「推論時間が長いほどAIの性能が強化される」という法則はMicrosoftのサティア・ナデラCEOが2024年10月の講演で大きく取り上げていたことが有名です。ナデラCEOの講演は以下の動画で確認できます。
Satya Nadella AI Tour Keynote: London - YouTube

推論時間を長くすることで性能を向上させているAIとして有名なのが、OpenAIの「OpenAI o1」です。OpenAI o1はGPT-4oと比べて推論に時間がかかる代わりに性能が高く、57項目のテストのうち54項目でGPT-4oを超えるスコアを記録したことがアピールされていました。しかし、裏を返せば57項目3項目ではGPT-4oと同等以下の性能しか出せないことを示しているわけです。

GPT-4はGPT-3と比べて飛躍的な性能向上を示しましたが、OpenAI o1ではそこまで大きな性能の向上は見られませんでした。これらの事実をもとに、マーカス氏は「推論時間が長いほどAIの性能が強化される」という法則も崩壊していると指摘しています。
また、マーカス氏は3つ目の「学習済みAIモデルへの追加学習にかける時間が長いほどAIの性能が強化される」という法則については「これは『いくつかのパラメーターを微調整すれば、どれだけ向上するかは分からないが、性能は向上すると思う』と言っているようなもので、法則と呼べるものではない」と述べています。
なお、AIの研究開発を進める企業はスケーリング則の限界がささやかれる中でも設備投資を進めています。例えば、MetaはNVIDIAのH100を10万台以上使って次世代AIモデルの学習を進めていることを明かしています。また、イーロン・マスク氏が設立したAI企業「xAI」も10万台以上のH100を搭載したAI学習クラスタを運用しており、規模の拡大を進めています。一方で、数十万台規模のAIチップが稼働するデータセンターではチップの冷却や故障管理などが影響して運用が複雑化することが指摘されています。
イーロン・マスクのAI企業「xAI」がNVIDIA H100を10万台搭載したAI学習クラスタ「Colossus」を稼働開始、数カ月以内に「H100を20万台搭載したAI学習クラスタ」も完成予定 - GIGAZINE