AIの女の子がわいわい競馬予想するシステムを作成したらオッズ2275.3倍の馬券が当たってしまう

生成AIが好きな個人がなんでも出展できる「生成AIなんでも展示会」に参加したという玉置絢さんが、「AIの女の子たちに詰め寄られて買った馬券で大金を失うおじさん」を実演するべく、競馬予想システムの「GALLOPIA」を作成したところ、オッズ2275.3倍の馬券が当たった話を報告しています。
AIの女の子がわいわい競馬予想するシステムを個人展示したら倍率2000倍の馬券が当たってしまった (1)設計思想編 #LLM - Qiita
https://qiita.com/oktamajun/items/34c2287a9f4d9ac9c298
玉置さんが作成したGALLOPIAは、「AIの女の子が8人住んでいるグループチャットがあり、そこにレースを指定して予想依頼を出すと、話し合いでおすすめの馬券を提案してくれる」というもの。このシステムの趣旨は「AI同士が何やら怪しい知識や主張で『この馬が来る！』『いやこっちが来る！』とかワイワイ言い合ってるところを楽しむ」であり、ガチの競馬予想AIを作成することではなかったそうです。そのため、玉置さんは「たぶん本気の予想AIは言語系のLLMではなくDNN(ディープニューラルネットワーク)などを使っているし、そのほうが正しいはずです。たぶん。(詳しくない)」と記しています。
GALLOPIAでは8人のAIがそれぞれ異なる分野を担当しています。各女の子の担当は以下の通り。

女の子たちがそれぞれ担当する分析分野の主張を展開し、データ担当のしらべが迷走を監視、板書・書記担当のふみのが情報を整理、最終的に主人公のみちるがレース予想を提示します。

玉置さんが作成したGALLOPIAが実際に動く様子を動画化したものが以下。複数人の女の子がそれぞれの意見を展開しており、動画ではみちるが予想判断担当、ちあきが血統分析担当、ゆかりが騎手・関係者分析担当、はやてがラップ・調教分析担当を担っています。最終的にみちるが女の子たちの意見をまとめて5つの馬券購入パターンを提示しており、実際に玉置さんが当てたオッズ2275.3倍の馬券もこの予想に含まれていることが確認可能です。
GALLOPIAが動く様子 (24/11/16 東京12Rの予想を再現) - YouTube

GALLOPIAを実現するために玉置さんが使用したモデルとその用途は以下の通り。玉置さんは「単体のLLMよりも複数のLLMを組み合わせたほうが良いユースケースも多い」と記しています。
gemini-1.5-pro：大量データから有利不利点の導き出し
GPT-4o：少量データから有利不利点の導き出し、みちるの意思決定
GPT-4o-mini：ホワイトボードへの議論まとめ書き込み
claude-3-5-sonnet-20241022：各人の主張の骨子作成
claude-3-haiku-20240307：キャラセリフ作成、個人単位の要約
競馬予想のような考えさせるデータが多い分野で大規模言語モデル(LLM)にあらゆる情報を与えて一発で回答を得ようとすることは悪手だそうで、「プロンプトが一定の長さを超えると、タスクに対する成果は悪くなりがち」と玉置さんは説明しています。そのため、GALLOPIAでは短いプロンプトでLLMを何度もコールすることで、思考の品質を高めているとのこと。
また、競馬では血統や騎手、調教などさまざまな専門知識をベースにレース予想を行うため、特に複数のLLMを使う手法が効果的だった模様。GALLOPIAの場合、ドメイン知識ごとに別個のLLMに分析させ、それらを後から別のLLMにマージさせることで、より信頼度の高い予想を出力できるのではと考えられたわけです。
なお、玉置さんはこのような複数のLLMを用いて対話形式で回答を出力する方法を「マルチエージェントLLMオーケストレーション」と呼んでおり、その利点と欠点をブログ上で解説しているので、気になる人はチェックしてみてください。