GoogleのAIに匹敵するオープンソースのAIモデル「Falcon 2」をUAEがリリース

アラブ首長国連邦の政府系研究機関であるテクノロジーイノベーション研究所(TII)が2024年5月13日に、MetaのLlama 3 8Bを上回り、GoogleのGemma 7Bと同等のパフォーマンスを持つオープンソースの大規模言語モデル(LLM)の「Falcon 2」を発表しました。
Falcon 2: UAE’s Technology Innovation Institute Releases New AI Model Series, Outperforming Meta’s New Llama 3 | Technology Innovation Institute
https://www.tii.ae/news/falcon-2-uaes-technology-innovation-institute-releases-new-ai-model-series-outperforming-metas
Abu Dhabi's Technology Innovation Institute Unveils Falcon 2
https://www.maginative.com/article/abu-dhabis-technology-innovation-institute-unveils-falcon-2/
UAE Releases New Falcon AI Model 11B to Rival Meta’s Llama, OpenAI and Google - Bloomberg
https://www.bloomberg.com/news/articles/2024-05-13/uae-releases-new-falcon-ai-model-11b-to-rival-meta-s-llama-openai-and-google
今回発表されたFalcon 2シリーズは、110億のパラメータを持つ5兆5000億のトークンでトレーニングされたLLMである「Falcon 2 11B」と、画像からテキストへの変換に特化したマルチモーダルモデルの「Falcon 2 11B VLM」の2つで構成されています。
2023年にリリースされた前モデルのFalconはパラメーター数が最大70億でしたが、当時のオープンソースモデルとしては最高のパフォーマンスを誇っていました。
オープンソースで商用利用可能な大規模言語モデル「Falcon」が登場、オープンソースモデルの中では最高の性能に - GIGAZINE

発表によると、Falcon 2 11BはHugging Faceが実施した独立検証で、Metaが2024年4月にリリースしたオープンLLMのLlama 3 8Bを上回り、GoogleのオープンLLMのGemma 7Bに匹敵する性能を示したとのこと。
Falcon 2 11Bは英語、ドイツ語、スペイン語、フランス語、イタリア語、ポルトガル語、ポーランド語、オランダ語、ルーマニア語、チェコ語、スウェーデン語に対応しており、効率性やアクセス性に優れた汎用(はんよう)モデルとして展開されます。
また、Falcon 2 11B VLMは視覚データを識別して解釈する機能を備えたマルチモーダルモデルで、医療、金融、電子商取引、教育、法律など幅広い業界にアプリケーションを提供することが見込まれます。具体的なユースケースには、胸部のX線写真や教育用ドキュメント、建築物の設計図の分析などがあります。
Falcon 2シリーズは今後はさまざまなサイズで展開されるほか、複数の専門的ニューラルネットワークを統合する手法であるMixture of Experts(MoE)などの高度な機械学習機能により、パフォーマンスが洗練される予定とのこと。

特に重要なのは、両モデルがいずれもオープンソースモデルであり、世界中の開発者が無制限にアクセスできる点です。TIIは今後、Linux Foundationをモデルとした非営利団体のFalcon Foundationを設立し、Falconシリーズの開発を移管する予定としており、新組織の憲章には「Falconが永遠にオープンソースモデルであり続けること」が明記されるとのことです。
TIIに資金を提供している政府機関である先端技術研究評議会のファイサル・アル・バンナイ事務局長は「Falcon 2 11Bは卓越した性能を示しましたが、私たちはこれをオープンソースの流れとFalcon Foundationへのコミットメントとして捉えています。他のマルチモーダルモデルも、間もなくさまざまなサイズで市場投入される予定で、これによって私たちはプライバシーを重視する開発者や事業者が最高のAIモデルのひとつに確実にアクセスできるようにすることを目指していきます」と話しました。
Falcon 2 11Bには、以下からアクセスできます。
tiiuae/falcon-11B · Hugging Face
https://huggingface.co/tiiuae/falcon-11B