Mistralが初のマルチモーダルAIモデル「Pixtral 12B」リリース、GitHub・Hugging Face・APIサービスプラットフォームLe Chat・Le Platforme経由で利用可能

フランスのAIスタートアップ、Mistralが、テキストだけでなく画像も処理できる自社初のマルチモーダルモデル「Pixtral 12B」を発表しました。
mistral-community/pixtral-12b-240910 · Hugging Face
https://huggingface.co/mistral-community/pixtral-12b-240910
「Pixtral 12B」は120億パラメーターのモデルで、テキストと画像を同時に処理できます。これにより画像の説明やオブジェクトの識別、画像関連のクエリへの応答などのタスクが可能になっています。
Apache 2.0ライセンスで公開されている点が特徴。誰でも無料で入手でき、制限なく使用、変更できます。
モデルはMistralが共有したTorrentのマグネットリンクを使ってダウンロードすることができます。
magnet:?xt=urn:btih:7278e625de2b1da598b23954c13933047126238a&dn=pixtral-12b-240910&tr=udp%3A%2F%https://t.co/OdtBUsbMKD%3A1337%2Fannounce&tr=udp%3A%2F%https://t.co/2UepcMHjvL%3A1337%2Fannounce&tr=http%3A%2F%https://t.co/NsTRgy7h8S%3A80%2Fannounce— Mistral AI (@MistralAI) September 11, 2024

これは、Mistralが「8x22B MOE」を公開したときと同じ手法です。
Mistral AIが突如として新しい大規模言語モデル「8x22B MOE」を発表、コンテキスト長65kでパラメーターサイズは最大1760億か - GIGAZINE

このほか、GitHubおよびHugging Faceページも公開されています。ウェブで機能を試せるデモ版などは公開されていません。
Mistralの開発者対応責任者であるソフィア・ヤン氏によると、 Pixtral 12Bは間もなくMistralのチャットボットとAPI提供プラットフォームであるLe ChatとLe Plateformeでテストできるようになるとのことです。
You can download the model via the torrent link. It'll be available on le Chat and la Plateforme soon.— Sophia Yang, Ph.D. (@sophiamyang) September 11, 2024

なお、MistralがPixtral 12Bの開発にどの画像データを使ったのかは不明。AIモデルがトレーニングに使用する画像データには著作権で保護されたものが含まれている場合があるため、過去にしばしば問題視されています。