Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み

MetaとGoogle DeepMindの元従業員が立ち上げたAI開発企業のMistral AIが、同社初のコーディング用AIモデル「Codestral」を発表しました。Codestralはコーディングタスク専用に設計された生成AIモデルで、ソフトウェア開発者が高度なAIアプリケーションを設計するのに役立ちます。
Codestral: Hello, World! | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/codestral/

Mistral releases Codestral, its first generative AI model for code | TechCrunch
https://techcrunch.com/2024/05/29/mistral-releases-its-first-generative-ai-model-for-code/
Codestralは、Python、Java、C、C＋＋、JavaScript、Bashなどの最も人気のある言語を含む80以上のプログラミング言語の多様なデータセットでトレーニングされたAIモデルです。SwiftやFortranなどの、より具体的なプログラミング言語で優れたパフォーマンスを発揮します。幅広い言語ベースにより、Codestralはさまざまなコーディング環境やプロジェクトで開発者を支援することが可能です。
Codestralはコーディングを完成させたり、中間補完メカニズムを使用して部分的にコードを補完したりすることも可能。Codestralを利用することで、開発者はコ​​ーディングスキルを向上させることできるだけでなく、エラーやバグのリスクを軽減することもできるとのことです。この他、Codestralはコードに関する質問に英語で回答することもできます。

Codestralのコンテキストウィンドウ(AIモデルが一度に処理できるトークン数)は、既存のコーディング向けAIと比較しても非常に大きな「32k(3万2000トークン)」です。以下は他社製AIモデルとコーディングパフォーマンスベンチマークのスコアを比較した表。テストではPythonでのコーディングパフォーマンスを測定するのにHumanEval、MBPP、CruxEval-O、RepoBenchの4つ、SQLでのコーディングパフォーマンスを測定するのにSpider、複数のプログラミング言語(Python、C＋＋、bash、Java、PHP、Typescript、C#)での平均スコアを比較するのにHumanEvalを利用。なお、FIMは各AIモデルの中間補完機能を測定したスコアです。すべてのスコアでCodestralがトップというわけではないものの、ほぼすべてのベンチマークでトップクラスのスコアを記録しています。

Mistral AIはCodestralをオープンと表現しているものの、Codestralとその成果物をいかなる商業活動においても使用することを禁じています。なお、ライセンスには「会社の事業活動の文脈で従業員が内部でCodestralを使用すること」も明示的に禁止されています。
この理由について、テクノロジーメディアのTechCrunchは「Codestralが著作権で保護されたコンテンツで部分的にトレーニングされた可能性があるため」と指摘。Mistral AIはこれについて言及していませんが、「Mistral AIの以前のトレーニングデータセットには著作権で保護されたデータが含まれていたことがあります」とTechCrunchは指摘しました。
なお、TechCrunchは「220億のパラメーターを持つCodestralを実行するには、高性能なPCが必要です。ベンチマークによると、競合製品に勝っているものの、圧倒的な差はありません」「Codestralはほとんどの開発者にとって非現実的であり、パフォーマンスの改善という点でも漸進的に過ぎません。ただし、プログラミングアシスタントとしてコード生成モデルに依存することに関する議論を活性化させることは間違いありません」と記しました。