NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み

AI開発企業のMistral AIがNVIDIAと協力してAIモデル「Mistral NeMo」を開発したことを発表しました。Mistral NeMoは各種ベンチマークでGemma 2 9BやLlama 3 8Bを上回る性能を示しており、NVIDIAのAIプラットフォームで利用できるほか、モデルデータがオープンソースで公開されています。
Mistral NeMo | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/mistral-nemo/
Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model | NVIDIA Blog
https://blogs.nvidia.com/blog/mistral-nvidia-ai-model/?ncid=so-twit-243298&linkId=100000274370636
Mistral NeMoはパラメータ数12Bの比較的小型なAIモデルです。Mistral NeMoとGemma 2 9BとLlama 3 8Bの性能を比較した表が以下。Mistral NeMoのコンテキストウィンドウは12万8000で、他の2モデルと比べて大きなプロンプトを処理可能。さらに、ほとんどのベンチマークでGemma 2 9BとLlama 3 8Bを上回るスコアを記録しています。加えて、Mistral NeMoは量子化を考慮して設計されており、FP8でもパフォーマンスの低下を抑えて推論処理を実行可能とのこと。

Mistral NeMoは多言語対応モデルとして開発されており、特に日本語、英語、中国語、韓国語、アラビア語、イタリア語、スペイン語、ドイツ語、ヒンディー語、フランス語、ポルトガル語で性能を発揮します。多言語性能を測定するベンチマークでは、ほとんどのテストでLlama 3 8Bを上回るスコアを記録しています。

また、Mistral NeMoは新開発のトークナイザ「Tekken」を採用しており、トークン化の効率が向上しています。日本語では従来のトークナイザと比べて1.56倍の効率でトークン化が可能で、アラビア語では3.02倍、マレーシア語では3.90倍に効率が向上しています。

Mistral NeMoはNVIDIAのAIプラットフォームDGX Cloudで学習処理を実行しており、学習の際にはAI開発フレームワーク「NVIDIA NeMo」に含まれるGPU最適化技術「Megatron-LM」を活用したとのこと。
Mistral NeMoはすでにNVIDIA NIMで使えるサービスとしてパッケージ化されています。実際にNVIDIA NIM上で「istral-nemo-12b-instruct」を使ってみた結果、日本語で高精度な回答を返してくれました。

なお、Mistral NeMoはベースモデルの「Mistral-Nemo-Base-2407」と微調整版の「Mistral-Nemo-Instruct-2407」がHugging Faceで公開されています。ライセンスはApache License 2.0で、商用アプリにも使用可能です。
mistralai/Mistral-Nemo-Base-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Base-2407
mistralai/Mistral-Nemo-Instruct-2407 · Hugging Face
https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407