Mistral AIが日本語など11言語で潜在的に有害なコンテンツを検出できるコンテンツモデレーションAPIを開始

フランスの人工知能スタートアップ企業であるMistral AIが、大規模言語モデル(LLM)ベースのモデレーションシステムとして、日本語を含めた多言語に対応したモデレーションAPIを発表しました。
Mistral Moderation API | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/mistral-moderation/
Moderation | Mistral AI Large Language Models
https://docs.mistral.ai/capabilities/guardrailing/
Mistral AI takes on OpenAI with new moderation API, tackling harmful content in 11 languages | VentureBeat
https://venturebeat.com/ai/mistral-ai-takes-on-openai-with-new-moderation-api-tackling-harmful-content-in-11-languages/
このモデレーションAPIは、Mistral AIが開発するMinistral 8Bのファインチューニングバージョンを搭載しており、性的コンテンツやヘイトスピーチ、暴力的な内容、危険な活動、個人を特定できる情報など、9つの異なるカテゴリにわたって潜在的に有害なコンテンツを検出できるように設計されています。

Mistral AIのモデレーションAPIはテキスト用と会話コンテンツ用の2種類があり、英語・日本語・ドイツ語・フランス語・イタリア語・ポルトガル語・スペイン語・アラビア語・中国語・韓国語・ロシア語でトレーニングされているため、ネイティブで多言語に対応済み。
Mistral AIによるとこのモデレーションAPIは、Mistral AIが提供するチャットボットサービス「Le Chat」のモデレーションシステムに使われているものだとのこと。Mistral AIは「AIを有用なものにするためには、安全性が重要です。私たちは、下流のデプロイを保護するにはシステムレベルのガードレールが不可欠であると考えています」と述べています。

IT系ニュースサイトのVentureBeatは、「今回のMistral AIによるモデレーションAPIのリリースは、 Microsoft Azure、Qualcomm、SAPとの契約を含む、Mistral AIが最近行っている一連のパートナーシップに続くものです。Mistral AIはエンタープライズAI市場でますます重要なプレーヤーとしての地位を確立しており、2024年10月にはMistral Large 2を含むMistralのモデルを自社のインフラストラクチャでホストし、欧州の規制に準拠した安全なAIソリューションを顧客に提供すると発表しました」と述べています。
また、VentureBeatは「Mistral AIのアプローチが特に注目に値するのは、エッジコンピューティングと包括的な安全機能の両方に重点を置いている点です」と述べ、厳格なデータ保護規制を強いられている欧州企業にとって、データのプライバシーやコンプライアンスに対する懸念に対応したMistral AIのソリューションは魅力的だろうと評価しています。