Googleが大規模言語モデル「Gemma 2」をベースとしたパラメーターサイズがコンパクトな「Gemma 2 2B」、AIモデルの入出力をフィルタリングする「ShieldGemma」、モデル解釈ツール「Gemma Scope」を発表

Googleは2024年6月に大規模言語モデル(LLM)の「Gemma 2」を発表しました。当初発表されたGemma 2のパラメーターサイズは90億(9B)と270億(27B)の2つだったのですが、これらよりもコンパクトなパラメーターサイズでありながら優れたパフォーマンスを発揮できる「Gemma 2 2B」や、Gemma 2をベースとしたAIモデルの入出力をフィルタリングしてユーザーの安全を守ることができるという「ShieldGemma」、モデルの内部動作に関する比類ない洞察を提供することができるモデル解釈ツールの「Gemma Scope」を発表しています。
Smaller, Safer, More Transparent: Advancing Responsible AI with Gemma - Google Developers Blog
https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/

Gemma Scope: helping the safety community shed light on the inner workings of language models - Google DeepMind
https://deepmind.google/discover/blog/gemma-scope-helping-the-safety-community-shed-light-on-the-inner-workings-of-language-models/
Google releases Gemma 2 2B, ShieldGemma and Gemma Scope
https://huggingface.co/blog/gemma-july-update
Google DeepMind's new Gemma 2 model outperforms larger LLMs with fewer parameters
https://the-decoder.com/google-deepminds-new-gemma-2-model-outperforms-larger-llms-with-fewer-parameters/
Google's tiny AI model 'Gemma 2 2B' challenges tech giants in surprising upset | VentureBeat
https://venturebeat.com/ai/googles-tiny-ai-model-gemma-2-2b-challenges-tech-giants-in-surprising-upset/
Google releases new 'open' AI models with a focus on safety | TechCrunch
https://techcrunch.com/2024/07/31/google-releases-new-open-ai-models-with-a-focus-on-safety/
Google Expands Gemma 2 Family with New 2B Model, Safety Classifiers, and Interpretability Tools
https://www.maginative.com/article/google-expands-gemma-2-family-with-new-2b-model-safety-classifiers-and-interpretability-tools/
Google Unveils Gemma 2 2B, Outperforms GPT-3.5-Turbo and Mixtral-8x7B
https://analyticsindiamag.com/ai-news-updates/google-unveils-gemma-2-2b-outperforms-gpt-3-5-turbo-and-mixtral-8x7b/
Google DeepMind launches 2B parameter Gemma 2 model
https://thenextweb.com/news/google-deepmind-2b-parameter-gemma-2-model
Googleが2024年6月に発表したGemma 2は、パラメーターサイズが9Bのものと27Bのものがリリースされました。サイズが大きな27Bは、リリース後にLLMを評価するクラウドソーシングされたオープンソースのリーダーボードであるLMSYS Chatbot Arenaで最高ランクに位置づけられ、人間との会話では2倍以上のパラメーターサイズを持つ人気のAIモデルよりも優れたパフォーマンスを発揮しました。これに加えて、Gemma 2は安全性とアクセシビリティを優先した責任あるAI基盤の上に構築されています。
Gemma 2の持つこれらの特徴をより進化させるべく、GoogleはGemma 2ファミリーとして新たに3つのプロダクトを発表しました。
◆Gemma 2 2B
「Gemma 2 2B」はパラメーターサイズが20億(2B)という、既存のモデルの中でも最もコンパクトで軽量なモデルです。Gemma 2 2Bはよりパラメーターサイズの大きなモデルから学習することで、コンパクトながら並外れたパフォーマンスを発揮することができるようになっているとGoogleはアピールしています。
以下のグラフはGemma 2 2B、Mixtral 8x7b instruct v0.1、GPT 3.5 Turbo 0314、Llama 2 70b chat、Gemma 1.1 7B itのLMSYS Chatbot Arenaでのスコアを比較したグラフ。より大きなパラメーターサイズのLLMにもパフォーマンスで勝っていることが実証されています。なお、比較に使用されたスコアは2024年7月30日に取得されたものです。

Googleが挙げるGemma 2 2Bの特徴は以下の通り。
・卓越したパフォーマンス
パラメーターサイズに対してクラス最高のパフォーマンスを提供し、同カテゴリの他のオープンモデルを上回ります。
・柔軟でコスト効率の高い導入
Gemma 2 2Bは、エッジデバイスやノートPCからVertex AIやGoogle Kubernetes Engine(GKE)を使用した堅牢なクラウド導入まで、幅広いハードウェアで効率的に動作します。さらに、速度を向上させるためにNVIDIAのTensorRT-LLMライブラリで最適化されているため、NVIDIA NIM上で利用することも可能です。この最適化は、データセンター、クラウド、ローカルワークステーション、PC、エッジデバイスなど、エッジAI用のNVIDIA RTX、NVIDIA GeForce RTX GPU、NVIDIA Jetsonモジュールを使用したさまざまな導入を対象としています。さらに、Gemma 2 2BはKeras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp、MediaPipe(記事作成時点では未対応)とシームレスに統合されているため、開発を効率化することができます。
・オープンアクセス可能
研究および商用アプリケーション向けの商業フレンドリーなライセンスの下で利用できます。Google ColabのT4 GPUの無料レベルで実行できるくらいにコンパクトなため、「実験と開発がこれまで以上に簡単になる」とGoogleは豪語しています。
なお、Gemma 2 2BはKaggle、Hugging Face、Vertex AI Model Gardenからモデルウェイトをダウンロード可能なだけでなく、Google AI Studioで試用することもできます。
◆ShieldGemma
オープンモデルを責任を持って導入し、魅力的で安全かつ包括的なAI出力を確保するには、開発者と研究者の多大な努力が必要です。このプロセスで開発者を支援するために、AIモデルの入力と出力内に含まれる有害コンテンツを検出・軽減するよう設計された最先端の安全性分類器が、ShieldGemmaです。ShieldGemmaは主に「ヘイトスピーチ」「嫌がらせ」「性的に露骨な内容」「危険なコンテンツ」という4つの危害領域を対象としています。

これらのオープン分類子は、限られた数のデータポイントで特定のポリシーに合わせた分類子を構築する方法論を含むResponsible AI Toolkitの既存の安全性分類子スイートと、API経由で提供される既存のGoogle Cloud既成分類子を補完するものです。
・SOTAパフォーマンス
Gemma 2をベースに構築されたShieldGemmaは、業界をリードする安全性分類ツールです。
・柔軟なサイズ
ShieldGemmaは、多様なニーズを満たすためにさまざまなモデルサイズを提供しています。2Bモデルはオンライン分類タスクに最適ですが、9Bおよび27Bモデルは遅延があまり問題にならないようなオフラインアプリケーションでより高いパフォーマンスを発揮します。すべてのサイズでNVIDIAの速度最適化が活用されているため、ハードウェア全体で効率的なパフォーマンスを実現可能です。
・オープンでコラボレーション
ShieldGemmaのオープンな性質は、AIコミュニティ内の透明性とコラボレーションを促進し、機械学習業界の安全基準の将来に貢献します。
以下はShieldGemmaを含む複数のAIモデルの「prompt calassification」(プロンプトの分類)と「response classification」(応答の分類)を評価したスコア。数値が高いほど優れたパフォーマンスを発揮したことを示します。ShieldGemma(SG) PromptとSG ResponseはGoogleがテスト用に作成したデータセットで、OpenAI ModとToxicChatは外部のベンチマークデータセットです。

◆Gemma Scope
Gemma Scopeは、研究者や開発者にGemma 2モデルの意思決定プロセスに関する前例のない透明性を提供します。強力な顕微鏡のように機能するGemma Scopeは、sparse autoencoders(SAEs)を使用してモデル内の特定のポイントを拡大し、モデルの内部動作をより解釈しやすくします。
SAEsはGemma 2によって処理された高密度で複雑な情報を解析し、分析と理解が容易な形式に拡張するのに役立つ特殊なニューラルネットワークです。研究者は、これらの拡張ビューを研究することで、Gemma 2がどのようにパターンを識別し、情報を処理し、最終的に予測を行うかについて貴重な洞察を得ることができます。Gemma ScopeではAI研究コミュニティがより理解しやすく、説明責任があり、信頼性の高いAIシステムを構築する方法を発見できるように支援することを目指しているそうです。
Gemma Scopeが画期的な点として、Googleは以下の3点を挙げています。
・オープンSAEs
Gemma 2 2Bおよび9Bのすべてのレイヤーをカバーする、無料で利用できる400を超えるSAEが用意されています。
・インタラクティブデモ
Neuronpediaでコードを記述せずにSAEsの機能を調べ、モデルの動作を分析できます。
・使いやすいリポジトリ
SAEsおよびGemma 2とのインターフェース用のコードと事例も用意されています。