Stability AIが新コーディング補助AI「Stable Code 3B」をリリース、少ないパラメーター数ながらMetaの「Code Llama 7B」と同等の性能を発揮

2024年1月17日、画像生成AI「Stable Diffusion」の開発などで知られるStability AIが、2023年8月にリリースされた「Stable Code Alpha 3B」に次ぐ新たなコーディング補助AIとして「Stable Code 3B」をリリースすることを発表しました。
Stable Code 3B: Coding on the Edge — Stability AI
https://stability.ai/news/stable-code-2024-llm-code-completion-release
Today, we announce our first Large Language Model release of 2024: Stable Code 3B. This new LLM is available for non-commercial & commercial use through our new Stability AI Membership: https://t.co/u1Dg5zz3lM
Learn more here: https://t.co/6zy9gUIF0F pic.twitter.com/UStFwZe1m5— Stability AI (@StabilityAI) January 16, 2024

2023年8月にStability AIがリリースした「Stable Code Alpha 3B」については、以下の記事で詳しくまとめられています。
Stability AIがオープンソースのコーディング補助AI「StableCode」を発表 - GIGAZINE

今回発表された「Stable Code 3B」は、このStable Code Alpha 3Bに続くもので、Stability AIは「Stable Codeとして最初の大規模リリースとなります」と語っています。
Stable Code Alpha 3Bから新たに追加された機能として、「Fill in the Middle(FIM)」と呼ばれる、コード内において欠落しているセクションを自動で埋めてくれるコード補完機能が導入されています。また、Stable Code Alpha 3Bからコンテキストサイズが大幅に拡張されているとのことです。
Stable Code 3Bのパラメーター数はわずか30億であるにもかかわらず、70億のパラメーター数を持つMetaの「Code Llama 7B」のような大型モデルと同等かそれ以上のレベルで、正確かつ応答性の高いコード補完を可能にします。また、Code Llama 7Bと比較して、60％の小型化に成功したStable Code 3Bは、MacBook Airのような専用GPUを搭載していない一般的なノートパソコンでもオフラインで実行することが可能です。
Stability AIによるとStable Code 3Bは、4兆トークンもの自然言語データでトレーニングされた「Stable LM 3B」の基礎モデルをベースに、コードを含むソフトウェアエンジニアリング固有のデータでさらなるトレーニングを行ったとのこと。
Stability AIが公開したStable Code 3B(紫)とCode Llama 7B(青)との性能比較が以下。PHPとRustではCode Llama 7Bの性能が上回っているものの、JavaScriptとJavaでは同等の性能、PythonとC++ではStable Code 3Bの性能がCode Llama 7Bの性能を上回っていることが報告されています。

他のコーディング補助AIと比較してもStable Code 3Bの性能は優れており、以下の表ではさまざまなプログラミング言語において「DeepSeek Coder」など他のコーディング補助AIの性能よりもStable Code 3Bの性能が上回っていることが示されています。

Stable Code 3Bは以下のリンク先でダウンロードできます。また、2023年12月から開始された有償メンバーシップに登録することで商用利用を行うことも可能です。
stabilityai/stable-code-3b · Hugging Face
https://huggingface.co/stabilityai/stable-code-3b