無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場

クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。
Snowflake Arctic - LLM for Enterprise AI
https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/

Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力」「命令追従能力」の平均を取って「エンタープライズインテリジェンス」という単一の指標を作成しました。
今回SnowflakeがリリースしたLLMであるSnowflake Arcticは、オープンなLLMの中でもトップクラスのエンタープライズインテリジェンス能力を持つとのこと。さらに、トレーニングにかかる費用は200万ドル(約3億1000万円)未満となっており、他のモデルに比べて非常に効率よくトレーニングできるとされています。
下図は縦軸をエンタープライズインテリジェンススコア、横軸をトレーニングにかかるコンピューティングリソースとして、いくつかのLLMを比較したグラフです。Snowflake Arcticが少ないコストで高いパフォーマンスを出していることが分かります。

下図は具体的なコンピューティングリソースの使用量を計算するための表です。トレーニングに必要な計算量はアクティブパラメーターの数とトレーニングトークンの積に比例するとのこと。トレーニング効率が高いモデルでは、ユーザーが手頃にカスタムモデルを作成できるというメリットがあります。

良好なトレーニング効率を達成するために、Snowflake Arcticでは独自のDense-MoEハイブリッドトランスフォーマーアーキテクチャを使用しているとのこと。MoEは「Mixture of Experts(混合専門家)」の略称で、Snowflake Arcticでは合計128人の「専門家」に合計4800億(480B)パラメーターが振り分けられており、トレーニングと推論では専門家の中から合計170億(17B)パラメーターだけが使用されます。

またトレーニングの際にフェーズごとに学習内容を変更し、最初の1兆(1T)トークン分にあたるフェーズ1では常識的な推論など一般的なスキルを学習し、後半のフェーズ2とフェーズ3でコーディングや数学など複雑な内容を学習するようにしているとのこと。

こうした調整を重ねることで、Snowflake Arcticはトレーニングだけでなく推論も効率良く行えるようになりました。エンタープライズインテリジェンスを縦軸に、推論の効率を示す指標であるアクティブパラメーター数を横軸にしてさまざまなLLMを配置すると下図のようになり、Snowflake Arcticは少ない計算量で高いパフォーマンスを発揮することが一目で分かります。

Snowflake Arcticは「SQL生成」「コーディング」「命令追従」というエンタープライズインテリジェンスにおいてはSnowflake Arcticを上回るアクティブパラメーターを持つ大きなサイズのオープンモデルに対しても最高レベルのパフォーマンスを発揮できるうえ、「数学」「常識的な推論」「知識」という学術の世界で一般的な指標でも同じサイズのモデルと同等の能力を発揮できるとのこと。

具体的なベンチマークの数値は下記の通りです。

実際のSnowflake Arcticの動作を試せるデモページが用意されています。ページにアクセスし、右下のチャット欄にプロンプトを入力して紙飛行機のマークをクリックすればOK。試しに「日本語能力はどれくらいありますか？」と質問してみると「私は日本語の能力があります。どんな質問やリクエストでもお気軽にどうぞ！」とフランクな回答が返ってきました。

Snowflake ArcticのモデルはHugging Faceで公開されているほか、数日以内にAWS、Lamini、Microsoft Azure、NVIDIA APIカタログ、Perplexity、Replicate、Togetter AIなどに登場する予定とのことです。