Stability AIが画像から3Dモデルを生成できるAI「TripoSR」を発表、簡単に使えるデモも公開されてたので試してみた

2024年3月5日、画像生成AI「Stable Diffusion」などの開発を行うStablity AIが、3Dモデル生成AIツール「Tripo AI」を開発するTripoと提携し、画像を入力するだけで高品質な3Dモデルを生成できるAIツール「TripoSR」を発表しました。
TripoSRのご紹介：単一画像からの高速3Dオブジェクト生成 — Stability AI Japan
https://ja.stability.ai/blog/triposr-3d-generation

????新リリース????@tripoAI とのコラボレーションにより、TripoSR をリリースしました。
TripoSR は、1秒以内に高品質なアウトプットを作成できる新しい image-to-3D モデルです。
詳細はこちら：https://t.co/3vts0AHAh6 pic.twitter.com/EUVgAnmDVi— Stability AI Japan (@StabilityAI_JP) March 5, 2024

TripoSR: Fast 3D Object Reconstruction from a Single Image
(PDFファイル)https://static1.squarespace.com/static/6213c340453c3f502425776e/t/65e5d4991c13be738cc1f8fe/1709560988372/TripoSR_report.pdf
TripoSRは画像を3Dモデル化できるAIです。既にTripoSRを簡単に使えるデモが公開されているので、実際に使ってみます。まずは以下のリンクをクリック。
TripoSR - a Hugging Face Space by stabilityai
https://huggingface.co/spaces/stabilityai/TripoSR

今回は以下の画像を3Dモデル化してみます。

「Input Image」と記されたエリアに画像をドラッグ＆ドロップし、「Generate」をクリックします。

しばらく待つと、背景を消す処理が行われた画像と、生成された3Dモデルが表示されます。

生成された3Dモデルがこんな感じ。

3Dモデルはドラッグしてグリグリと動かしたり、マウスホイールを転がして拡大・縮小を行ったりすることが可能です。以下は横から見た画像です。

元の画像では見えなかった人形の背面も生成されています。

下から見るとこんな感じ。

3Dモデル右上のダウンロードボタンをクリックすると、3DモデルをOBJ形式でダウンロードできます。

また、画面下部の「Example」の欄からOpenAIが用意した例を閲覧することも可能です。

Stability AIによると、今回発表されたTripoSRは、2023年11月に公開された論文「単一画像から3Dへの大規模再構成モデル」にインスパイアされた結果誕生した高速3Dオブジェクト再構築モデルとのこと。
TripoSRは、OpenLRMをはじめとするその他のモデルと比較してわずか数分の一の時間で精細な3Dモデルを生成することが可能です。Stability AIは、NVIDIA A100を用いたテストにおいて、3DCGをわずか0.5秒で生成したことを報告しています。以下は3DCGの生成を行うための推論に要した時間と品質を示したグラフです。青色で示されたTripoSRが、生成スピードだけでなく品質にも優れていることがわかります。

さらにTripoSRは、GPUがない環境でも動作するとのこと。TripoSRの使用用途についてStability AIは「エンターテインメントやゲーム、工業デザイン、建築分野などに応用することが可能で、開発者やデザイナー、クリエイターの皆さまには、TripoSRの機能を探求し、仕事や業界を変革する可能性を発見していただきたいと思っています」と述べています。
なお、TripoSRのソースコードやモデルデータは以下のリンク先で公開されています。
GitHub - VAST-AI-Research/TripoSR
https://github.com/VAST-AI-Research/TripoSR

stabilityai/TripoSR · Hugging Face
https://huggingface.co/stabilityai/TripoSR