数枚の2D画像から3D空間を再現する「Toon3D」

数枚の漫画・アニメの手描きの画像から「もっともらしい3D構造」を再現するツール「Toon3D」が公開されました。
Toon3D
https://toon3d.studio/

人間は2D画像から3Dの世界を認識できますが、機械は不得手です。「Toon3D」は、複数枚の画像をもとに、画像には描かれていない空間を補完するツールです。
以下がサンプル映像です。

サンプルで使われた画像が以下。

もう1枚が以下。この2枚の画像を基に、Toon3Dは空間を再現しました。

再現されたシーンはぼやけています。デモでは2枚の画像が使われましたが、本来は3枚以上の画像を使う必要があるそうです。

もうひとつのサンプル映像が以下。

手描きの絵画でも、Toon3Dで再構成することができます。Toon3Dは各画像の奥行きを予測し、点群の位置合わせとワープを行い、ガウス精密化を使って以下のような動画を作成します。

Toon3DはGitHubでも公開されています。
GitHub - ethanweber/toon3d: Code for Toon3D https://toon3d.studio/
https://github.com/ethanweber/toon3d?tab=readme-ov-file