画像を3D化する「3Dガウススプリッティング」の精度を飛躍的に向上する手法が開発される

複数の視点から撮影した画像を組み合わせて奥行きのある映像を生成する「ニューラルレンダリング」の手法の1つである「3Dガウススプリッティング(3D Gaussian Splatting)」のレンダリング品質を飛躍的に高める方法「マルコフ連鎖モンテカルロ法としての3Dガウススプラッティング」を開発したとブリティッシュコロンビア大学とGoogleの研究チームが発表しました。
3D Gaussian Splatting as Markov Chain Monte Carlo
https://ubc-vision.github.io/3dgs-mcmc/

3Dガウススプリッティングは数百万個のガウス分布を重ね合わせて3D映像を表現する手法で、最初にガウス分布の初期状態を適当に設定し、実際の画像に一致するようにそれぞれのガウス分布を調整することで精度を高めています。従来の3Dガウススプリッティングでは精度が初期状態に左右されるという問題点があり、出力される映像の精度を高めるために別の手法を利用して初期状態をある程度適切に配置する必要がありました。
ブリティッシュコロンビア大学とGoogleの研究チームは3Dガウススプリッティングの調整段階において、数百万個のガウス分布をまとめてマルコフ連鎖モンテカルロ法のサンプルとして扱うことで確率的勾配ランジュバンダイナミクス(Stochastic Gradient Langevin Dynamics)によってガウス分布を調整できることを発見しました。
新たな手法を利用すると、初期状態がランダムであっても高い精度で3D映像を出力できるとのこと。下図はランダムな初期状態から従来の手法と今回新たに開発された手法それぞれで3D映像を出力した例です。左が従来の手法のもので、全体的にぼやけている部分が多い一方、右の新たな手法での出力では細部まで鮮明に表現されています。特に画面奥に映っている建物で違いが顕著です。

別の例はこんな感じ。上段が従来の手法での出力で、下段が新たな手法での出力です。それぞれ左側は初期状態をランダムにしたもので、右側は初期状態を適切に設定したもの。新たな手法では遠くの景色がより細部まで描写できています。

下図は植物の写真を3D化する例。左上にあるランダムな初期状態から従来の手法で出力した画像では白い点が多数出現してしまいました。

従来の手法では初期状態を設定していても下の葉などの細部表現がうまくできない模様。

新たな手法では細部まできちんと表現できています。

なお、新たな手法である「マルコフ連鎖モンテカルロ法としての3Dガウススプラッティング」の実装はGitHubにて公開されています。