2D画像を3D空間に落とし込んで「物理的に違和感のない編集」を可能にする編集手法「MiraGe」

生成AIを用いると「画像内の物体を移動」「1枚の画像をもとにアニメーションを作成」といった編集作業が可能ですが、物理的にあり得ない結果が出力されることも多々あります。ヤギェウォ大学やケンブリッジ大学の研究チームが開発した画像編集手法「MiraGe」は「画像を三次元空間に落とし込む」というアプローチで物理的に正しい編集を可能とします。
[2410.01521] MiraGe: Editable 2D Images using Gaussian Splatting
https://arxiv.org/abs/2410.01521
MiraGe
https://waczjoan.github.io/MiraGe/
Image Editing with Gaussian Splatting - Unite.AI
https://www.unite.ai/image-editing-with-gaussian-splatting/
MiraGeは「Gaussian Splatting」と呼ばれる技術を用いて画像を三次元空間に落とし込むことで、奥行きや他の物体との位置関係などを物理的な破綻なく編集することを可能にします。また、物理エンジンによる「物体の質感の変更」を画像に適用して、「画像内の物体を柔らかくして、曲げる」といった編集も可能です。以下の例では、MiraGeを用いて「三角形の物体を柔らかく曲げつつ移動」「人間の顔の向きや表情を変更」といった編集を施しています。

MiraGeを用いた編集の例が以下。画像をクリックすると「子どもたちの腕が物理的な破綻なく動き、布が本物っぽく揺らめく」というアニメーションを確認できます。

物理エンジンを駆使して「像が砂に変化してサラサラ崩れる」というアニメーションも作成できます。

MiraGeのリファレンス実装のソースコードは、以下のリンク先で公開されています。
GitHub - waczjoan/MiraGe: Official implementation of "MiraGe: Editable 2D Images using Gaussian Splatting"
https://github.com/waczjoan/MiraGe/