3Dモデル用のメッシュを人間のアーティストが作成したように構築できる「MeshAnything」

2024年7月2日にMetaが発表したテキストから3Dモデルを生成できる「3D Gen」やOpenAIの「Shap-E」などの3Dモデルを簡単に生成できるAIがあったり、映像や写真から再構成された3Dモデルが配布されていたりと、さまざまな3Dモデルを簡単に手に入れることができます。一方で、手作業で作成された3Dモデルとは異なり、機械生成したものは3Dモデルを各アプリで運用するための「メッシュ」が大幅に劣ります。シンガポールの南洋理工大学や上海AIラボなどの研究者らが共同で作成した「MeshAnything」というソフトは、あらゆる3D表現に人間のアーティストが作成した3Dモデルに匹敵するメッシュを追加することができます。
(PDFファイル)MeshAnything: Artist-Created Mesh Generation
with Autoregressive Transformers
https://buaacyw.github.io/mesh-anything/MeshAnything.pdf

[2406.10163] MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers
https://arxiv.org/abs/2406.10163
MeshAnything
https://buaacyw.github.io/mesh-anything/
3DモデルはAIによってテキストから生成したり、オブジェクトを読み取って再構築する形で生成したりできるようになり、そのクオリティも手作業による3Dモデルに匹敵するようになっています。ただし、3Dモデルは機械的にピクセルの距離を計算することが難しいという理由で輪郭線を描くのが苦手であると指摘されているほか、3Dアセットをさまざまなアプリに適用するためにはメッシュに変換する必要があり、メッシュの自動生成は3Dモデル作成に比べてあまり発達していません。
3DCGで「輪郭線」を描くのがなぜ難しいのか - GIGAZINE

南洋理工大学でAIによるコンテンツ生成を研究しているチェン・イーウェン氏らが公開した論文によると、従来のメッシュ抽出方法は表面的な面に依存し、幾何学的特徴を無視しているため、「非効率性」「複雑な後処理が必要」「表現品質の低下」という問題を招いているそうです。
そこで、これらの問題に対処するために、メッシュ抽出を生成問題として扱うことで「指定された形状に合わせたアーティスト作成メッシュ(人間が手作業で生成したメッシュ)を生成するモデル」として作成されたのがMeshAnythingです。
以下の画像は、MeshAnythingでメッシュを作成をした例。点だけで形をとったポイントクラウド、かなり細かい機械生成のメッシュ、ディープラーニングに基づくNeRFモデル、ポイントクラウドなどからなめらかなモデルにレンダリングした3D GS、画像やテキストから、メッシュつきの3Dモデルを生成しています。ここで抽出したメッシュは人力で作成したメッシュに近いもので、あらゆる3D業界の目的にシームレスに適用できるそうです。

MeshAnythingではまず、指定された3Dモデルからポイントクラウドをサンプリングし、それをFeatureという単位にエンコードします。Featureを自己回帰トランスフォーマーに入力することで、形状条件付きメッシュ生成を実現しているという仕組みです。

従来のメッシュを機械生成する技術は、3Dモデルを小さなセルに分割して表面を近似的に再現する方法や、表面の勾配をニューラルネットワークで分析してメッシュを最適化する形などが一般的です。しかしこの場合は、要素が密集した部分が不自然なメッシュになったり、形状の特性を無視して表面的なメッシュになったりといった問題があります。MeshAnythingは複雑な3D形状の学習を避けて形状を再構築することに生成AIを最適化しているため、トレーニングの負担を大幅に軽減してアーティストの手によるものに近いメッシュを生成しているとのこと。
MeshAnythingのプロジェクトについては論文で公開されているほか、GitHubでも確認することができます。
GitHub - buaacyw/MeshAnything: From anything to mesh like human artists. Official impl. of "MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers"
https://github.com/buaacyw/MeshAnything