「失われた世界遺産」の復元に生成AIが貢献

批判もあるAIだけど、こんな風に役に立つことも。

ある研究チームが、人工知能を使用してユネスコ世界遺産にある失われたレリーフパネルの3D再構築に成功しました。

研究チームはまず、3次元オブジェクトの2D写真1枚から3次元のデジタル再構築を生成できるニューラルネットワークを開発。一体どういうものかというと、21世紀版の立体鏡みたいなもののようです。チームは先月開催された第32回「ACMマルチメディア会議」で、実証発表しました。

ユネスコ世界遺産を再構築

研究に使用されたのは、ユネスコ世界遺産であるインドネシアのボロブドゥール寺院のレリーフ画像。この寺院には2,672個の精密な浮き彫りが存在し、世界最大の仏教レリーフコレクションと言われています。19世紀後半、寺院の基部が再設置されたことで、156個のレリーフが石壁の後に隠され、現在も埋もれたままとなっています。しかし、埋められる前に、各パネルのグレースケール写真が撮影されていました。研究チームのニューラルネットワークは、134年前に撮影された古い白黒写真を使用して、現在は隠れているレリーフの1つを再構築することに成功したのです。

過去の問題点を解決

以前にも、写真の再構築はトライされていたんですが、レリーフの細かい詳細を複製することができなかったのです。細かい部分は深度値の圧縮により失われていました。つまり、3次元レリーフには、見る人から最も近い彫刻部分から最も遠い部分までの精密さがあり、以前の再構築の試みでは、様々な深度における精密さが平坦化されてしまっていました。研究チームは、こういった失われた特徴を「ソフトエッジ」と呼び、3D空間における曲率の変化に基づいてエッジのマップを開発したのです。

研究チームは、既存のエッジマップがモデルの精度を低下させていて、3D曲率の変化を適切に伝えることができていなかったことに加えて、ネットワークへの組み込み方法が物理的オブジェクトの深度推定に対する影響を制限していたと論文で指摘しています。

深度の変化や曲線をも抽出

立命館大学の研究者で本研究の共著者である田中覚氏は大学のプレスリリースで「95%の再構築精度を達成したものの、人物の顔や装飾などの細かい部分はまだ失われていました。これは2Dレリーフ画像における深度値の高圧縮が原因で、エッジに沿った深度の変化を抽出することが困難だったからです。我々の新しい手法では、新規のエッジ検出アプローチを用いて、特にソフトエッジに沿った深度推定を強化することでこの問題に取り組んでいます」と述べています。

上の画像は、サンプルレリーフのソフトエッジマップ（左）とセマンティックマップ（右）について、真値データ（上段）と比較した研究チームの実験結果（下段）を表しています。エッジマップはその名の通り、レリーフの曲線が深度を生み出す点を追跡しています。

セマンティックマップは、モデルの知識ベースが関連する概念をどのように関連付けているかを示しています。この画像では、モデルは前景の特徴（青）、人物像（赤）、背景を区別しています。研究チームは、真値画像と比較して、今回のモデルが他の最新モデルとどのように比較されるかも含めて報告しています。

AIを上手に利用して遺産の保存

AIは批判を受けることも多いですが、科学の分野では画像認識と文化遺産の保存に関して非常に優れた能力を発揮しています。9月には、別のチームがニューラルネットワークを使用してラファエロが描いたパネルの未発見の詳細を特定していますし、また別のチームは畳み込みニューラルネットワークを使用して、ペルーのナスカの地上絵の既知の数のほぼ2倍の数の絵をわずかな期間で発見しています。

このモデルは対象物を理解するために複数のデータチャンネルを取り込むことができ、レリーフの曲線を測定するために使用されるソフトエッジ検出器は、深度を認識するための明るさのわずかな変化だけでなく、彫刻自体の曲線も検出することができます。両方の情報チャンネルを使用することで、新しいモデルは以前よりも鮮明で詳細なレリーフの再構築を実現することができたというわけです。

「私たちの技術は文化遺産の保存と共有に大きな可能性を秘めています。これは考古学者だけでなく、VRやメタバース技術を通じた没入型の仮想体験にとっても新しい機会を開くもので、将来の世代のためにグローバルな遺産を保存することができます」と田中氏は述べています。

文化遺産はしっかりと保存して守っていかなくては行けないのですが、リスクにさらされている文化遺産もあります。AIによって生成された再構築では本物に取って代わることはできませんが、それでもちゃんと有効な用途があるのです。最近のニューラルネットワークは、例えば2001年にタリバンによって爆破されたバーミヤンの仏像など画像としてのみ存在する失われた遺産を、拡張現実や仮想現実環境において復活させることができる可能性があります。

また、オーストラリアのタナミ砂漠にあるバオバブの木に刻まれた何世紀も前のアボリジニの彫刻のような、破壊の危機に瀕している文化遺産の保存にもAIモデルを活用できるかもしれないと考えられています。

AIモデルが美術史家や保存活動家たちが文化遺産を保存することに役立つなら、大変意味のあることですよね。もちろん、AIモデルは膨大なエネルギーを必要とし、それが間接的な形で文化遺産の損失に与える可能性だってあります。しかし、文化遺物に関してはテクノロジーを良い目的のために使用することは、正しい使い方だと思えますよね。