映像のディテールを復活させながらアップスケールできるAI「VideoGigaGAN」をAdobeの研究チームが開発

Adobeが映像のアップスケールが可能なAI「VideoGigaGAN」を発表しました。VideoGigaGANは既存の映像アップスケールAIと比べてクッキリとした描写が可能なほか、フレーム間のチラつきも抑えられています。
VideoGigaGAN
https://videogigagan.github.io/
AdobeはVideoGigaGANの実力を示す例として、128×128ピクセルの映像を縦横8倍の1024×1024ピクセルへとアップスケールしたデモを公開しています。

オリジナル映像(左)とアップスケール後の映像(右)を大きさをそろえた状態で並べたものが以下。かなり高画質にアップスケールできていることが分かります。

滝の映像をアップスケールするとこんな感じ。アップスケール後の映像(右)はオリジナル映像(左)と比べて水流や植物がクッキリと描写されました。

Adobeによると、VideoGigaGANは既存の映像アップスケールAIと比べてディテールの再現性に優れており、チラつきも抑えられるとのこと。AdobeはBasicVSR(左上)、BasicVSR＋＋(右上)、TTVSR(左下)といった映像アップスケールAIとVideoGigaGAN(右下)の処理結果を比較してVideoGigaGANの性能の高さをアピールしています。

なお、VideoGigaGANの技術的な詳細は以下のリンク先で確認できます。
[2404.12388] VideoGigaGAN: Towards Detail-rich Video Super-Resolution
https://arxiv.org/abs/2404.12388

◆フォーラム開設中
本記事に関連するフォーラムをGIGAZINE公式Discordサーバーに設置しました。誰でも自由に書き込めるので、どしどしコメントしてください！Discordアカウントを持っていない場合は、アカウント作成手順解説記事を参考にアカウントを作成してみてください！
• Discord | "アップスケールしたい動画は持ってる？どんな動画？" | GIGAZINE(ギガジン)
https://discord.com/channels/1037961069903216680/1232985589129809981