Metaが動画生成AI「Movie Gen」を開発、テキストからの動画生成に加えて「登場人物の指定」「BGMの付与」「既存動画の編集」にも対応

2024年10月4日、 Metaが動画生成AI「Movie Gen」を発表しました。Movie Genは「テキストから動画生成」「画像で登場人物を指定してテキストから動画生成」「既存の動画の編集」「動画にBGMや効果音を付与」という操作が可能で、競合する動画生成AIと比べて高品質な動画を生成可能とのことです。
Meta Movie Gen
https://ai.meta.com/research/movie-gen/
How Meta Movie Gen could usher in a new AI-enabled era for content creators
https://ai.meta.com/blog/movie-gen-media-foundation-models-generative-ai-video/
◆テキストから動画を生成
以下の動画はMovie Genを用いて「A red-faced monkey with white fur is bathing in a natural hot spring. The monkey is playing in the water with a miniature sail ship in front of it, made of wood with a white sail and a small rudder. The hot spring is surrounded by lush greenery, with rocks and trees.(赤い顔で白い毛並みのサルが天然温泉に入っている。サルは小さい帆とかじが付いた木製のミニチュア帆船で水遊びをしている。温泉は石や木のある緑豊かな場所に囲まれている)」というテキストから生成したものです。テキストに含まれる要素がすべて含まれており、AIっぽい違和感も少なめです。
Metaの動画生成AI「Movie Gen」で生成した動画 - YouTube

◆登場人物を指定して動画を生成
Movie Genでは、人物の写真を入力して、登場人物として指定することもできます。以下の動画は、右上の画像を入力しつつ「A man is doing a scientific experiment in a lab with rainbow wallpaper. The man has a serious expression and is wearing glasses. He is wearing a white lab coat with a pen in the pocket. The man pours liquid into a glass beaker and a cloud of white smoke blooms.(虹色の壁紙のある研究室で科学実験している男性。男性は真剣な表情で、眼鏡をかけている。彼は白い白衣を着ていて、ポケットにはペンが入っている。男性がガラス製ビーカーに液体を注ぐと、白い煙が立つ)」というテキストを入力して生成したものです。
Metaの動画生成AI「Movie Gen」で登場人物を指定して生成した動画 - YouTube

◆既存の動画を編集
Movie Genを使って既存の動画を編集することも可能。以下の4分割動画は左上がオリジナル動画で、右上が「Change the VR headset to binoculars.(VRヘッドセットを双眼鏡に変える)」、左下が「Remove the VR headset.(VRヘッドセットを除去)」、右下が「Add bubbles and futuristic effect.(未来的な泡エフェクトを追加)」というテキストで編集した動画です。
Metaの動画生成AI「Movie Gen」で既存の動画を編集 - YouTube

◆既存の動画にBGMや効果音を付ける
既存の動画にBGMや効果音を付与することもできます。BGMや効果音のタイミングは、動画に合わせて自動で調整されます。例えば、以下の動画には「Rain pours against the cliff and the person, with music playing in the background.(崖と人物に雨が降り注ぎ、背景では音楽が鳴っている)」というテキストで生成したBGMや効果音が付与されています。
Metaの動画生成AI「Movie Gen」でBGMや効果音を付与した動画 - YouTube

◆他の動画生成AIとの比較
Movie Genの性能を「Runway Gen3」「OpenAI Sora」「Kling 1.5」「ID-Animator」といった動画生成AIと比較するA/Bテストを実施した結果、Movie GenはライバルAIと比べて高く評価されたとのことです。

◆Movie Genの研究論文
Movie Genの研究論文は以下のリンク先で公開されています。
Movie Gen: A Cast of Media Foundation Models
(PDFファイル)https://ai.meta.com/static-resource/movie-gen-research-paper