Adobe Fireflyに動画生成機能の「Firefly Video」モデルが登場、2024年後半にベータ版が利用可能に

Adobeの生成AI機能群であるAdobe Fireflyに、間もなく動画生成機能の「Firefly Video」モデルが追加されることが明らかになりました。
Bringing generative AI to video with Adobe Firefly Video Model | Adobe Blog
https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon
Adobe - Adobe Previews Its Upcoming Firefly Video Model
https://news.adobe.com/news/news-details/2024/Adobe-Previews-Major-Advancements-to-its-Upcoming-Firefly-Video-Model/default.aspx
We’re excited to share progress on the all-new Firefly Video Model with Text to Video & Image to Video capabilities across @creativecloud, @AdobeExpCloud & @AdobeExpress workflows - all designed to be commercially safe & available in beta later this year. https://t.co/0ZPH03aYlJ— Adobe Video & Motion (@AdobeVideo) September 11, 2024

Adobe Firefly Video Model Coming Soon | Adobe Video - YouTube

Adobeは動画編集コミュニティと緊密に協力しながら、動画生成モデルであるFirefly Videoモデルを進化させてきました。コミュニティからのフィードバックを参考に、Adobeはクリエイターの権利を念頭に置いてモデルを活用した新しいワークフローを開発し、編集者がクリエイティブなビジョンを考案して探求し、タイムラインのギャップを埋め、既存の映像に新しい要素を追加できるようにしているそうです。
「Firefly Text-to-Video」では、テキストプロンプトから動画を生成することが可能。動画生成時にはテキストプロンプトだけでなく、さまざまなカメラコントロールを設定したり、参照画像を使用したり、タイムラインのギャップをシームレスに埋めるBロールを生成したりすることが可能です。

実際に「Firefly Text-to-Video」で生成した動画とプロンプトの一例が以下。なお、事例として挙げられている動画はすべて2分以内に生成されたものだそうです。
「Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed, with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.(日没時の雪の森にいるトナカイの映画のようなクローズアップと詳細なポートレート。照明は映画的でゴージャスで柔らかく、太陽の光が降り注ぎ、金色のバックライトと夢のようなボケとレンズフレアが特徴です。カラーグレードは映画的で魔法のようです。)」

「Slow-motion fiery volcanic landscape, with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic, dramatic, and high-contrast.(スローモーションで撮影された、火口から溶岩が噴出する燃え盛る火山の風景。カメラは溶岩の中を飛び、溶岩がレンズに飛び散ります。照明は映画的で雰囲気があります。カラーグレードは映画的でドラマチック、そして高コントラストです。)」

「Miniature adorable monsters made out of wool and felt, dancing with each other, 3d render, octane, soft lighting, dreamy bokeh, cinematic.(ウールとフェルトで作られた、互いに踊るミニチュアの愛らしいモンスター。3Dレンダリング、オクタン、ソフトな照明、夢のようなボケ、映画のような見た目。)」

Firefly Videoモデルは特に自然界の動画を生成するのに優れています。例えばクリエイターが映像制作時にシーンを作成するために必要なショットが足りないと感じる場合、風景・植物・動物などのカメラモーションによる挿入を生成することが可能。
「Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.(砂漠の上を飛行するドローンに搭載されたカメラの映像。砂丘の上を風が吹き、下の砂に波を立てています。)」

「Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed, with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.(日没のゴールデンアワーに、雪に覆われた森の木々の間をドローンで撮影しました。照明は映画的でゴージャス、柔らかく、太陽の光が降り注ぎ、金色のバックライトと夢のようなボケとレンズフレアが映えます。カラーグレードは映画的で魔法のようです。)」

さらに、オリジナルの映像を参考に新しい映像を出力することも可能。以下はオリジナル映像をベースに出力された動画で、「Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass(大きな赤い虫眼鏡を通して見た白いタンポポの詳細な超マクロのクローズアップ映像)」というテキストプロンプトも利用されています。

「Firefly Image-to-Video」では、入力画像をベースに動画を生成することが可能。
ベース画像

上記画像をベースに「Zoom out of the galaxy to reveal that it is contained inside the pupil of a human eye, detailed macroscape.(銀河をズームアウトすると、それが人間の目の瞳孔内に含まれている詳細なマクロ風景が明らかになります。)」というテキストプロンプトで出力された動画。

2024年後半にはPremiere Proのベータ版に「Generative Extend」という機能が登場予定で、これを使うことでクリップを延長して映像のギャップを埋めたり、トランジションをスムーズにしたり、ショットを長く保持して完璧なタイミングで編集したりすることが可能になります。
なお、Firefly Videoモデルを活用したAdobe Fireflyの動画生成機能は、すべて商業的に安全に使用できるように設計されており、2024年後半にベータ版が利用可能となります。