Adobeが動画生成AI「Firefly Video Model」のベータ版をリリース、Premiere Proの動画生成機能も順次公開へ

Adobeが2024年10月14日に開催したカンファレンスイベント「Adobe MAX」で、生成AI「Firefly」の派生となる動画生成AI「Firefly Video Model」ベータ版の提供を開始すると発表しました。Adobeによると、Firefly Video Modelは安全に商用利用ができるように設計された初の動画生成モデルだとのことです。
Adobe Launches Firefly Video Model and Enhances Image, Vector and Design Models
https://news.adobe.com/news/2024/10/101424-adobe-launches-firefly-video-model
Firefly Video Modelについては、2024年9月に「2024年後半にベータ版が登場する」ことが予告されていました。Firefly Video Modelがどんなモデルなのかについては以下の記事を読むとよくわかります。
Adobe Fireflyに動画生成機能の「Firefly Video」モデルが登場、2024年後半にベータ版が利用可能に - GIGAZINE

AdobeはFirefly Video Modelの一般向けリリース日をまだ明らかにしていませんが、記事作成時点ではウェブアプリ版のAdobe Fireflyで「Text-to-Video」と「Image-to-Video」のベータ版を公開中で、ウェイトリストに掲載されていたユーザーにのみアクセスを許可しています。
「Text-to-Video」では、ユーザーは生成したい内容のテキスト説明を入力するだけで動画を生成できます。カメラスタイルも「映画風」「3Dアニメーション」や「ストップモーション」など、さまざまなスタイルをエミュレート可能で、生成されたクリップはカメラの角度や動き、撮影距離などをシミュレートする「カメラ コントロール」を選択してさらに調整できるとのこと。

「Image-to-Video」はさらに一歩進んで、ユーザーがテキストプロンプトとともに参照画像を追加できるようにし、結果をより細かく制御できるようになりました。Adobeは、これを使用して画像や写真からBロールを作成したり、既存の映像から静止画をアップロードして再撮影を視覚化したりできる可能性を示しています。
以下が「Image-to-Video」に入力した映像の例。黄色いケーブルがささっている機械のスイッチを入れる場面です。

そして、この入力した映像をもとに生成した映像が以下で、スイッチを切るのではなく黄色いケーブルを引き抜いています。ただし、よく見ると引き抜いたケーブルの奥にある黄色いケーブルが揺れていたり、ぼけている背景が徐々に変形したりといった不自然な点も存在するため、完全に置き換えられるほどの精度ではない模様。

記事作成時点で生成できる映像の最大長は5秒で、画質は最高で720p・24fpsです。生成自体にはおよそ90秒かかるとのことで、Adobeはこの生成時間を短縮する「ターボモード」の開発に取り組んでいると語っています。

また、Adobeは動画編集ソフトのPremiere Proにも段階的に搭載していくことを明らかにしました。AdobeはPremiere Proに生成AIによる新機能を搭載することを2024年4月に発表しており、「映像内のオブジェクト追加・削除」「フレームの追加」「映像素材の生成」などが可能になるとしています。
Adobe Premiere Proに生成AIで「映像内のオブジェクト追加・削除」「フレームの追加」「映像素材の生成」を実行する機能が2024年中に搭載される予定 - GIGAZINE

Premiere Proでは、まずGenerative Extend(生成拡張)がリリースされます。これは、720pあるいは1080pで24fpsの映像を約2秒間延長できるという機能で、クリップの前後をAIで生成することが可能になります。

Adobeは、いずれの生成AIモデルも学習使用が許可されたコンテンツでトレーニングされているため、商業的に安全であると述べています。また、Adobeは生成した映像コンテンツには、作成者の情報やSNSリンク、AIで生成したか否かを示す「Content Credentials」を埋め込むことができるとしており、ウェブアプリのAdobe Content Authenticityなどを使うことでAIの使用状況や所有権を開示できるようになります。
Adobeがデジタルコンテンツに帰属表示を適用したりAIトレーニング拒否を表明したりできる「Adobe Content Authenticity」ウェブアプリを発表 - GIGAZINE

Adobeのデジタルメディア担当最高技術責任者であるエリー・グリーンフィールド氏は「AdobeのクリエイティブアプリケーションにおけるFireflyは広く普及しており、クリエイティブ コミュニティがFireflyを使用して可能性の限界を押し広げている様子を見るのは刺激的です。プロフェッショナルのクリエイターに、商業的に安全な設計の、アイデア創出と創作のためのツールをさらに多く提供できることを嬉しく思います」とコメントしました。