ストーリー性のあるマンガを自動生成するAIモデル「StoryDiffusion」

AIで生成した画像を使った漫画の著作権がアメリカで物議を醸したり、漫画の設定やあらすじを提案してくれるAIサービスが登場したりと、AIは絵やイラストの生成だけでなく漫画作品の制作にも活用されるようになってきています。中国のByteDanceと南開大学の研究チームが、ストーリーのある漫画を出力できるAIモデル「StoryDiffusion」を発表しました。
StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation
https://storydiffusion.github.io/
StoryDiffusionは、統一感のある漫画キャラクターを出力することが可能です。例えば、以下は上からコマドリ、リス、ハリネズミのキャラクターを、左から順に「ベッドで起きる」「朝食を食べる」「道路にいる」といったプロンプトで出力した結果とのことですが、キャラクターの造形や絵柄がほとんど変わらないことがわかります。

登場人物が複数でも一貫性を維持することが可能です。

こうした機能により、StoryDiffusionを使うとストーリー性のある漫画を生成することが可能です。例えば、以下では「チューリング賞を受賞した時」というテーマで漫画が生成されており、漫画は右の画像で示された3人の男性が受賞の知らせを受けて会場で出会い、知り合うといった筋書きとなっています。手の造形には不安が残りますが、登場人物の見た目は一貫しているのがわかります。

「少女とリス」というタイトルのかわいらしい絵柄の漫画もあります。

研究チームは、ストーリーに沿った一連の画像を生成するために、ストーリーのテキストをいくつかのプロンプトに分割し、それらのプロンプトに基づいて画像を一括生成させることで、まとまりのある複数の画像を生成できるようにしたとのことです。