無料お絵描きアプリ「Krita」に画像生成AIを組み込んで落書きから美麗イラストを作成する方法まとめ、Stable DiffusionとControlNetをコマンドなしでサクッと導入可能

無料かつ高機能なペイントアプリ「Krita」に画像生成AI「Stable Diffusion」を組み込むプラグインが「krita-ai-diffusion(AI Image Diffusion)」です。Generative AI for Kritaを使えば落書きのような下描き画像から美麗イラストを生成できるとのことなので、インストール手順や使い方をまとめてみました。
GitHub - Acly/krita-ai-diffusion: Streamlined interface for generating images with AI in Krita. Inpaint and outpaint with optional text prompt, no tweaking required.
https://github.com/Acly/krita-ai-diffusion
・目次
◆1：Kritaのインストール
◆2：AI Image Diffusionのインストール
◆3：AI Image Diffusionでイラスト生成
◆4：落書きから美麗イラストを生成する手順
◆1：Kritaのインストール
KritaおよびAI Image DiffusionはWindows、macOS、Linuxに対応しています。AI Image Diffusionを使う際は6GB以上のVRAMを備えたしたグラフィックスボードの使用が推奨されていますが、対応グラフィックスボードを搭載していない環境でも超低速ながら動作自体は可能とのこと。今回はVRAM容量12GBのGeForce RTX 3060を搭載したWindowsマシンで動作させてみます。なお、AI Image Diffusionのインストールには約10GBのストレージ空き容量が必要です。
まず、以下のリンクをクリックしてKritaのダウンロードページにアクセスします。
Krita Desktop | Krita
https://krita.org/jp/download-jp/krita-desktop-jp/
ダウンロードページにアクセスしたら「Windows インストール版 64ビット版」と記されたボタンをクリックしてインストーラーをダウンロードします。

インストーラーのダウンロードが完了したらダブルクリックして実行します。

「OK」をクリック。

「Next」をクリック。

ライセンスをよく読んでから同意のチェックを入れて「Next」をクリック。

「Next」をクリック。

「Next」をクリック。

ライセンスが表示されたらよく読んで「I Agree」をクリック。

「Next」をクリック。

「Install」をクリック。

インストール処理が完了したら「Next」をクリック。

「Finish」をクリックしたらKritaのインストールは完了です。

◆2：AI Image Diffusionのインストール
krita-ai-diffusionをインストールするには、まず以下のリンクをクリックして配布ページにアクセスします。
Release Version 1.7.1 · Acly/krita-ai-diffusion · GitHub
https://github.com/Acly/krita-ai-diffusion/releases/tag/v1.7.1
配布ページにアクセスしたら、その時点での最新板をダウンロードします。今回は「Download krita_ai_diffusion-1.7.1.zip」をクリックしてバージョン1.7.1をダウンロードしました。

ダウンロードが完了したらKritaを起動します。

Kritaを起動したら「ツール」→「スクリプト」の順にメニューをたどり、「Pythonプラグインをファイルからインポート」をクリックします。

ダウンロードしたZIPファイルを選択して「開く」をクリック。

以下の画面が表示されたら「はい」をクリックしてAI Image Diffusionを有効化します。

AI Image Diffusionを有効化したら、Kritaを一度終了します。

再度Kritaを起動してから「新しい画像」をクリック。

まだ画像は作成しないので画像サイズの設定などは何もいじらず「作成」をクリック。

画像編集画面が開いたら「設定」→「ドッキングパネル」の順にメニューをたどり、AI Image Diffusionをクリックします。

画面右下にAI Image Diffusionのドッキングパネルが表示されたら「Configure」をクリック。

「Install」をクリックすると必要なファイルのダウンロードとインストールが始まります。この際、ストレージ空き容量が約10GB必要なので注意。

ダウンロードとインストールが完了したら「OK」をクリック。これでAI Image Diffusionのインストールは完了です。

◆3：AI Image Diffusionでイラスト生成
AI Image Diffusionを使ってイラストを生成する手順は次のとおり。まずKritaを起動して任意の大きさの空白画像を作成し、AI Image Diffusionのドッキングパネル内の「Configure」をクリックします。このとき、画像のサイズが大きすぎると処理に長い時間がかかるので注意。今回は512×512ピクセルの画像を作成しました。

以下の画面が表示されたら「Launch」をクリック。

緑色の文字で「Server running - Connected」表示されたら「OK」をクリック。

AI Image Diffusionドッキングパネルにプロンプト入力欄が現れるので、任意のプロンプトを入力して「Genrate」をクリックします。今回は「dog playing with a ball(ボールで遊ぶ犬)」と入力しました。

しばらく待つと、ボールで遊ぶ犬の画像が生成されました。

画像は一度に複数枚生成され、ドッキングパネル内のサムネイルをクリックすることでレイヤーに適用する画像を切り替えられます。

AI Image Diffusionにはプロンプトおよびネガティブプロンプトを自動挿入するスタイルプリセット機能が搭載されており、初期状態では「Cinematic Phot(実写映画風)」と「Digital Artwork(デジタルアート)」の2種のスタイルプリセットが保存されています。試しに、スタイルプリセットを「Digital Artwork」に切り替えて画像を生成してみます。

デジタルアート風の画像が生成されました。

スタイルプリセットを「Digital Artwork」、プロンプトを「girl playing videogame, cyberpunk, blue hair(ゲームで遊ぶ女の子、サイバーパンク、青髪)」に設定して生成した画像が以下。アイデアを一瞬で形にできます。テンプレートを編集したい場合は、ドッキングパネル右上の設定ボタンをクリック。

すると、スタイルプリセットの編集画面が表示されます。この画面で「Style Prompt」と「Nagative Prompt」を編集すれば生成画像の画風をある程度コントロールできます。

◆4：落書きから美麗イラストを生成する手順
AI Image DiffusionではControlNetを用いて「雑な下描きから美麗イラストを生成する」といった操作も可能です。下描きから美麗イラストを生成するには、まずControlNetの必要ファイルをダウンロードおよびインストールする必要があります。
まずAI Image Diffusionの設定画面を開き、「Connection」をクリックしてから「ControlNet Scribble」にチェックを入れ、「Install」をクリック。

インストールが完了したら「OK」をクリック。

続いて、新しい画像を作成して下描きを描き、ドッキングパネル右側の赤枠で囲ったボタンをクリックします。今回は耳の長いウサギの絵を描きました。

続いて「Image」をクリック。

「Scribble」をクリック。

最後にプロンプトを入力して「Generate」をクリックすれば画像が生成されます。今回は「rabbit, long ear(ウサギ、長い耳)」と入力しました。

生成結果はこんな感じ。

ウサギの顔部分だけ表示するべくプロンプトを「rabbit, long ear, portrait(ウサギ、長い耳、顔写真)」に変更して生成したものが以下。

さらに、スタイルプリセットを「Digital Artwork」に変更したものが以下。雑な下描きから美麗イラストを生み出せました。

今度は以下のような下描きを用意。

下描きを元に「girl, typewriter, steampunk(女の子、タイプライター、スチームパンク)」というプロンプトで生成したイラストが以下。下描きで指定した構図を守りつつ、スチームパンクっぽい物体が追加されました。