Krita AI Diffusionの“本気”を引き出すCustom Graph Mode

はじめに

こんにちは。「鷹の目週末プログラマーチャンネル」というYouTubeチャンネルを運営しているタカと申します。
このチャンネルでは、Krita AI Diffusionという画像生成AIツールを中心に、Stable Diffusionやその他のAIツールに関する情報を発信しています。

Krita AI Diffusionは、フリーのペイントソフト「Krita」に画像生成AIを統合するプラグインで、ペイント機能とAI画像生成を組み合わせたハイブリッドなイメージ作成が可能になる非常に便利なツールです。

今回の記事で紹介したいのは、そのKrita AI Diffusionに搭載されているCustom Graph Modeという画像生成モードです。
このモードでは、ComfyUIのWorkflowをKritaの中でそのまま編集・実行できるようになっています。

中でも注目したいのが、Krita Nodesと呼ばれる独自のノード群です。
Kritaのキャンバス画像やレイヤー、パラメーター設定などと連動してWorkflowを設計できるのが大きな特徴です。

これにより、
Kritaで描いた画像 → ComfyUIで処理 → Kritaで出力
という一連の流れが、ひとつのWorkflowの中で完結できるようになります。

この記事は、YouTube動画「Krita AI Diffusion カスタムグラフ完全解説 未実装Anytestを動かす！」の内容を補足・整理したものです。

動画内では、Custom Graph Modeを使って、Kritaにはまだ実装されていないControlNet機能「Anytest」を実際に動かしてみる方法を紹介しています。
ぜひ、動画とあわせてこの記事もご覧いただければ嬉しいです。

Custom Graph Modeの使い方とKrita Nodesの基本

Krita AI Diffusionには、いくつかの画像生成モードがありますが、今回取り上げるCustom Graph Modeは、ひとことで言うと「ComfyUIのWorkflowをそのままKritaの中で編集・実行できるモード」です。

このモードでは、Kritaと連動する専用のノード（Krita Nodes）を使って、Krita内の情報（キャンバス画像やスタイル、プロンプトなど）とComfyUIのノードを結びつけた自由なWorkflowを作ることができます。

画像生成AIの処理の流れを自分で設計できるので、「この機能を組み合わせたい」「別のControlNetを使ってみたい」「Kritaのレイヤーを参照に使いたい」といった、アイデア次第でいろんな応用ができます。

Custom Graphモードのはじめかた

１．Krita AI Diffusionを開いたら、左上の「モード切替」ボタンをクリック２．「グラフモード」を選択
３．「設定ボタン」の左にある「WebUIを開く」ボタンを押すと、ComfyUIの画面がブラウザで立ち上がります。

Krita Nodesとは？（代表的なノードの紹介）

Custom Graphモードでは、KritaとComfyUIを連携させるために、専用のKrita Nodesが8種類用意されています。以下に、代表的なノードの機能をざっくり紹介します。

Krita Canvas
キャンバスの画像、サイズやシードなどのパラメーターを渡すノード
Krita Style
Kritaで設定したスタイル情報（モデル、スタイルプロンプト、サンプラー、ステップ数、CFGスケールなど）を渡すノード
Parameter
ユーザーがGUIで入力できるパラメーター（プロンプトや数値）を渡すノード
Krita Image Layer
Kritaの任意のレイヤー（画像）を参照画像として取り出すノード
Krita Output
ComfyUIで生成された画像をKritaに返す出力ノード

これらのノードをうまく組み合わせることで、プロンプト入力も、参照画像の指定も、画像の受け取りも、すべてKrita上から行えるようになります。

Custom Graph ModeでAnytestを使ってみる：実行環境の構築方法

ここからは、例として、実際にCustom Graph Modeを使って、ControlNetの一種である「Anytest」をKrita上で動かすための環境構築をしていきます。（詳しい操作はYouTube動画で詳しく解説しています）

Anytestって何？

Anytestは、2024年に月須和那々さんが開発したControlNetです。特徴は以下のとおりです：
・手描きやラフスケッチと相性がよく、簡単な下絵からでもきちんとしたイラストを生成できる。
・スタイル変換や構図の保持が得意。
・最近も、AnimagineXL4.0やIllustrious系モデルにも対応した、複数の画像生成モデル向けに学習済みのバージョンが公開されている。

現時点で、Krita AI Diffusionには実装されていないControlNetですが、手書きとの融合に適しており、複数のステップでの編集や、手書きを融合させたイラスト作成などに適した、Krita向きのControlNetと言えます。

モデルは下記のリンクからダウンロードできますKrita AI Diffusionのダウンロードフォルダの中の、「ComfyUI\models\controlnet」に保存をします。

Custom Graph Modeでセットアップ

モデルが準備できたら、ComfyUI画面上で以下の手順でワークフローを構築します：

作成したWorkflowは下記のリンクから入手できます。

https://github.com/taka-pro/KAD_custom_workflows/blob/main/CN_KAD.json

出来たWorkflowをAnytestを試してみる

1girl, smile, beautiful face, twintails, v sign, standing

Krita AI Diffusionから、anytestのControlNetを使うことができました。

おわりに

Custom Graph Modeを使えば、Krita AI Diffusionの可能性は大きく広がります。今回はAnytestという未実装のControlNetモデルを例に、KritaとComfyUIを連動させたワークフローの構築をご紹介しました。
Workflowの設計や応用方法はまだまだ奥が深く、アイデア次第でいろんな可能性が広がります。

私のYouTubeチャンネル「鷹の目週末プログラマーチャンネル」では、これからもKrita AI Diffusionなどの情報発信をしていきたいと考えています。もし、動画で解説して欲しい機能などがあれば、是非教えてください。