Coloring on Pony＆IL on A1111

2025年7月7日、IL版に関する記述を追記しました。

先だっては、Anytest ControlNetにLineartを組み合わせた形での線画自動着色プログラムをComfyUI上で作成しましたが、

設定がいちいち必要なものの、A1111系WebUIでも同じことはできます。寧ろ、IL系を使用する前提ならば、ComfyUIよりも原画に対する忠実性は上です。ComfyUIにはアレンジの可能性があって、それはそれで一つの良さとも言えます。

その方法について、記載しておきます。

ベースモデルは、Pony系とIllustrations系を使う前提で、以下解説していきます。また、ControlNetとWD14-tagger拡張機能は必須ですが、その導入については此処では解説しません。

ControlNetは、上記事で解説しているAnytestのPony用と、SDXLでLineartを使う為に、以下のXL用Unionを使用します。尚、ILに対しては、am(Animagine XL)用のAnytestモデルを使用してください。

taggerタブを開いて着色したい画像をロードし、「Interrogate Image」をクリックすると、右側にプロンプトが表示されます。

尚、WD14-tagger用の最新モデルをダウンロードしておくと良いでしょう。A1111系WebUIには、初期設定で自動インストールされません。 

次に下図のように、Txt2imgタブを開き、taggerが抽出したプロンプトを張り付けます。

また、この時、冒頭に品質系のプロンプトを追記し、「greyscale, monochrome」等のカラー化を阻害するプロンプトはコピーしないこと。上図例はIL系の場合ですが、PonyとILでは品質系プロンプトが全く異なるので、使い分けてください。

 Negative Prompt欄には上図のように、「greyscale, monochrome」と入力します。その他のプロンプトは、前述したようにPonyとILで使い分けてください。SDXL用のEmbeddingsも併せて使用すると良いでしょう。

 次に下図のように、各種パラメーターを設定していきますが、画像サイズは元の画像のアスペクト比に合わせる事。

 次に下図のように、ControlNet Unit0を開き、元画像をロードし、「Enable」と「Pixel Perfect」にチェックを付けます。

 
次に下図のように、Allにチェックを付け、ModelはPonyの場合は「CN-anytest_v4-marged_pn_dim256」を、ILの場合は「CN-anytest_v4-marged_am_dim256」を選択します。

 次に下図のように、ControlNet Unit1を開き、元画像をロードし、「Enable」と「Pixel Perfect」にチェックを付けます。

 次に下図のように、Lineartにチェックを付けます。Control Weightは0.5程度に設定し、仕上がりを見て適宜調整します。 

 ここまで設定を行い、画像を生成すると下図のように着色された画像が生成されますが、必ずしも最初から理想的な着色が行われる訳ではありません。プロンプトで一定の縛りは可能ですが、この工程では、どうしても一定ガチャ要素が入ります。

 
連続で画像生成を行い、最も最適な着色の図を選ぶと良いでしょう。