複数のキャラクターを分けて画像生成する！推しカプGenerator（two shot diffusion)について

こんにちは、きざみみです。今回は複数のキャラクターを別々に指定して画像生成するというタスクに特に強い、生成AI手法の拡張を行ったのでその記録となります。１日で書きました。更新あり次第追記していきます。ちなみに下のツイートのnote記事になります。

生成結果

生成結果は以下のようになります。

他の方はこのような生成も行っているようです。

実際に触ってみる

下のGoogle Colabで触ってみることができます。（下のcolabは二人を並べて生成することに特化しています）

二人でのみ生成できるというリミッターを解除してwebuiで動かせるようにしたものがこちらになります。（ぱるたさんありがとうございます）

手法の説明（やや専門的）

two shot diffusionは2Dノイズをunetでデノイズする過程を改変しました。左半分と右半分と全体でそれぞれ別のプロンプトを与えた3つのunetでデノイズし、3つの結果を合成していくとこで実現しています。latent状態だとこのような力業ができるという知見から本手法は生まれました。

プロンプト指定におけるポイント

いい感じの画像を作るために知っておくといいことが下になります。

• 背景は左右と全体のすべてのプロンプトで指定する

• 生成モデルによってはうまくいきにくいものもある

• 通常の生成よりもいい感じの結果になる確率が下がる

まとめ

今回は複数のキャラクターを別々に指定して画像生成する生成手法を作成し、使い方を紹介しました。学習モデルとプロンプトによっては好きなカップリングでの画像合成ができる可能性があるため、遊んでもらえるとありがたいです。以上です。