見出し画像

【画像生成AI】 v-prediction は速い! 鮮やか! でも混ざらない?

はじめに

こんにちは、きまま / Easygoing です。

今回は、Stable Diffusion でときどき見かける v-prediction について見ていきます。

noob_v_pencil-XL_sample_image
noob_v_pencil-v2.0.1

はじめは e-pred !

現在の主な画像生成の仕組みは 拡散モデル と呼ばれていて、ノイズからノイズを取り除くことで画像を生成していきます。

Gantt chart showing when e-pred and v-pred will appear

実用的な 画像生成 AI として、最初にオープンソースで公開されたのは Stable Diffusion 1 です。

Stable Diffusion 1 では、ノイズを除去するときにオーソドックスな e-pred(ノイズ予測) と呼ばれる方式が使われました。

ノイズと画像を分けて考える!

2022年2月に、e-pred とは別にノイズ画像を クリーンな画像とノイズに分けて捉え、ノイズ部分を効率的に除去する ことで、画像の生成を高速化する方法が考案されます。

Flowchart showing the difference between e-pred and v-pred noise reduction
  • e-pred(epsilon-prediction): ノイズ予測

  • v-pred(velocity-prediction): 速度予測

この方法は、ノイズからクリーンな画像への「流れの速度」を学習するため、v-pred(velocity-prediction )と呼ばれるようになりました。

v-pred は e-pred よりも画像の収束が速く、従来よりも少ない step 数で画像を生成することができます。

v-pred モデルは、色が鮮やか

AI が画像を学習するとき、暗い色は RGB値が小さくノイズとの判別が難しくなります。

そのため、従来の e-pred モデルでは 暗い色の発色が悪く、コントラストの高い表現は苦手でした。

noob_v_pencil-Xl_colorful_sample_image2

一方で、v-pred モデルは理論上ノイズの少ない画像を学習できることから、暗い色の表現が e-pred モデルより優れています。

v-pred モデルは、e-pred モデルよりも コントラストが高く、鮮やかな発色 が可能になります。

v-pred モデルは混ざらない!

画像生成AI は、ノイズを制御することで様々な表現を実現できます。

例1:ノイズ法で描き込みを増やす

例2:Detail Deamon を使った高度なノイズ制御

an animated character with blue hair and a halo - like circle on her head stands in a technologically advanced room filled with computer screens displaying various images
中間ノイズ増強による描きこみ

e-pred モデルは、どのような画像でも ノイズを加えれば馴染ませる ことができます。

 一方で、v-pred モデルは途中でノイズを加えても、ノイズとクリーンな画像を分けて扱うので 混ざりにくく なります。

v-pred モデルは、モデルを切り替える表現が苦手なほか、高画質化に必要な Hires.fix や Detailer を利用したときも元の画像と馴染みにくく、硬い表現 になる欠点があります。

SDXL で e-pred に戻った!

もう一度、最初の図を見てみます。

Gantt chart showing when e-pred and v-pred will appear 2
  • Stable Diffusion 1:e-pred

  • Stable Diffusion 2:v-pred

  • Stable Diffusion XL:e-pred(+ v-pred)

最初に登場した Stable Diffusion 1 は、オーソドックスな e-pred モデルでした。

2022年11月に公開された Stable Diffusion 2 は v-pred を採用しましたが、当時コミュニティが発達していた Stable Diffusion 1 と互換性が無かったため、あまり普及しませんでした。

2023年7月に登場した Stable Diffusion XL は再び e-pred に戻り、e-pred モデルが苦手なディティールとコントラストを、Refiner という専用のモデルを使って補う方式になりました。

Refiner compare
左:Animagine-XL 3.1  右:Animagine-XL 3.1 + Refiner

しかし、Refiner は調整が複雑で、イラストの生成にも時間がかかることからあまり普及せず、ベースモデル単体で CFG scale や 拡張機能を使って色の調整する方法が主流になっていきました。

再び v-prediction へ!

v-pred モデルの色が鮮明なことや、全体的な表現が固い点も、アニメイラスト に限ればあまり問題にはなりません。

2024年12月、総計 1,300万枚 の高品質なイラストで学習を行った NoobAI-XL シリーズに v-pred モデルが登場すると、SDXL でも再び v-pred モデルが使われるようになります。

noob_v_pencil-Xl_colorfule_sample_image
noob_v_pencil-v2.0.1 鮮やかな発色

現在では、e-pred と v-pred をマージしたモデルも登場していて(本質的にはマージが困難なはずですが、モデル製作者さんの試行錯誤の賜物です)、モデルの使い勝手も向上しています。

e-pred と v-pred の比較!

それでは、ここから e-pred と v-pred モデルのイラストを比較してみます。

Flowchart depicting how noob_v_pencil-XL appeared

今回比較するモデル

  • anima_pencil-XL-v5.0.0(e-pred)

  • noob_v_pencil-XL-v2.0.1(v-pred)

それぞれのモデルに同じプロンプトを入力して、生成されるイラストを比較します。

イラスト1:宇宙旅行

space travel compare
左:anima_pencil-XL-v5.0.0(e-pred)  右:noob_v_pencil-XL-v2.0.1(v-pred)

イラスト2:エージェント

agent_compare

両者ともに blue_pencil-XL をベースにしたマージモデルですが、生成されるイラストにかなり違いがあります。

一目見て 色彩 と ディティール の表現は、右の v-pred モデルの方が優れています。

一方で、キャラクターの表情をはじめとした 柔らかい表現 は左の e-pred の方が良く、また v-pred に共通する欠点として、(主に暖色方向に)色焼けしやすい 点が挙げられます。

全部混ぜてみる!

それでは、それぞれのモデルの良いところを取り入れたワークフローを考えてみます。

SDXL-Refiner-SDXL-Detailer_workflow
noob_v_pencil-XL_Rough
v-pred で下描き

まず、暗い色の表現に強い v-pred モデルで下描きします。

v-pred はコントラストの高い表現ですが、細部の髪の描写など少し破綻している部分があります。

Refiner_Redraw
Refiner で崩す

次に Refiner でイラストを崩して、全体を馴染ませるとともに、立体感とディティールを上げます。

anima_pencil-XL_Finalize
e-pred で仕上げる

最後に e-pred モデルで再生させて細部を整えます。

v-pred と e-pred の、いずれの単独では表現できない面白いイラストが完成しました!

まとめ:v-pred を使ってみよう!

  • v-pred は速い

  • 色も鮮やか

  • 表現は固い

v-pred モデルは、従来の e-pred モデルではできなかった 鮮やかの色ディティール を表現できます。

v-pred は特にアニメモデルに適していて、大人気の illustrious-XL シリーズでも v-pred モデルの開発が進んでいます

an animated female character with red hair and blue eyes sits at a desk in a classroom surrounded by books and a chalkboard filled with japanese characters wearing a white blouse and blue skirt

一方で、v-pred は苦手面もあり、イラストのバリエーションや柔らかな表現は従来の e-pred の方が優れています。

どちらのモデルにも一長一短がありますが、これからもお互いの良いところ取り入れて独自の表現を探していきたいと思います。

最後までお読みいただきありがとうございます!


モデル紹介

anima_pencil-XL-v5.0.0

noob_v_pencil-XL-v2.0.1

SDXL-Refiner


更新履歴

2025.7.27

ComfyUI-Image-Filters のアップデートに伴い、ワークフローを更新しました

2025.5.8

モデルのリンクに SDXL-Refiner を追加しました

2025.5.1

ワークフローとサンプルイラストを更新しました


English Article


いいなと思ったら応援しよう!

この記事が参加している募集