【SDXL】 Refiner の真の価値！ 破壊的創造から生まれるもの
はじめに
こんにちは、きまま / Easygoing です。
今回は、Stable Diffusion XL の Refiner についてじっくり考えてみたいと思います！
最初は Refiner から始まった
画像生成AI が面白くて note を始めた頃、最初に興味を持ったのが Refiner についてでした。
SDXL では、Base モデルで描いたイラストに Refiner モデルを使って仕上げをすることで、完成度を上げることができます。
Refiner は独特の効果があって使うと個性が生まれますが、構造を壊すのでその使い方が難しい機能でした。
Refiner を使い続けて3ヶ月が経ちましたが、その間いくつか気づいたことがあったので、今日はそれについて紹介します。
まずは比べてみよう！
まずは、Refiner の有無でイラストを比べてみます。
最初に SDXL の基本解像度でイラストを生成します。
きれいな女性オペレーターのイラストが生成できました。
Refiner は構造を破壊する！
次に、このイラストに Refiner を使ってみます。
前述の通り、Refiner はかなり構造を壊します。
今回のイラストも、Refiner を加えると輪郭が歪んでしまい、手など一部が崩壊しています。
Refiner は Base モデルが描き上げた後に、仕上げで使うことが推奨されていますが、これだけ構造を壊すので強く効かせることができません。
Refiner で何が変わったか？
それでは、Refiner で一体何が変わったのでしょうか？
まずは、先ほどのイラストで明るさを比べてみます。
オリジナルの画像と比べて、Refiner 追加したイラストは中央部分が減って両極が増えています。
これは画像のコントラストが高くなり、イラスト全体が引き締まった印象になったことを示しています。
実際のイラストを見てみると、単純にコントラストが上がっただけでなく、顔や髪などの陰影が強調されて立体感が出ていて、さらに彩度も強調されて鮮やかになっているのが分かります。
高解像度化で本領を発揮！
次に、イラストを高解像度化してみます。
どちらのイラストも、高解像度化でキレイになっています。
特に、Refiner のイラストは 高解像度化の後の再描画によって、構造が復元 されています。
Refiner は 最後に使うのではなく、間に挟むこと で十分に効かせることができるようになり、その真価を発揮するのです。
ハイライトが強調される！
Refiner の効果は、意外なところにも出てきます。
Refiner を使うとコントラストが上がり、目のハイライトが強調 されています。
さらに一度構造を壊したことにより、ハイライトの位置が微妙にずれて います。
イラストを生成するとき、AI は対象を正確に描写するのは得意ですが、崩した表現は苦手 です。
Refiner を使うと微妙なズレを生み出すことができ、人の手で描いたような暖かさの表現ににつながるのです。
いくつか比べてみよう
それでは、いくつかイラストを載せてみます。上がオリジナルのイラストを高解像度化したもの、下が Refiner を追加したものです。
青いドレスの女性
紅葉のカップル
Refiner を使うと、自然な形でコントラストが強調されて、彩度も上がります。
一方で、人物の表情や柔らかさは損なわれずに残っています。
Refiner を使うと、柔らかさを保ったまま質感を上げる ことができるのです。
Refiner は難しい
Refiner は面白いですが、その使い方はかなり難しいです。
元になるイラストによって Refiner の効きが全く違いますし、完全に壊さない範囲でしっかり効かせるには、何度か トライ & エラー が必要になります。
1枚のイラストを時間をかけて完成させるときは良いですが、テンポよくイラストを生成するときには使いにくい機能です。
なぜ標準で実装したのか？
このように扱いが難しい機能を、SDXL はなぜ標準で実装したのでしょうか？
これは私見になりますが、SDXL がリリースされた当時、アートといえば Midjourney、リアルな表現は Stable Diffusion という評価があったように思います。
当時の Stability AI 社（Stable Diffusion の開発元）はアグレッシブな姿勢で開発に臨んでいて、新しくリリースする Stable Diffusion XL でアートを表現する という回答の1つが Refiner だったのかもしれません。
一般向けではない機能をあえて標準で実装する というスタンスに、当時の Stability AI 社 の攻めの姿勢を感じます。
Refiner から学んだこと
個人的には、Refiner から大きな学びを得ています。
複数のモデルを組み合わせて利用する
イラストを、一旦崩して再生させる
これは後から考えれば簡単ですが、簡単であればこそ最初は思いつかない発想です。
Refiner から得た学びは、今の私の SDXL → Flux.1 のワークフローの原点になっています。
Refiner は普及こそしませんでしたが、Flux.1 をはじめ後の 生成AI の美学に少なからぬ影響を与えていると思います。
まとめ
Refiner は質感を上げる
Refiner は構造を破壊する
高解像度化で再生させる
生成AI は黎明期であるからこそ、新しい発想が次々と生まれきます。
この面白さは、未完成のものに手を出した人のみが触れられる 今だけの特権といえるでしょう。
皆さんもぜひ、これを機会に AI に触れてみてはいかがでしょうか？
最後までお読みいただきありがとうございます！
ワークフロー
AI プラットフォームサービスの SeaArt AI で、Refiner の効果を比べることができるワークフローを公開しました。
リンクをクリックするとワークフローが表示されて、そのままダウンロードできます。
無料会員登録をすれば、普段 ComfyUI を使っていなくても、その場でイラストの生成することができます。
SeaArt AI の登録方法を説明した記事はこちら。
モデル
anima_pencil-XL_v500
SDXL-v1.0_Refiner
2024.10.24
エラーの報告があったので、Refiner のリンクを civitai から Hugging Face に変更しました
クリエイターさん紹介
今回のテーマとは直接関係ありませんが、AI を活用した素晴らしい作品を見る機会がありました。
美和さんは、1980〜1990年台の同人作品を AI で映像化して紹介されています。
この動画では、キャラクターを関節が可動するフィギュアを使ってポージングをされているそうです。
キャラクターの滑らかな動きが秀悦です。皆様もぜひ一度ご覧ください。