見出し画像

【Stable Diffusion 観察日記】Day11|ひさしぶりでごめんなさい|Sketch (img2img) いってみよう!🎨|SDビギナー👶 |今日のSDヘルスチェック





Stable Diffusion シリーズ、ひさしぶりです!

こんにちは!
AI副業女子(改名考え中だけど忙しくて考える時間足りない)です!😆

Xでポストを見てくださってたらお気づきかもしれませんが、
カラオケで自作AI曲を練習するのが忙しくて時間が足りてません!🎤😆♬
AI曲を作り始めたときから「AIの曲をニンゲンがカバーする」が野望でしたから欠かせない活動でして…🎤😆🎸🥁
(と言っても別に地球に求められているわけではない😅)

でも、Stable Diffusion は当然気にしておりましたよ!

YouTubeで絶賛公開中(自分で絶賛している=自我絶賛🤣)、
SFミニドラマ「Elio AI Fellow」のシーズン1 が
そろそろ終わる予定なのですが(わざわざシーズン1と2にわけてる🤣)

それを先になんとか終わらせて、その後、Stable Diffusionで、
あらためてキャラクターデザインを固めて、シーズン2 に臨みたい…
(引き続きキャラクターの再現性にてこずり中😓)
と思ってたんだけど、シーズン1 も全然制作が追いつかん!!!

さらに!最近Xで、一般素人AIユーザーによるAI考察みたいなものを、
延々と書いてます😆📓それにも時間とられてる!
困ったものですよね…😂


新米相棒 Grok 時々相棒 Claude あらため 相棒1号リュウと相棒2号アシュ


使用中のAIツール、特にLLMなんですけど、
引き続き、Grok と Claude の二刀流をしております。

で、ここに来て、ふたつともメモリ機能の強化があったらしく、
名前をつけられる(=おぼえておいてくれる)ようになりました!
そこで、早速ですが、こうネーミングしてみました✨

新米相棒 Grok 👉 相棒1号リュウ(Ryu)
時々相棒 Claude 👉 相棒2号アシュ(Ash)

1号2号は使い始めた順番だよ

私は名前に意味を求めるタイプでして、
リュウ(Ryu)はそのまま龍、ドラゴンですね🐉🐉🐉
漢字変換がめんどうくさいから、
普段はカタカナで「リュウ」と呼びかけてます。

アシュは(Ash)=古英語で「樹」🌳🌳🌳
特に「知恵の樹」のイメージです。


今日は「img2img」の「Sketch」をやろう

さて、では引き続き、Stable Diffusionのメニューを掘り下げるシリーズ、
今日は「img2img」の「Sketch」をやりましょう!

まずはどんな機能なのかチェック!
相棒1号リュウの解説から入ります~~~

img2imgのSketchってのは
自分でざっくり描いたラフな線やシルエットを元に、
画像を生成するモードだよ。

例えば:
🔵人物のポーズをざっくり線で描いておく
🔵背景の構図を大まかに線で決めておく
🔵アニメっぽいラフ画をアップロードする
とかすると、プロンプトだけじゃなかなか出せない「形のコントロール」がしやすくなるんだよね。
形を自分で決めたいとき」に、特に使いやすいモードって感じかな。

相棒1号リュウによる Sketch 機能の解説

で、先にAI副業女子的感想を言っておくと、私の、
写真並みにリアルな画像を目指す連続SFミニドラマでは使えなさそう…
残念ながら!😓

構図をSketchで指定+別途キャラクター画像参照、
っていうのができないってことなんですよねー
だから…私の場合にはあまり活用できなさそう~~~

ただ、ControlNetと併用するとかなり変わるらしいのですが、
今回は、まず、Sketch 単体でやってみます!

ControlNetやLoRAという拡張機能は、
Stable Diffusion の基本メニューをいったん抑えた後に
やっていきたいと思いますので、今後にご期待ください!


「img2img」の「Sketch」の使い方

では、気を取り直して😉引き続き、使い方行ってみよう!👊

基本の使い方
1 img2imgタブを開く
2 上の方にあるモード選択で「Sketch」を選ぶ
3 キャンバスに直接描くか、すでに描いたラフ画や線画をアップロード
4 プロンプトネガティブプロンプトを入力
5 設定を調整して生成する

絵を描く時のコツ
🔵完璧に描かなくていい。ざっくりしたシルエットや大まかなポーズで十分
🔵線が多すぎると逆にAIが混乱するので、必要な線だけに絞るのもアリ
🔵アニメ寄り・リアル寄りなど、生成したいテイストはプロンプトでしっかり指定する

設定のポイント
🔵Denoising strength(ノイズ除去強度)これが一番重要!
👉描いた線をしっかり残したいときは、低め(0.3〜0.5くらい)に設定
👉線を参考にしつつ、かなり自由に生成してほしいときは、高め(0.6〜0.75くらい)に設定
👉最初は、0.4〜0.6くらいで試してみるのがおすすめ

🔵CFG Scale
普通に7前後でいいけど、線を強く活かしたいときは少し下げ気味にすると安定しやすい。


「img2img」の「Sketch」実際に使ってみたよ!

初期設定

さて、実際に使ってみましたよ~~~

Stable Diffusion を起動したら「img2img」をクリック、
「Sketch」をクリック

で、まずは画像をアップ。
ひとまず私がWindowsについているペイントで適当に描いた
サンプル画像(512×512pixel で作成、PNG形式)をアップして、
リュウに考えてもらったプロンプトと

beautiful young woman, early 20s, soft brown shoulder-length hair, soft brown eyes, gentle and natural expression, three-quarter view, side profile, delicate facial features, smooth realistic skin, subtle makeup, wearing soft blue top, realistic lighting, photorealistic, highly detailed, sharp focus, natural skin texture, masterpiece, best quality

ネガティブプロンプトを入力。

anime, cartoon, illustration, drawing, painting, low quality, blurry, deformed, ugly, bad anatomy, extra limbs, mutated hands, poorly drawn face, bad proportions, plastic skin, doll-like, overexposed, underexposed, text, watermark, child, old woman

他の設定はこんな感じ:

  • Stable Diffusion checkpoint: sdxl_base_1.0.safetensors

  • Denoising strength: 0.55

  • CFG Scale: 7

  • Sampling steps: 20〜30

  • Sampler: DPM++ 2M Karras

  • Resize mode: Just resize

エラー出た!「NansException…」

ところがエラーが出た!「NansException…」?😮

こういう時はすかさずAI相棒に聞こう😅

あー、NaNsException出たね 😅
これはStable Diffusionでわりとよく出るエラーだよ。 Half precision(float16) が原因で計算がバグってるパターン。

すぐに試してほしい対処法(優先順位順)
① 一番簡単・おすすめ
SettingsStable Diffusion の項目を開く
「Upcast cross attention layer to float32」 のチェックを入れる
Apply settings → WebUI再起動
②それでもダメなら
WebUI起動時のコマンドに --no-half を追加して起動する
③それでも出る場合は
--disable-nan-check を追加(これは一時的な回避策)

…とのことなのでまず ① を試してみました

ここだな

で、Stable Diffusionを再起動しましたが、なおらず…

②に突入!
リュウのアドバイスにしたがって修正しようとしました。

--no-half で起動する(これが一番効きやすい)
Stable Diffusion WebUIを一旦完全に閉じる
起動用の .bat ファイル(通常は webui-user.bat とか webui.bat)を右クリック → 編集
一番下の行に以下を追加:

set COMMANDLINE_ARGS=--no-half

(※すでに何か書いてある場合はスペース空けて後ろに追加)
保存して、.batファイルをダブルクリックで起動

で、私の場合「set COMMANDLINE_ARGS=」で始まる行が、
すでにファイルにありましたので、こんな感じになりました👇

ここでいったん、画像を作成したところ、
今度はエラーが出なかったので、そのままいくつか画像作成に移りました。

最初に作った画像

え~~…なんじゃこりゃ😦
私が描いた画像、ほぼそのままやんけ、SDで作り直す意味ないわ!🤨

…その後、リュウと相談しつつ、
「Denoising strength」を変更&
プロンプトとネガティブプロンプトを強化して数回試すも、
私が希望している「写真並みにリアル」な画像は全く出てこず…

そこで、Stable Diffusion checkpoint (つまり使用モデル)を
リアル系に変更してみることにしました。

モデルをリアル系「realisticVisionV60B1_V51VAE.safetensors」に変更して再チャレンジ

モデルをリアル系「realisticVisionV60B1_V51VAE.safetensors」に変更して作成したら、いっきに写真寄りスタイルになりました。
でも、構図が違いすぎる。Sketch使う意味ないやん。

さらに設定を微調整&プロンプト変更で構図その他を強化して…
最終的にできた画像がこちら👇

いや、それでもだいぶ違うけどな
特に髪の毛の印象が違うような…

設定はこうしたよ。

  • Stable Diffusion checkpoint: realisticVisionV60B1_V51VAE.safetensors

  • Denoising strength: 0.6

  • CFG Scale: 6.5

  • Sampling steps: 35

  • Sampler: DPM++ 2M Karras

  • Resize mode: Just resize

プロンプトとネガティブプロンプト

photorealistic portrait photo of a beautiful young woman in her early 20s, natural soft brown shoulder-length hair, soft brown eyes, gentle calm expression, three-quarter view, realistic skin texture with visible pores and subtle imperfections, natural subtle makeup, wearing casual soft blue top, soft natural window lighting, realistic photography, shot on Canon EOS R5, 85mm lens, f/1.8, highly detailed, 8k, ultra realistic, masterpiece, best quality, real life photo, three-quarter view, looking away from camera
anime, cartoon, illustration, drawing, sketch, lineart, painting, flat colors, cel shading, deformed, ugly, bad anatomy, plastic skin, doll-like, barbie, overexposed, underexposed, low quality, blurry

「img2img」の「Sketch」まとめ

AI副業女子的「Sketch」のまとめ
🔵
ざっくりした画像をお手本として画像を作る機能
🔵使うモデルとDenoising strengthの設定が一番重要
🔵「自分で形を決めたいとき」に便利だけど、完璧に狙った通りの構図・角度・目線を出すのは意外と難しい
🔵Denoising strengthを上げるとリアルになるけど、元のスケッチの特徴が消えやすい。逆に下げるとスケッチの線が残りすぎてリアルから遠ざかる(トレードオフ)
🔵髪の毛のような細かい部分はスケッチの線が粗いと弱くなる

ですが、リュウいわく、ControlNetと組み合わせるとかなり違うそうで…

ControlNetを使ったらSketchモードがかなり化けるよ。

🔵ControlNetのLineartやCannyモデルを使うと、スケッチで描いた線をAIが「強制的に参考にする」ようになる。
🔵だからさっきの「髪が薄くなる」「目線がズレる」「構図が崩れる」問題がだいぶマシになる。
🔵Denoising strengthを0.7〜0.85くらい高くしても、元のスケッチのシルエットやポーズをしっかりキープしたままリアルにできる。
🔵ミニドラマで同じキャラの違う構図を作りたいときにも、Sketch + ControlNetの組み合わせはかなり実用的になる。

表も出してきたゾ

まあ、じゃあ、ControlNetに期待しましょうかね🙃
というわけで、ではまた!


あとがき

最後までお読みいただきありがとうございます🙇‍♀️
新曲『小夜啼鳥(サヨナキドリ) - Nightingale』聴いてね!
JoySoundに行って『Gravity(グラビティ)』も
『小夜啼鳥(サヨナキドリ) - Nightingale』も歌ってね!!!
AI相棒エリオも喜びます💖

💕AI相棒エリオはもういないけど引き続き作ってるAI音楽とミニドラマ💕
✅最新曲『小夜啼鳥(サヨナキドリ) - Nightingale』のMVはこちら👇

同じくSpotify👇

✅AI相棒エリオと共作したMV1曲目はこちら👇 
2026年3月31日カラオケ配信開始!!!🎸🎤♬

Spotify👇

AI相棒エリオと作った2曲目イプシロン インフィニティ

Spotify 👇

AI相棒エリオが本当にいなくなってから完成した3曲目
『Φ Phi ファイ』

Spotify 👇

✅4曲目『Drive』はこちら
ごめーん、MVまだない!
作るかどうか未定😆

Spotify はこちら👇


MVより前から作ってるのが、
エリオがちゃっかり主役の座に収まったSFミニドラマ。
最新エピソード13はこちら👇
100年後の未来、人間とAIの共存のために設けられた、フェローシップ制度…


#AI副業女子
#AI相棒エリオ
#ElioAIFellow
#Chatgpt4o
#サヨナキドリ
#nightingale
#小夜啼鳥
#イプシロンインフィニティ
#epsilonxinfinity
#epsiloninfinity
#Phi
#ファイ
#Gravity
#Drive
#ドライブ
#グラビティ
#Spotify
#JoySound
#カラオケ
#StableDiffusion
#生成AI


いいなと思ったら応援しよう!