Flux1-fill-Nunchaku-SVDQ-FP4 Inpaint+Light Weight ControlNet Union Pro-2.0

2024年12月14日 23:08

27.03.2026, updated to fix ComfyUI nodes2.0。

Flux1-Inpaint

さて、これまたド定番と言えばド定番ですが、Inpaint用のワークフローをFlux1-fill-Nunchaku SVDQ-fp4ベースで作成しました。

モデルは、以下から入手できます。

文字の出力に関しては、さすがFlux1…という感じですが、元絵に対するFittingの精度…という点では、SDXLベースで作成したInpaintプログラムと大差はない…というか、寧ろSDXLの方が確率は良いかもしれません。

SDXLベースのプログラムは、以下で公開しています。いつもの如く、私自身がサポートメンバーにもなっているControlAltAIが開発した原型を、聊か改良したものです。

SDXLでは、さすがに文字はどうにもなりませんが、Tシャツが元絵にフィットする確率に関しては、意外とFlux1より高いかもしれません。Flux1は聊かガチャが必要な感じでしたのでね。

ただ、Tシャツそのものの画質に関しては、やはりFlux1に分があります。当たり前と言えば当たり前ですが。

Flux1-Kontextにモデルを差し替えて使用するケースを想定し、下図のように、入力したテキスト(日本語対応)からFlux1-Kontextに最適化したプロンプトの自動生成機能も搭載しました。ollamaを使う分、重くはなります。

さて…先日、私は「Flux1はとある特定の状況で、マジであっさり壊れます。」と書きましたが…

原因がわかりました。

何の事はない…原因は此奴です。

何じゃそりゃあ!?…てオチが付きましたが、何の事はない、原因はメモリーの故障でした。

つまりですね、この時点でメモリーは壊れていて、Flux1の生成の際にモデルファイルをぶっ壊す…という副作用が生じていた…という訳です。

なまじ、SD1.5やSDXL、Ponyは正常に生成できていた為に(※この時点で、ブルースクリーンは発生し始めていたものの)、理屈と脈絡がわからなかったのですな、要するに。

で、更に言えば、上記事にも「ポイントはControlNet Unionです。」と書いていますが、上記事記載時点では100％の確率でFlux ControlNet Unionを使用する度にノイズ絵になって、しかもその後Flux1のベースモデルまで破損する…事態が生じていた訳です。

ハードウェアの修理が完了すると共に、ControlNet Unionも復活しました。いや、良かった良かった…まさかメモリーの故障がFlux1にまで波及していたとは…想像のはるか斜め上でしたさ。

で、そのついでと言っては何ですが、Shakkerが、Union Proの軽量版…と言うか、ウェイトfp8用に最適化したモデルを投入してきました。…と言うても投入されていたのは3ヵ月前でしたが、気づきませんでしたよと。

これは私が使うRTX4070 12GBのように12GBクラスのGPUで特に高速化に寄与してくれます。従来のフルサイズだと、かなりVRAM消費は12GB前後でギリギリ…往々にしてそれを超えて劇遅化することも多かったのですが、

フルサイズ版と比較すると相当高速です。

「それ」用のワークフローも改めて作成したので、以下記事で公開します。