Flux ControlNet by The MistoAI ＆ Flus workflow by ControlAltAI

XlabsやInstantXに続く、新しいFlux1用ControlNetモデルとノードの登場です。香港のAI開発グループ「TheMistoAI」が放つ、「AnyLineLineArt」。

cannyやhedとしても使えますが、独自のローダー「AnyLineLineArt」と組み合わせることによって、かなり追随性の高いControlNet機能を提供してくれるモデルです。

彼ら自身が言っていますが、Xlabs用ノードとの互換性はありません。というか、XlabsとInstantXにも互換性はないですし、そういうものなのでしょう。　

とりあえず下の動画を参考にノードを組んでベース用は作っておきました。ちょっと解像度周りが不自由です。改善の余地あり、です。

SamplerがVAEデコーダー迄内包しているようですね。あと、サンプラーの選択肢がありません。

まあ、今の処Flux1ではEuler Simpleくらいしか使っていないので別にいいですが…

MistoAIの良さは、Unionに近い複合型モデルの割に動作が軽い事です。lowvram＆fast設定ならば、fp16を使って、その上でLoRAをかましても1024×1024ならばギリ12GBに収まります。

GGUFならばもっと軽いです。

InstantXのUnionが超絶重くてdevを断念してschnellで組むしかなかったことを思えば、かなり軽く仕上がっています。

一方、我らが「ControlAltAI」が遂にFlux1用のワークフローを公開し、余りの複雑さに早速脱落者が続出しているようです…

私はサポート会員なので、頑張って自作しなくても完成版のjsonファイルを配布してもらっていますが.…それでも再現するのは結構大変でした。

というか、まだ稼働できていません。

一応目途はついていますが、ollama周りの設定がjsonファイルを貰った上で尚、ややこしいことになっているからです。

今回も、Cursor Composerを使って自分でpyファイルを編集しないと、動作しませんでした。

結構説明不足感満載です。

会員限定配布のフローである為、稼働しても無料配布はしません。
(尤も、ControlAltAIのサポート費用は月額290円と相当廉価ですので、１か月だけ加入するだけでも、全てのノードとワークフローを入手できますが)

ただ、ノードを組む上での補足の解説は後日載せます。

補足なしで、これ再現できないでしょ…て作りなので、会員専用のフォーラム内ですら、「出来ません」報告が続出してますから。

最後に、記事を改稿しつつ…今日のBGM。

私はK-POPは従前、守備範囲外だったのですが、3年前の"ガルプラ"以来、結構聞くようになりました。

日本勢もかなりの人数が参戦してました。

オリジナルはEXO…So cool !

ONE OK ROCKのTAKAさんとの絡みもあって一時注目されていたRUANNさんも参戦していたのです。今は歌の世界からは身を引いてられるようですが、ともあれ、Praying her future good luck !