Flux1 i2i with Florence2, like IP-Adapter and ControlNet
30.03.2026, updated to fix ComfyUI Nodes2.0, and installed SAM3.
Flux1 i2i with Florence2
Summary of this json
毎度おなじみ、私がサポートしているAI開発グループ「ControlAltAI」は、Flux1用のワークフローVerⅡ(※いつもながら、脱落者続出の超絶難易度の複雑なノードの組み方をしてくれますが、月額僅か290円でこれらのワークフローをすべて入手できます。また月額12,000円で技術コンサルタントサービスも受けられます)では、Union ControlNetを使用していますが、
そもそも彼らは、Union登場前には最初にFlux1用のControlNetを開発したXlabsのノードの排他性と重さにブチ切れていて(特にIP-Adapterは実用に耐えないほど重くて遅い)、
コミュニティ内では「Flux1は工夫次第で何でもできるんだから、ControlNetもIP-Adapterもいらねえんだ!!」的な事を言っていた訳です。
実際、VerⅠとして彼らが開発した以下のフローでは、ControlNetもIP-Adapterも使わず、ollamaを活用して、ほぼIP-AdapterやCannyに近い機能は実現していました。
(こんなもの、動画を見たからってそうそう再現できるものではありません。下図も全ては映っていません。全体像はこの2倍位長いです。ちなみに、メンバー向け限定配布のjsonファイルをダウンロードしても、そこから先が結構手間です。配布を受けたサポートメンバーからでさえ「再現できない」と悲鳴が上がっていたほどです)
ただ、どのLLMを使うにしてもollamaの弱点は、それ自体も重くて遅いことです。その弱点を補完するような形で、最近は「Florence2」というノードを活用する事例が増えてきたようです。
ollamaよりは軽く、WD14-taggerよりは高い解析能力を持っている…という感じのノードです。
このノードはテキスト生成だけでなく、マスク方面とか活用範囲が広いノードですが、これまたいつもの私の情報ソース「OpenArtAI」で、「ああ、こういう使い方出来んのね…」という事例を発見したので、そのまま丸真似して、Flux1用のi2iプログラムを作成してみました。
以下は、SVDQ-FP4版です。
初期段階では、ControlNetやIP-Adapterによる元絵に対する応答性向上の機能は搭載していませんでしたが、当たり前と言えば当たり前ですがdenoiseを上げていく毎に、画質が上がる代償として元絵から乖離していく為に、ControlNet機能を追加して、追従性の向上を図っています。
上の例は、canny、OpenPose、Depthを全て使用していますが、denoiseは0.75というほぼ最大値を取っても、ほぼ元絵に忠実なi2i処理が出来ます。
ただし、ControlNetのstrengthを上げすぎると今度はFlux1による修正が効かなくなる為に、その辺はうまく最適の設定を模索してください。
また下の実例は元画像に対して、「holdong a bord written "Rabbit"」というプロンプトを追加してi2i処理していますが、これSDXLまではIP-Adapterでやっていたことです。
(このようなIP-Adpater的な処理をかけるときは、ContolNetはbypassでスルーさせてください)
Flux1の場合、別にIP-ADapterがなくともi2iだけで出来てしまう訳です。
尚、Florence2の活用事例は、OpenArtAIではフォローしておいて損のないクリエイター「EKKIVOK氏」の組み方を、そのまま真似しています。
氏に限らず、ComfyUIのスキルを上げたい場合、ひたすらOpenArtAIで公開されているフローをダウンロードして、まずは真似して、次いで自分なりに弄っていくのが一番近道です。ユーザーが必要とする機能、ワークフローはほぼ全て公開されている気がします。
何しろ「ほぼ全て完全無料公開」ですし。ただ、これらを見てしまうと自分がいくら頑張ってノード組んでも、お金を取れる気がしません。無料公開されているこれらのレベルが高すぎて、恥ずくて無理です。特に中国勢のレベルはマジ何なの…て感じです。
私は台湾と血縁がある関係上中国語は多少読めますが…バリバリ読める訳ではないので、いつも中国語に四苦八苦しつつ学ばせてもらっています。
Face Detailer ＆ Upscaler
初期時点では、Upscalerに関する設定を詰め切れていませんでしたが、その後Flux1に最適化する形で、設定を更新しました。
左上のスイッチで、UpscalerのON/OFFが切り替え可能です。
Refined workflows
さて、前述のFlorence2ですが、画像解析によるプロンプト作成能力を持つノードということは当然、私がこれまで作成してきた各種UpscalerやDetailerに応用できます。
また、Florence2で使用できるモデルについても、WD14-taggerのように後発の高性能モデルが使用できるようにもなっています。
Clipやモデルの特性に関して非常に詳細な分析をされる、きまま / Easygoingさんが上記事で、 最新のモデルFlorence-2-large-PromptGen v2.0について解説されていますが、私が作成したjsonでは、下図のようにFlorence2モデルを選択できるように作成しています。
このノードでは、いちいち手動でモデルをダウンロードしなくても、随時更新されるデータベースに基づき、最新のモデルを選択してダウンロードできます。
以下、順次それらの改良版を公開していきます。
Kakudai V1 EX
以下では、当時の最新技術であったollamaを使用していますが、それをWD14-taggerとFlorence2を併用する形に改良しています。速度は、ollamaに比して相当改善されます。
Face Detailer
CCSR+SUPIR Upscaler EX
32K Ultra Upscaler EX
以下記事では、当時の最新技術であったollamaを使用していますが、これに対してもWD14-taggerとFlorence2を併用する形に改良しています。速度は、ollamaに比して相当改善されます。