キーワードで何でも検知！？ Florence-2 の画像認識はこんなに便利！
2025.12.14 追記
2025年11月19日に SAM3 モデルが公開され、Detailer の処理は SAM3 モデルのみで完結できるようになりました。
今後 Detailer を使う際は、Florence-2 ではなく SAM3 モデルの利用をお勧めします。
はじめに
こんにちは、きまま / Easygoing です。
今回は、高性能な 画像認識 AI の Florence-2 の活用法を考えます。
お題：黒猫と魔女
今回のお題は黒猫と魔女です。
ファンタジーの世界で。使い魔の黒猫と一緒に暮らす魔女さんを描いてみます。
イラストの軟調と硬調とは？
イラストは、その雰囲気によって軟調と硬調の２つに分けることができます。
軟調（soft tone）
柔らかく穏やかなタッチ
コントラストが低く、明暗の差が少ない
優しい印象や、夢のような雰囲気
硬調（hard tone）
鮮明な色調と、くっきりとした輪郭
コントラストが高く、明暗の差がはっきり
ドラマチックな場面や、緊張感のある雰囲気
軟調と硬調はモデルによって違う！
画像生成 AI の軟調と硬調は、モデルによって違ってきます。
個人的には、モデルごとに次のような印象を持っています。
私はイラストに説得力のある 硬調 の表現が好きなのですが、Flux.1 をはじめとした硬調のモデルは、イラストの バリエーションが乏しい ので、今回は軟調のイラストを硬調に変える方法を考えます。
フローチャート！
今回のフローチャートはこちらです。
実際のイラスト！
それでは、実際のイラストを見てみます。
原画（SDXL）
まずは SDXL オリジナルのイラストです。
SDXLモデルは、構図が多彩でキャラクターの表情も良いのですが、全体が軟調になっています。
そこで硬調に変えるために、単純な HDR処理 でコントラストを上げてみます。
ここから、モデルを変えてイラストを描き直していきます。
厚塗り（AuraFlow）
まずは、モデルを硬調な AuraFlow に変えてイラスト全体で厚塗りを再現します。
画像生成 AI で一番硬調な表現ができるのは Flux.1 なのですが、Flux.1 を使うとそれだけで絵が完成してしまいその後の変化を受け付けないので、今回は AuraFlow を使います。
AuraFlow を使いながらプロンプトで油絵を再現して全体を重くすると同時に、あえて イラスト全体を崩して います。
この工程は、以前は SDXL の Refiner を利用していましたが、最近はより立体感や色の表現が優れている AuraFlow を利用しています。
高解像度化 ＆ 全体のレタッチ
次に、高解像度化とレタッチを行います。
まずは、先ほどのイラストを AI アップスケラーで高解像度化します。
高解像度化
1024 x 1024 → 2457 x 2457 （x 2.7 のアップスケール）
モデル：4x_NMKD-Superscale-SP_178000_G
これからイラストのレタッチを行いますが、ここで前回紹介した Florence-2 を使います。
Florence-2 で検知してレタッチ！
前回は、Florence-2 を画像にキャプションをつけるために利用しましたが、今回は キーワードを指定して物体を検出 していきます。
まずは、イラストの主役の猫と女性を軽く描き直してみます。
検出キーワード
girl
cat
少し見にくいですが、左側のイラストでは girl と cat の検出キーワードを入れたことで、猫と女性を 赤い四角 で検出しているのが分かります。
検出された対象に対して SDXL で軽くレタッチを行うことで、全体の硬調さを保ったまま、主題をきれいに描き直すことができました。
個別にレタッチ
さらに、ここからイラストの重要な部分に対して個別に修正を行っていきます。
猫のレタッチ
cat
先ほどと同様にキーワードで猫を検出して、今度は強めにレタッチを行いました。
画像が小さいので分かりにくいですが、拡大してみると崩れていた絵が修正されて、きれいにレタッチができているのが分かります。
顔のレタッチ
human face
続いて、顔のレタッチも行います。
今回は、ベースのイラストはいつもの anima_pencil-XL モデルを使用しましたが、細かい修正はより安定度が優れた blue_pencil-XL モデルを使います。
右側の図を見ると、顔をかなりきれいに描き直すことができました。
手のレタッチ
hand
さらに、同じ blue_pencil-XL モデルを使って手の修正も行います。
画像生成 AI は手の表現が崩れることが多いですが、これも個別に検出して修正していきます。
目のレタッチ
eye
最後に目のレタッチを行います。
目は、イラストの中で一番大切な部分なので、ここだけは一番クリアーな Flux.1 モデル を使用します。
Flux.1 モデルを使って目を描き直すことで、瞳がくっきりして印象が大きく変わりました！
Flux.1[dev] モデルは質感が非常に高いですが、商用利用ができないので、そのような場合は先ほどの blue_pencil-XL モデルを使います。
HDR処理をして完成！
最後にもう一度 HDR 処理を行い、完成したイラストがこちらです。
SDXL の柔らかさと構図を保ったまま、黒の引き締まった硬調な表現 に変えることができました。
また、AuraFlow であえて 全体を崩した後に主題を描き直す ことで、キャラクターや猫などの注目してほしい部分に、視線を誘導することができていると思います。
元のイラストと比べて質感が上がり、キャラクターの表情もきれいに仕上がったので満足です！
Florence-2 はすごい！
今回は、Florence-2 を使って全ての物体検知を行いました。
物体検知を行うとき、以前は個別の部位検出に特化した AI の YOLO（You Only Look Once）モデル を使用していましたが、YOLO モデルでは検出したい部位ごとに 個別のモデル を用意する必要がありました。
YOLO モデルは、メジャーな face, eye, hand などのモデルは数多く公開されていますが、今回検出した cat を認識するモデルは公開されていません。
Florence-2 は、検出の精度は専用の YOLO モデルに比べると劣りますが、キーワードを指定すれば何でも認識 することができるので、とても使い勝手が良いといえます。
Florence-2 は安全！
もう1つ、Florence-2 には大きな利点があります。それは、モデルを大企業の Microsoft が開発・公開しているので 安全 であることです。
先に挙げた YOLO モデルは、いろいろな開発元が個別にモデルを公開していますが、これを配布している HuggingFace のサイトでは 安全性が確認されていない モデルも多く公開されています。
2024年12月には、ComfyUI で YOLOv8 モデルを利用するための Ultralytics パッケージに、暗号通貨をマイニングするマルウェア が紛れ込んでいたことがありました。
マルウェアは YOLO モデルそのものに含まれていたのではなく、pipパッケージを配布する過程 で外部から混入したと考えられていますが、生成AIを利用する場合は 信頼できる配布元 から 信頼できるモデル をダウンロードすることが、今まで以上に重要になってきています。
ワークフローの紹介！
それでは、Florence-2 を利用したワークフローをご紹介します。
今回のイラストで利用したワークフローは、複数のモデルを利用した複雑なワークフローなので、ここでは SDXL モデルに絞った 猫と顔と手を修正 するワークフローを公開します。
ワークフローのダウンロード
SeaArt AI で１クリック生成（直リンク、無料会員登録が必要）
SeaArt AI のリンクは、ComfyUI を使ったことがない人でも、１クリックで簡単に試すことができます。
Seaart AI の無料会員登録と使い方は、以前の記事をご参照ください。
まとめ：Florence-2 はすごい！
SDXL は軟調
AuraFlow で硬調にする
Florence-2 で検出してレタッチ
今回は Florence-2 を利用して、物体検知とイラストのレタッチを行いました。
Florence-2 は、一度使い方が分かると様々な応用が効くので、これから 画像編集に関わる人にとって必須のスキル になると思います。
画像生成 AI の進歩は速いので、近い将来 Florence-2 より高性能でさらに簡単に使える 新しい AI モデル が登場してくると思いますが、その場合でも YOLO モデルや Florence-2 で 試行錯誤した経験 は必ず生きてくると思います。
皆さんもぜひ、これを機会に Florence-2 の物体検知を試してみてはいかがでしょうか？
最後までお読みいただきありがとうございます！
参考記事
Florence-2
今回、Florence-2 の使い方はこちらの GJL さんの記事を参考にしました。
GJL さんは、今回ご紹介した Florence-2 以外にも多くのワークフローを公開されていて、大変参考になります。
硬調と軟調
また、AI モデルの硬調と軟調については、テクノエッジの西川和久氏の連載記事を参考にしました。
現役カメラマン + エンジニアの視点から、画像生成AIについて分かりやすく解説されていて、非常にオススメです。