見出し画像

顔をキレイに描き直す! Detailer と SAM3 モデルの使い方 【画像生成 AI・画像認識・領域検出】


2026.8.1 追記

2026年4月27日、sam3.1_multiplex モデルの機能が ComfyUI 本体に統合されました。

sam3.1_multiplex モデルは連絡先情報を入力せずにダウンロードすることができ、ComfyUI デフォルトのノードで動くため、パフォーマンスや安定性も向上しています。

今後は SAM 3 ではなく sam3.1_multiplex モデルの利用をおすすめします。

sam3.1_multiplex モデルの使い方(ワークフローあり)


はじめに

こんにちは、きまま / Easygoing です。

今回は、イラストを部分修正する Detailer について、最新のモデルとその使い方をご紹介します。

Detailer ってなに?

Detailer は、イラストの一部を高解像度化して描き直す 機能です。

Detailer適用前のオリジナルイラスト。顔や手がやや粗い2人の少女のセルフィー画像
オリジナル
Detailerで顔と手を再描画した後のイラスト。ディテールが向上した2人の少女のセルフィー画像
Detailer で顔と手を再描画

画像生成では、描画する対象が小さいと描画が不正確になりますが、Detailer は 対象をそのモデルの推奨解像度に拡大 して再描画することにより、ディティールを改善させます。

Detailer は、 など、イラストの中で 重要な部分失敗の多い部分 に対して特に有効です。

画像認識 AI + 領域検出 AI 

Detailer でイラストを修正をするとき、画像認識 AI  と 領域検出 AI の2つの AI モデル を利用します。

画像認識AI(CLIPSeg, YOLO, Florence-2)と領域検出AI(SAM, SAM2)の組み合わせと SAM3 のフローチャート
画像認識AIと領域検出AIの組み合わせと比較

そのうち、領域を検出するのに利用する AI が、Meta社 が公開している SAM モデル(Segment Anything Model )です。

SAM モデルは SAM1 → SAM2 と進化してきましたが、2025年11月19日に公開された最新の SAM3 モデル は、領域検出モデルでありながら画像認識能力も加わったため、Detailer の処理が SAM3 単体で完結できる ようになりました。

SAM3モデルによる画像認識・輪郭検出の例。IDカード内の顔写真も正確に検出
SAM3 モデルの画像認識・領域検出
ID カードの写真も「顔」と認識する

SAM3 を使うと単一の処理になって 速度が速く なり、さらに 精度も向上 しています。

SAM3 モデルのダウンロード申請

それでは、SAM3 の実際の使い方を見ていきます。

まず、次の Hugging Face のページから SAM3 モデルをダウンロードします。

Hugging FaceのSAM3モデルページ。ダウンロード申請のための連絡先入力を示す

SAM3 モデルをダウンロードするときは、Hugging Face のアカウントの登録 と連絡先情報を入力して ダウンロードの申請 が必要です。 

申請が通ると数時間以内にメールで通知があり、モデルがダウンロードできる状態になります。

sam3.pt をダウンロード

モデルがダウンロードできるようになったら、一覧の中から sam3.pt モデルをダウンロードします。

Hugging Faceで承認後のSAM3モデルファイル一覧。sam3.ptを選択してダウンロード

ダウンロードしたモデルは、ComfyUI/models/sam3 フォルダを新しく作成してその中に設置します。

SAM3 モデルのワークフロー!

こちらが、SAM3 モデルを使って顔と手を再描画するワークフローです。

ComfyUIのSAM3 Detailerワークフロー全体図。顔と手を再描画するノード構成

使用モデル

ここから、各ノードの設定について、流れに沿って見ていきます。

SAM3 モデル のロード

まず、(down) Load SAM3 model ノードでモデルをロードします。

ComfyUIのLoad SAM3 modelノード。model_pathにsam3.ptのパスを指定
  • model_path: モデルのパス(設置したフォルダとファイル名)

もし、sam3.pt を 推奨以外のフォルダに設置 したり、ファイル名を変更 した場合は、model_path に正しいパスを入力します。

SAM3 モデルで対象を検出

SAM3 text segmentation ノードは、SAM3 モデルを使って対象と領域を検出します。

SAM3 text segmentationノード。confidence_threshold、text_prompt、max_detectionsの設定
  • confidence_threshold: 検出閾値

  • text_prompt: 検出対象

  • max_detections: 最大検出数

SAM3によるIDカード内顔写真の検出例。confidence score 0.54
ID カード の顔写真の検出精度は 0.54

SAM3 モデルが検出した対象の左上には、小さな数字 が示されていますが、confidence_threshold をこの数値より大きく設定することで、不確実な対象を検出から除外 することができます。

text_prompt には、検出したい対象を カンマで区切って 入力します。

max_detections は 最大検出数 で、-1 に設定すると無制限になります。

なお、次の Masks Combine Batch ノードは、個別に検出したマスク領域を1枚の画像上にまとめる働きをしています。

マスク領域の調整

SAM3 モデルが検出した領域は、輪郭よりも「中を埋める」感じで、実際の領域よりも少し小さくなっています。

左:SAM3検出の生マスク(輪郭より内側)、右:GrowMaskとImage Mattingで調整後の自然なマスク領域
SAM3 モデルの検出領域    |    GrowMask と Image Matting で領域を調節
GrowMaskとImage Mattingノード

そこで、Grow Mask ノードを使って対象が完全に含まれるように領域を拡大します。

さらに、Image Matting ノードを使って 検出領域を元画像と比較して修正 することで、髪の毛などの複雑な境界を整え自然に馴染むようにします。

Detailer で再描画

次に、検出した領域をもとに Mask to Segs ノードで実際に再描画する範囲を決定します。

Mask to SEGSノードとDetailerDebugノード
  • combined(通常 Flase)

    • すべての領域を 1 つに統合する

  • crop_factor

    • 切り取り領域を広げて周囲に余裕を持たせる

    • 例:crop_factor = 3.0 の場合、領域の縦横3倍の範囲を描き直す

  • drop_size

    • 長辺が drop_size 以下の領域を描き直しの対象から除外

最後に、この情報を Detailer (SEGS) ノードに渡して実際の再描画を行います。

  • guide_size

    • 領域をこの大きさに拡大して描画

  • max_size

    • 領域がこのサイズより大きい場合、縮小して処理

  • cycle

    • 再描画の繰り返し回数

  • noise_mask_feather(0~100)

    • 再描画の境界のぼかし量

    • 境界を滑らかにし、再描画の違和感を軽減する

guide_sizeモデルの推奨解像度 に設定することで、小さな対象も正確に描き直すことができます。

参考までに、筆者の設定値は次のとおりです。

  • combined: False

  • crop_factor: 1.2

  • drop_size: 100

  • guide_size: 1024

  • max_size: 1024

  • cycle: 1

  • noise_mask_feather: 20

実際の処理

実際の Detiler の処理は、次のようになります。

処理前のオリジナルイラストとSAM3による顔・手検出
オリジナル    |    SAM3 で検出
調整後のマスク領域
マスクエリアの調整 と 実際のマスク領域
Detailerによる各領域の再描画画像
再描画
Detailer処理後の完成イラスト。顔と手がきれいに描き直された
完成

カスタムノードのインストール

今回のワークフローでは、次のカスタムノードを使用します。

ComfyUI-SAM3

ComfyUI ManagerでのComfyUI-SAM3カスタムノードインストール画面

ComfyUI-Impact-Pack

ComfyUI ManagerでのComfyUI-Impact-Packカスタムノードインストール画面

was-node-suite

ComfyUI Managerでのwas-node-suiteカスタムノードインストール画面

ComfyUI-Image-Filters

ComfyUI ManagerでのComfyUI-Image-Filtersカスタムノードインストール画面

カスタムノードが不足する場合は、ワークフローのロード時にカスタムノードを自動インストールするか、ComfyUI-Manager を使って個別にインストールして下さい。

ComfyUI-Manager の使い方

まとめ:SAM3 モデルを使ってみよう!

  • Segment Anything Model は領域を検出

  • SAM3 モデルは軽量・高精度

  • Detailer の処理を完結できる

今回は SAM3 モデル をご紹介しました。

画像認識 AI と 領域検出 AI には複数の組み合わせがあり、以前はその使い分けに悩むことが多かったですが、SAM3 モデルが登場して 全ての用途が SAM3 で完結 できるようになりました。

SAM3とDetailerの応用例。きれいに描かれたアニメ風少女の顔
目がくっきり

SAM3 は手軽に使えて応用範囲が広く、AI を使って画像を編集する上で 必須のスキル になると思います。

皆さんも、操作が簡単になった SAM3 モデルを使って、まずはイラストの部分修正から試してみてはいかがでしょうか?

最後までお読みいただきありがとうございます!


クリエイター紹介

アオイカリさん

アオイカリ さんに、今回の記事と SAM3 と Detailer について取り上げていただきました。

image to image での実際の作例を多数ご紹介されていて、とても参考になります。


更新履歴

2026.8.1

SAM3 ではなく sam3.1_multiplex の利用を勧める案内を追記

2026.4.25

Segmentation の日本語訳を 輪郭 から 領域 に変更しました。

2026.3.21

ComfyUI-SAM3 の代わりに ComfyUI-Easy-Sam3 の紹介を追加

2025.12.28

ComfyUI-SAM3 の代わりに comfyui_sam3 の紹介を追加


モデル紹介

mellow_pencil-XL-v1.0.0-base_clear


English Article


いいなと思ったら応援しよう!