ComfyUI 標準ノードで画像編集！ SAM 3.1 と Qwen3-VL の使い方 【画像生成 AI】
はじめに
こんにちは、きまま / Easygoing です。
今回は、ComfyUI の 標準ノード でできる画像編集についてご紹介します。
ComfyUI は拡張性が高い！
ComfyUI は、誰でも自由に カスタムノード 作ることができるので、無類の拡張性が生まれています。
ComfyUI の強さについて
ComfyUI のカスタムノードのうち、特に便利で利用頻度の高いもの は ComfyUI の標準ノードに搭載されるようになってきており、公式実装になって 安定性 と パフォーマンス が向上しています。
今回は、そのように標準実装されたノードを使った SAM 3.1 と Qwen3-VL の利用法をご紹介します。
SAM 3.1 は領域検出モデル
SAM 3.1 モデルは、Meta 社 が公開している 領域検出モデル です。
Meta の SAM 3.1 モデル
SAM 3.1 モデルは、以前にご紹介した SAM 3 から主に動画利用時のパフォーマンスを向上したモデルです。
SAM 3 モデルについて
Meta の SAM 3 モデルは、Hugging Face の公開ページからダウンロードするときに 連絡先情報の入力 が必要でしたが、Comfy Org が公開した sam3.1_multiplex モデルはこれが必要なくなり、誰でも自由にダウンロード して使えるようになりました。
Comfy-Org が公開した SAM 3.1 モデル
そこで、今回は ComfyUI の標準ノードを利用した SAM 3.1 の使い方をご紹介します。
人物を指示して検出する
それでは、 実際に SAM 3.1 モデルを利用して、次のイラストから背景を消去してみましょう。
ワークフロー
モデル
checkpoint: sam3.1_multiplex_fp16.safetensors
まず、 Comfy Org が公開している sam3.1_multiplex_fp16.safetensors モデルは Checkpoint 形式 で配布されているため、ダウンロードしたモデルも Checkpoint と同じ場所に配置します。
ComfyUI の場合
ComfyUI\models\checkpoints
Stability Matrix の場合
Models\StableDiffusion
そして、Load Checkpoint ノードで SAM 3.1 モデルをロードします。
次に、通常の画像生成のプロンプトと同じように CLIP Text Encode ノードを接続して検出したい対象を記入します。
続いて、SAM3 Detect ノード の model と conditioning に接続します。なお、 SAM 3.1 モデルには VAE は含まれていないので、vae は接続する必要はありません。
これで、SAM 3.1 モデルを利用して 人物を検出 することができました。
人物以外の背景を消去する！
現在は、SAM 3.1 で検出した人物が選択された状態ですが、実際に消去したいのは反対の背景側なので、Invert Mask ノードで領域を反転させます。
そして Join Image with Alpha ノードに、最初の画像と背景のマスク領域を入力することで、背景が透明になります。
ここで、ノード名の Alpha は、Alpha Channel（透明チャンネル）のことを指しています。
これで、SAM 3.1 モデルを使ってイラストから 背景を透明に切り抜く ことができました。
Qwen3-VL は画像も理解する！
後半は、Qwen3-VL モデルの使い方をご紹介します。
Qwen シリーズは、中国の Alibaba が公開している 大規模言語モデル（チャット AI）です。
大規模言語モデル（Large Language Model）：文章を理解する
視覚言語モデル（Vision Language Model）：画像と文章を理解する
Qwen3-VL は、大規模言語モデルの Qwen3 に 画像認識能力 を追加したモデルで、文章に加えて画像も理解することができます。
Qwen シリーズは、その性能の高さとオープンなライセンスから、画像生成 AI の テキストエンコーダー（プロンプトを解析する AI）としての採用が増えていて、Qwen3-VL モデルは以前にご紹介した Krea 2 モデルの テキストエンコーダー として使われています。
Krea 2 モデルについて
Qwen3-VL で画像を説明する！
それでは、Qwen3-VL モデルを使って 画像に説明（キャプション）をつけてみましょう。
先ほどの背景を除去したアニメイラストで試してみます。
ワークフロー
モデル
まず、Qwen3-VL モデルをロードするときは、通常のテキストエンコーダーと同じように Load Clip ノードを利用します。
そして、Generate Text ノードに clip と 画像 を入力して、Prompt に指示を書きます。
Please describe the following image in English using about 50 words.
次の画像を英語で50語程度で説明してください。
紫の服を着た女性のアニメイラスト
A vibrant anime girl with brown hair streaked in neon pink and purple, blue eyes, and a gentle smile. She wears a dark top with a beaded necklace. The background features glowing bokeh lights, creating a dreamy, energetic atmosphere. Her expression is warm and inviting.
ネオンピンクと紫のハイライトが入った茶色の髪、青い瞳、そして優しい笑顔が印象的な、生き生きとしたアニメの少女。彼女は濃い色のトップスを着ており、ビーズのネックレスを身につけている。背景には光り輝くボケ効果のライトが描かれており、夢のような、活気あふれる雰囲気を醸し出している。彼女の表情は温かく、親しみやすい。
Qwen3-VL モデルを使って、色彩 や 雰囲気 も描写したキャプションを作ることができました。
Qwen3-VL でプロンプトを作る
続いて、Qwen3-VL モデルを利用して 別の画像 から画像生成のプロンプトを作ってみましょう。
まずは、先ほどのイラストとは別に、次の ひまわり畑の写真 を使ってキャプションを作成してみます。
ひまわり畑の写真
A vast field of sunflowers stretches under a soft blue sky, their vibrant yellow petals and dark centers creating a radiant sea of gold. Green leaves peek through, adding contrast. The scene exudes warmth and natural beauty, capturing the essence of summer's bounty in a serene, picturesque landscape.
柔らかな青空の下、広大なひまわり畑が広がり、鮮やかな黄色の花びらと濃い色の花芯が、輝くような黄金色の海を織りなしています。その間から緑の葉が顔をのぞかせ、コントラストを添えています。この光景は温かみと自然の美しさを醸し出し、穏やかで絵のように美しい風景の中に、夏の豊かさの真髄を捉えています。
続いて、両方の画像から作成したキャプションを組み合わせて、筆者がいつも利用している クオリティプロンプト を加えて、Qwen3-VL でプロンプトを生成します。
ここで、Qwen3-VL に与える指示は、Krea-2 の公式ワークフローの プロンプトエンハンサー で使われているものをそのまま流用しています。
完成したプロンプトで画像生成
それでは、完成したプロンプトで Krea-2-Turbo_clear モデルでイラストを生成してみます。
入力画像
出力画像
プロンプト
A vibrant anime girl with long, flowing brown hair streaked in purple and pink, striking blue eyes, and a gentle little smile, captured in a close-up upper body shot from a Dutch angle, wearing a dark blue top adorned with a beaded necklace, her colorful aura radiating energy with dynamic glowing highlights around her hair, as she turns around gracefully against a simple background with soft bokeh blur and transparent elegance, while behind her, a vast field of sunflowers stretches under a soft blue sky, their vibrant yellow petals and dark centers forming a radiant sea of gold, green leaves peeking through for contrast, all bathed in warm, natural summer light to evoke serene beauty and lively dreaminess.
これで、入力した ２枚の画像を組み合わせて、全く新しいイラスト を生成することができました。
今回利用したワークフローは、記事の最後に添付します。
Ollama や LM Studio は必要ない！
従来は、Qwen をはじめとした 大規模言語モデル を ComfyUI で利用する場合は、Ollama や LM Studio といった外部ツールを同時に起動して同期させる必要がありました。
これらのツールは、当然ながら ComfyUI と VRAM を競合 するため動作が重くなり、またメモリ不足による クラッシュ も頻発して安定して動作させるのは難しいものでした。
今回、ComfyUI が SAM 3.1 や Qwen といったモデルに標準ノードで対応したことで、ComfyUI のアルゴリズムに沿ったモデルの移動 ができるようになり、安定性とパフォーマンスが大きく改善して、多くのユーザーの利便性が向上したと思います。
ComfyUI は、それ単体で何でもこなすことができる、最強の生成 AI ツール に進化しつつあると言えるでしょう。
ComfyUI は、カスタムノードを飲み込むのか？
しかし、筆者は同時に別の視点も持っています。
SAM 3・Qwen・INT8_ConvRot といった、現在の ComfyUI を支える優れた機能の多くは、もともとは カスタムノードコミュニティ が最初に実装したものです。
ComfyUI-INT8-Fast カスタムノードの製作者の BobJohnson24 氏 は、自身のリポジトリの冒頭で次のようにコメントしています。
🎉 ComfyUIでINT8が正式にサポートされました 🎉
（中略）
いいえ、私はこの件に一切関わっていませんし、関与もしていません。既存の私のクオンツは、クオンツ名の不一致により動作しない可能性が高いです。一方、silveroxidesのものは、この実現にかなり深く関わっていたため、動作する可能性が高いです。
既存のINT8高速クオンツは、以下のスクリプトを使って正式なネイティブ形式に変換できます
（中略）
ピニャ・コラーダを手にビーチで引退できることを嬉しく思います。将来的には、このノードをLoRA適用前専用のノードにスリムダウンするかもしれません（それがComfyのデフォルト機能にならなかった場合）。
Comfy Org が、カスタムノードコミュニティの中から優れたアイディアを抜き出して、「パフォーマンスの最適化」のために ComfyUI 以外のツールとの 互換性を排除 し、生成 AI ツール の覇権を目指す姿勢から、同社が過去に唱えていた コミュニティとの協調 する姿は薄れつつあると感じています。
2025.11.5 Comfy Org のブログ記事
（前略）
ComfyUIの優れた点の多くは コミュニティの貢献 によるものであるため、Comfy Cloudの カスタムノード開発者との収益分配方法 について検討しています。私たちは、誰もが経済的に利益を得られることが重要だと考えています。具体的な仕組みについては現在も検討中です。
（後略）
もちろん、ComfyUI のカスタムノードの多くは、MIT や Apache-2.0 などのオープンライセンスで公開されているので、ComfyUI 本体が利用するのは権利上の問題はないですし、ComfyUI 本体への統合はカスタムノードの製作者として名誉なことなのかもしれません。
ComfyUI が、コミュニティツール から 最強の商用ツール に変化していく様子を、2026 年の証人として筆者は見守っていきたいと思います。
ワークフロー
最後に、SAM 3.1 と Qwen3-VL を利用した筆者の普段使いのワークフローを２つご紹介します。
SDXL → アップスケール → Detailer
モデル
checkpoint: mellow_pencil-XL_clear_v2.safetensors
checkpoint: sam3.1_multiplex_fp16.safetensors
upscale_model: 4x_IllustrationJaNai_V1_ESRGAN_135k.safetensors（非商用）
カスタムノード
Krea-2-Turbo_clear で２枚の画像から１枚のイラストを生成（本記事のワークフロー）
モデル
checkpoint: sam3.1_multiplex_fp16.safetensors
text_encoder: qwen3vl_4b_bf16.safetensors
diffusion_model: Krea-2-Turbo_clear_BF16.safetensors
upscale_model: 4x_IllustrationJaNai_V1_ESRGAN_135k.safetensors（非商用）
まとめ：SAM 3.1 と Qwen3-VL を使ってみよう
SAM 3.1 や LLM の機能が ComfyUI 本体に統合
安定性とパフォーマンスが改善
最強の 生成 AI ツール に進化しつつある
今回は、ComfyUI の標準ノードを使った SAM 3.1 と Qwen3-VL モデルの使い方をご紹介しました。
ComfyUI は、ユーザーのニーズを的確に察知して基本機能を拡張し、プロフェッショナル向けのツール として大きな飛躍を遂げています。
ComfyUI は、筆者をはじめ多くのクリエイターにとって無くてはならないツールとして、これからも大きく発展していくでしょう。
最後までお読みいただきありがとうございます！
更新履歴
2026.8.10
ワークフローのアップスケールモデルを、pth 形式 から safetensors 形式 に変更しました