見出し画像

ComfyUIでMicrosoft Lens/Lens-Turboの画像生成を試す

まゆひらa

Last update 2026-6-6
※ 初期リリースのため、随時、記事の修正を行う場合があります。お気づきの点があれば、遠慮無くコメントでお知らせください。
※ 関連記事は、ComfyUI の記事一覧にまとめてあります。
※ noteの質問箱 へ気軽に声をお寄せください。質問以外のメッセージの方が嬉しいかもしれません。回答は気まぐれなのでご了承ください。



■ 0. 概要

▼ 0-0. はじめに

　本記事では、Microsoftがリリースした「Lens」「Lens-Turbo（高速版）」 をComfyUI で利用する手順を説明します。

　ComfyUIのインストール方法は、下記の記事をご覧ください。

　画像を生成するプロンプトは、Claude を利用して作成しました。

▼ 0-1. Lensについて

　Lens は、Microsoft Lens Teamが開発している画像生成のアーキテクチャで、 2026-5-22 頃に公開されました。参考まで、これとは別で Microsoft AI が開発している MAI-Image（モデル非公開）もあります。

　Lens の特徴とモデルの情報を挙げておきます。

  • 効率の良いアプローチを用いて、大型モデルに匹敵する品質を少ない計算量の学習で実現

  • モデルが小型

    • パラメーター数は 3.8B（SDXL の 3.5B と同程度）

    • Text Encoder は OpenAI の gpt-oss-20b を採用（そこまで小型ではない）

    • VAE は FLUX.2 のものを採用

  • 1:2～2:1 のアスペクト比で 2MP の出力に対応（1440x1440 等）

  • 高速に生成できる Lens-Turbo と、ベースモデル Lens-Base も用意

▼ 0-2. 参考リンク

　公式のモデルへのリンクです。

　公式のリポジトリと、Lens に関する論文です。

　参考にした ComfyUI 向けのワークフローは、下記の URL に掲載されています。


■ 1. 留意事項と使用リソース量

▼ 1-1. 留意事項（お約束）

　ComfyUI を更新していないと、必要なノードや機能が存在しない場合があります。バグフィックスを含むこともあるので、なるべく最新版にしてください。

　状況に応じて、VRAM に読み込んだモデルが自動的にメイン RAM へ待避（オフロード）されることがあります。そのため、メイン RAM が多いとさらに快適に利用できる可能性があります。

▼ 1-2. 必要なリソースと生成時間

　グラフィックボードの VRAM は 16GB 以上を推奨します。また、8GB で動作する可能性があります（未確認）。Diffusion model は 5.2～7.6GB ですが、Text Encoder が 12.3GB もあります。VRAM が少ないとテキストエンコード（プロンプトの処理）に時間がかかるか、最悪の場合は動作しないかもしれません。

　筆者の環境（GeForce RTX 5060Ti 16GB）での、1枚当たりの生成時間です。

  • 5秒（モデル読み込みとテキストエンコードの合計）

  • 50秒（サンプリングのみ、20 Steps、CFG=4.0、1664x1248）

  • 6.3秒（サンプリングのみ、4 Steps、CFG=1.0、1664x1248）


■ 2. モデルの設置

▼ 2-1. Comfy Org版

　本記事ではComfy Org が配布するバージョンを利用します。下記のURLに掲載されたそれぞれのファイルをダウンロードして、ComfyUI インストール先の内部にある適切なフォルダへ移動します。

　mxfp8 形式は RTX 5xxx のみネイティブ対応しています。fp8 のデータをブロックに分けてスケール情報を組み合わせて表現することで、bf16 より小さい容量と、通常の fp8 より高い精度を両立したフォーマットです。ただし、リソースの不足がなければ bf16 形式が良いと思います。

　Text Encoder の nvfp4 形式も、RTX 5xxx のみネイティブ対応です。他の環境では別の形式でロードされる可能性があります。

  • Comfy-Org/Lens
    https://huggingface.co/Comfy-Org/Lens 

    • split_files/diffusion_models/
      ※ 通常は bf16 を選択
      lens_bf16.safetensors (7.64GB)
      lens_mxfp8.safetensors (5.17GB)
      lens_turbo_bf16.safetensors (7.64GB)
      lens_turbo_mxfp8.safetensors (5.17GB)
      → models\diffusion_models\

    • split_files/text_encoders/
      gpt_oss_20b_nvfp4.safetensors (12.3GB)
      → models\text_encoders\

    • split_files/vae/
      flux2-vae.safetensors (320MB)
      → models\vae\

　参考まで、lens 等のフォルダを作成して分けておくと、各ファイルがどのアーキテクチャ向けのものか把握しやすくなります。


■ 3. 画像の生成（低速）

▼ 3-1. ワークフロー

　生成用のワークフローを提供しますので、改造、再公開を含め自由にご利用ください。

（Last update 2026-5-31）

　今回はサブグラフ「Output Resolution」を使用していますが、「Int」のノードを2つ束ねているだけです。

▼ 3-2. 画像の生成

　ワークフローのファイルを ComfyUI の画面にドラッグ＆ドロップして読み込み、「Run」をクリックすると生成が始まります。画像は ComfyUI インストール先の「output」フォルダに保存されます。

　使用するモデル（Diffusion Model、Text Encoder、VAE）の場所や名前が異なる場合は変更してください。また、プロンプトや解像度は好みで変更してください。下記の実行例は本記事の表紙画像です。

Lens の生成例
Eye-level shot from a seated customer's perspective looking down at a wooden table in a cozy sandwich shop interior, a complete set meal centered on the table — a freshly made submarine sandwich packed with layered deli meats, crisp lettuce, sliced tomatoes, and melted cheese in a toasted hoagie roll, accompanied by a tall cold drink with condensed moisture on the glass and a straw, placed on a paper tray liner — warm natural lighting streaming through large windows in the background, menu boards mounted on a brick wall with handwritten chalk lettering, a vintage pendant lamp hanging above casting a gentle warm glow, a potted plant near the window visible in the background, napkin dispenser and a small condiment basket beside the meal, shallow depth of field softly blurring the background counter area where a display case holds additional baked goods, the overall atmosphere is casual and inviting with an American diner aesthetic

　プロンプトは日本語でも問題ありません。下記は出力例です。

東京の川の土手を描いた水彩画。護岸沿いに続く草地と遊歩道、対岸に立ち並ぶ住宅やマンション、その上に広がる都市の空が、透明感のある水彩の色層で丁寧に描かれている。草地の緑は水彩らしい滲みを抑えながら丁寧に重ね塗りされ、川面は空と建物の色を映しつつ平明に描写されている。対岸の建物群はそれぞれの輪郭をしっかりと保ち、窓や外壁の様子も簡潔ながら明確に描き分けられている。電線や橋脚といった都市的な要素も省かず、東京の川辺の日常風景をそのまま誠実に捉えている。滲みやぼかしに頼らず、輪郭と色面を重視した明快な描写で、この場所の空気と光を率直に記録した一枚。


■ 4. 画像の生成（高速）

　3. との違いは、ワークフローの設定値と生成画像のみです。

▼ 4-1. ワークフロー

　生成用のワークフローを提供しますので、改造、再公開を含め自由にご利用ください。

（Last update 2026-5-31）

　今回はサブグラフ「Output Resolution」を使用していますが、「Int」のノードを2つ束ねているだけです。

▼ 4-2. 画像の生成

　ワークフローのファイルを ComfyUI の画面にドラッグ＆ドロップして読み込み、「Run」をクリックすると生成が始まります。画像は ComfyUI インストール先の「output」フォルダに保存されます。

　使用するモデル（Diffusion Model、Text Encoder、VAE）の場所や名前が異なる場合は変更してください。また、プロンプトや解像度は好みで変更してください。

Lens-Turbo の生成例
Wide-angle aerial shot tilting slightly downward, capturing a vast sunlit valley at golden hour — rolling meadows of luminescent wildflowers in violet and amber stretch endlessly beneath a clear cerulean sky dotted with cumulus clouds, and soaring through the open air is an enormous celestial creature: a gentle leviathan resembling a living coral reef in motion, its body the size of a mountain, covered in iridescent bioluminescent scales that shimmer between deep teal and warm rose-gold in the afternoon light, enormous translucent wings like stained glass membranes veined with glowing amber filaments slowly undulating as it glides effortlessly upward, long trailing tendrils of soft sea-anemone-like appendages drift behind it like living ribbons catching the wind, ancient mossy formations and tiny cascading waterfalls cling to its back as if an entire ecosystem has grown upon it over centuries, flocks of luminous white birds spiral around its silhouette in graceful arcs, rays of sunlight pierce through its semi-translucent wing membranes casting prismatic light patterns across the valley floor below, the creature's expression is serene and ancient, enormous eyes like polished amber orbs reflecting the landscape, the overall atmosphere is mythic and dreamlike — painterly realism, volumetric light, soft cinematic depth of field, richly saturated natural palette, awe-inspiring scale contrast between creature and landscape

　プロンプトは日本語でも問題ありません。下記は出力例です。

東京の川の土手を描いた水彩画。護岸沿いに続く草地と遊歩道、対岸に立ち並ぶ住宅やマンション、その上に広がる都市の空が、透明感のある水彩の色層で丁寧に描かれている。草地の緑は水彩らしい滲みを抑えながら丁寧に重ね塗りされ、川面は空と建物の色を映しつつ平明に描写されている。対岸の建物群はそれぞれの輪郭をしっかりと保ち、窓や外壁の様子も簡潔ながら明確に描き分けられている。電線や橋脚といった都市的な要素も省かず、東京の川辺の日常風景をそのまま誠実に捉えている。滲みやぼかしに頼らず、輪郭と色面を重視した明快な描写で、この場所の空気と光を率直に記録した一枚。


■ 5. 最後に

▼ 5-1. 筆者より

　Lens は不得手や癖などが感じられたので、トータルの品質は惜しいレベルと考えられます。ただし、そこそこの解像度と速度で出力できる点は好印象です。

　制約の少ない MIT ライセンスで提供されているので、他のアーキテクチャとは異なる出力が欲しい場合には役立つかもしれません。


■ 6. その他

　私が書いた他の記事は、メニューよりたどってください。

　ComfyUIに限定した記事の一覧もあります。

　記事に関することで何かありましたら、Xの@riddi0908までお願いします。

いいなと思ったら応援しよう！