見出し画像

ComfyUIでPixelDiTの画像生成を試す

まゆひらa

Last update 6-6-2026
※ 初期リリースのため、随時、記事の修正を行う場合があります。お気づきの点があれば、遠慮無くコメントでお知らせください。
※ 関連記事は、ComfyUI の記事一覧にまとめてあります。
※ noteの質問箱 へ気軽に声をお寄せください。質問以外のメッセージの方が嬉しいかもしれません。回答は気まぐれなのでご了承ください。



■ 0. 概要

▼ 0-0. はじめに

　本記事では、NVIDIA がリリースした「PixelDiT」 を ComfyUI で利用する手順を説明します。

　ComfyUIのインストール方法は、下記の記事をご覧ください。

　画像を生成するプロンプトは、Gemini と Claude を利用して作成しました。

▼ 0-1. PixelDiTについて

　PixelDiT は、NVIDIA が開発している画像生成のアーキテクチャで、 2025-11-25 に最初の論文（v1）が公開されました。その後、2026-3-30 から 2026-4-7 にかけてコードや重みが公開され、2026-4-16 に改訂版の論文（v2）が出ています。

（※ GitHub のリポジトリに「[2025/11] Paper, training & inference code, and pre-trained models are released.」とありますが、当時のコードや重みを見つけることはできませんでした。）

　PixelDiT の特徴とモデルの情報を挙げておきます。こちらは ChatGPT が出力した内容を微修正しました。

  • VAE を利用せずピクセル空間で直接学習・生成するアーキテクチャ

  • モデルは小型で、パラメーター数は 1.3B

  • Text Encoder は小型の Gemma-2-2B-IT を採用

  • 1MP（1024x1024 等）の出力に対応

  • 非商用の研究・評価用途向け

　PixelDiT と直接の関係はありませんが、VAE を利用しない他のアーキテクチャの一例を紹介します。

▼ 0-2. 参考リンク

　公式のプロジェクト、モデルへのリンクです。

　公式の GitHub リポジトリと、PixelDiT に関する論文です。

　本記事で使用するモデル（詳細は後述）と、参考にした ComfyUI 向けのワークフローです。


■ 1. 留意事項と使用リソース量

▼ 1-1. 留意事項（お約束）

　ComfyUI を更新していないと、必要なノードや機能が存在しない場合があります。バグフィックスを含むこともあるので、なるべく最新版にしてください。

　状況に応じて、VRAM に読み込んだモデルが自動的にメイン RAM へ待避（オフロード）されることがあります。そのため、メイン RAM が多いとさらに快適に利用できる可能性があります。

▼ 1-2. 必要なリソースと生成時間

　グラフィックボードの VRAM は 12GB であれば十分です。モデルの選択によっては 8GB でも問題無いと考えられます。

　筆者の環境（GeForce RTX 5060Ti 16GB）での、1枚当たりの生成時間です。

  • 4秒（モデル読み込みとテキストエンコードの合計）

  • 12秒（サンプリングのみ、30 Steps、CFG=4.0、1152x896）


■ 2. モデルの設置

▼ 2-1. Comfy Org版

　本記事では Comfy Org が配布するバージョンを利用します。下記の URL に掲載されたそれぞれのファイルをダウンロードして、ComfyUI インストール先の内部にある適切なフォルダへ移動します。

　今回の URL には PiD のモデルも格納されています。これは PixelDiT とは趣旨や利用方法が異なるものです（別の記事にて紹介予定）。

　mxfp8 形式は RTX 5xxx のみネイティブ対応しています。fp8 のデータをブロックに分けてスケール情報を組み合わせて表現することで、bf16 より小さい容量と、通常の fp8 より高い精度を両立したフォーマットです。ただし、リソースの不足がなければ bf16 形式が良いと思います。

　Text Encoder は、特に VRAM が少ない場合は fp8_scaled の方が実行時間が少なくて済む可能性があります。

  • Comfy-Org/PixelDiT
    https://huggingface.co/Comfy-Org/PixelDiT 

    • split_files/diffusion_models/
      ※ 通常は bf16 を選択
      pixeldit_1300m_1024px_bf16.safetensors (7.64GB)
      pixeldit_1300m_1024px_mxfp8.safetensors (5.17GB)
      → models\diffusion_models\

    • split_files/text_encoders/
      ※ お好みで下記のいずれかを選択
      gemma_2_2b_it_elm_bf16.safetensors (4.87GB)
      gemma_2_2b_it_elm_fp8_scaled.safetensors (2.43GB)
      → models\text_encoders\

　参考まで、pixeldit 等のフォルダを作成して分けておくと、各ファイルがどのアーキテクチャ向けのものか把握しやすくなります。


■ 3. 画像の生成

▼ 3-1. ワークフロー

　生成用のワークフローを提供しますので、改造、再公開を含め自由にご利用ください。

（Last update 2026-6-6）

　今回はサブグラフ「Output Resolution」を使用していますが、「Int」のノードを2つ束ねているだけです。なお、オリジナルのワークフローでは「Resolution Selector」が用いられていますので、お好みで差し替えてください。

▼ 3-2. 画像の生成

　ワークフローのファイルを ComfyUI の画面にドラッグ＆ドロップして読み込み、「Run」をクリックすると生成が始まります。画像は ComfyUI インストール先の「output」フォルダに保存されます。

　ワークフローでは使用するモデル（Diffusion Model、Text Encoder）として bf16 版が選択されているので、fp8 版のみを設置した場合は赤枠表示になりますが正常な動作です。モデルの場所や名前が異なる場合は設定を変更してご利用ください。

Text Encoderの選択を表示した例

　その他、プロンプトや解像度は好みで変更してください。下記の実行例は本記事の表紙画像です。

PixelDiT の生成例
A breathtaking, high-angle view looking out from an ornate, stone-railed balcony overlooking a vibrant, hilly European town. The foreground shows a small portion of the balcony, adorned with lush, blooming flowers in terracotta pots, framing the stunning vista. From this elevated vantage point, the town cascades down a series of rolling slopes, appearing as a dense, organic cluster of historic houses. The roofs create a colorful, textured tapestry of deep terracotta, rustic ochre, slate blue, and mossy green, mixed with vibrant, multi-colored house facades. Winding pathways snake between the buildings, with glimpses of charming rooftop gardens and small courtyards. Warm, golden hour sunlight bathes the entire landscape in a nostalgic, cinematic glow, casting dramatic shadows that accentuate the hilly terrain. Vintage film aesthetic, rich colors, soft grain, high-detail architectural landscape.

　プロンプトは日本語でも問題ありません。下記は出力例です。理由は不明ですが、こちらは 1 枚の画像に複数のイラストが出力される傾向があり、解像度を 1024x1024 に変更しても変わりませんでした。

東京の川の土手を描いた水彩画。護岸沿いに続く草地と遊歩道、対岸に立ち並ぶ住宅やマンション、その上に広がる都市の空が、透明感のある水彩の色層で丁寧に描かれている。草地の緑は水彩らしい滲みを抑えながら丁寧に重ね塗りされ、川面は空と建物の色を映しつつ平明に描写されている。対岸の建物群はそれぞれの輪郭をしっかりと保ち、窓や外壁の様子も簡潔ながら明確に描き分けられている。電線や橋脚といった都市的な要素も省かず、東京の川辺の日常風景をそのまま誠実に捉えている。滲みやぼかしに頼らず、輪郭と色面を重視した明快な描写で、この場所の空気と光を率直に記録した一枚。


■ 4. 最後に

▼ 4-1. 筆者より

　PixelDiT はモデルが小型であるため、品質は相応のレベルとお考えください。出力の解像度も低いことから、現在も開発途中の段階にあることが予想されます。今後、さらに優れたピクセルベースの大規模モデルが登場する可能性に期待したいです。


■ 5. その他

　私が書いた他の記事は、メニューよりたどってください。

　ComfyUIに限定した記事の一覧もあります。

　記事に関することで何かありましたら、Xの@riddi0908までお願いします。

いいなと思ったら応援しよう！