見出し画像

ComfyUIでchroma-radiance-x0を試す

Last update 12-9-2025
※ 関連記事は、ComfyUIの記事一覧にまとめてあります。




■ 0. 概要

▼ 0-0. はじめに

 本記事では、ComfyUIで「chroma-radiance-x0」を利用するための手順を説明します。このモデルは実験中のバージョンとみられます。通常の解説記事よりも内容を縮小していますのでご了承ください。

 ComfyUIのインストール方法は、下記の記事をご覧ください。


▼ 0-1. はじめに

 chroma-radiance-x0は作者による呼称で、Chroma Radianceシリーズの画像生成モデルの1つです。主流となっているアーキテクチャが潜在空間を経由して画像を生成するのとは異なり、ピクセル空間で画像の生成を直接行うのが特徴です。

 既にComfyUIの最新版にてサポートが行われているので、他のアーキテクチャと同様の手順で準備を行えばすぐに利用ができます。


▼ 0-2. アーキテクチャの説明(ChatGPTによる)

(※下記は誤りや憶測が含まれる場合があります

 chroma-radiance-x0 は、画像をいったん圧縮せず、ピクセルそのものを直接扱って絵を作る「pixel-space」タイプの生成モデルです。

 このモデルは PixNerd と呼ばれる仕組みをもとにしていて、画像を小さなパッチに分け、それぞれを専用の小さなネットワークで細かく描き直すことで、高いディテールを持った画像を作れるようになっています。

 さらに、生成の途中で「元のきれいな画像(x0)」を直接予測する JiT-x0 loss という方法を組み合わせることで、絵づくりを安定させたり、より自然な仕上がりに近づけています。

 そのため、chroma-radiance-x0 は作者が言うように、PixNerd の仕組みと x0 直接予測を合わせた、“本当の意味での pixel-space モデル” といえる構造になっています。


▼ 0-3. 参考リンク

 これらは記事中で再度紹介します。

 公式のモデルです。なお、潜在空間を使用しないのでVAEは不要です。

 Text EncoderはT5-XXLを使用します。Safetensors版は様々なところに掲載されています。Text EncoderをCPUで処理することもできますが、その場合はGGUF版を推奨します。

 ワークフローの情報です。モデルの作者が掲載した画像に含まれています。



■ 1. 留意事項とVRAM使用量

▼ 1-1. 留意事項

 ComfyUIを更新していないと、必要なノードや機能が存在しない場合があります。バグフィックスを含むこともあるので、なるべく最新版にしてください。


▼ 1-2. VRAM使用量

 筆者の環境では、VRAMと共有GPUメモリの使用量の合計が20GB程度となりました。共有GPUメモリにはみ出した状態でも動作はしますが、生成速度が低下することが考えられます。

 執筆時点では、モデルをFP8形式でロード(weight_dtypeを変更)することでVRAM使用量を減らすことはできますが、確実に画質が低下します。



■ 2. モデルの設置

▼ 2-1. モデルのダウンロードと設置

 筆者は種類ごとにディレクトリを分けている場合があるのでそのように記述しますが、お好みで決めていただいて構いません。

 下記のURLに掲載されたModelをダウンロードして、適切なフォルダへ移動します。

 Safetensors版のText Encoderです。こちらか次のGGUF版を選択してください。既に持っている場合はそちらを利用できます。

 GGUF版のText Encoderです。CPUで処理したい場合は「iq4_nl」が良いでしょう。下記に掲載した以外の量子化タイプを選択することもできます。



■ 3. 画像の生成

▼ 3-1. 必要な拡張機能について(GGUF対応版の場合)

 本記事に掲載した、GGUF形式のText Encoderを利用するワークフローを読み込んだとき、拡張機能が不足していると「Some Nodes Are Missing」の表示が出ます。その場合は、ComfyUI Managerの機能を利用してインストールすることができます。

 拡張機能をインストールする方法は、下記の記事の「自動インストールの手順 」または「手動インストールの手順」を参照してください。

 本記事のワークフローでは下記の拡張機能を利用します。

 下記の拡張機能も利用できます。提供するワークフローのCLIP Loaderを差し替えてください。


▼ 3-2. ワークフローについて

 生成用のワークフローを提供しますので、改造、再公開を含め自由にご利用ください。

(Last update 12-9-2025)

通常版

GGUF形式のText Encoderを利用する場合


▼ 3-3. 実行例(画像の生成)

 ワークフローを読み込んだ後、必要に応じて設定を変更して「Run」をクリックすると生成が始まります。なお、CLIP LoderのdeviceをCPUに変更することができます。

通常版のワークフローを実行した画面
生成した画像1
GGUF形式のText Encoderを利用するワークフローを実行した画面
生成した画像2



■ 4. その他

 私が書いた他の記事は、メニューよりたどってください。

 ComfyUIに限定した記事の一覧もあります。

 記事に関することで何かありましたら、Xの@riddi0908までお願いします。

いいなと思ったら応援しよう!