HiDream-O1-Image_clear_v1 を公開！ ローカルで簡単に画像編集ができる高性能 AI モデル 【画像生成AI・UiT】
はじめに
こんにちは、きまま / Easygoing です。
今回は、ローカルで簡単に画像編集ができる HiDream-O1-Image_clear_v1 モデルを公開したのでご紹介します。
HiDream-O1-Image は、汎用の画像生成・編集モデル
HiDream-O1-Image は、汎用の AI を使った画像生成・編集モデル です。
HiDream-O1-Image は、言語と画像を同じ次元で理解する UiT アーキテクチャ を採用しているため、軽量のモデルですが 高い画像編集能力 を持っています。
HiDream-O1-Image は、公開されたばかりのベースモデルなので、出力がややぼやける傾向がありますが、今回はより クリアー なイラストが出力できるように調整を行ってみました。
実際のイラスト！
それでは、実際のイラストを比べてみます。
左が今回調整を行った HiDream-O1-Image_clear_v1、右がオリジナルの HiDream-O1-Image の出力になります。
ネオンサイン
パリの夕暮れ
左の HiDream-O1-Image_clear_v1 は、右の HiDream-O1-Image と比べて コントラストが高く、クリアーなイラスト が生成されていることが分かります。
一方で、HiDream-O1-Image_clear_v1 は主にアニメイラストで調整を行ったので、実写系のイラストでは少しコントラストが強く感じる場合があるかもしれません。
そのような場合は、CFG scale や noise_level を下げる方向でパラメータを調整してみると良いと思います。
画像編集を試してみよう！
それでは、HiDream-O1-Image_clear_v1 モデルを利用して、実際に 画像編集 を試してみましょう。
今回の作例は、変換前の画像も含め全て HiDream-O1-Image_clear で生成しています。
実際に利用した ComfyUI ワークフローも添付します。
アニメイラストに変換
change to anime illustration
Refiner として使い、再描画でディティールを上げる
衣装・背景変換
A full-length portrait of a man in a fantasy world, holding a long sword and wearing plate armor, beaming with excitement as he looks forward to his upcoming adventures. The background features a medieval village with a wheat field in the distance.
この男性がファンタジーの世界で、長剣を持って板金鎧を着てこれからの冒険に心を踊らせながら満面の笑みでいる全身像。背景は小麦畑が見える中世の村落。
白黒マンガに変換
change to black and white manga artwork
２つの画像を組み合わせる
draw image1 cat on image2 carpet
ComfyUI-uit-hidream-o1 カスタムノード
今回のワークフローでは、ComfyUI-uit-hidream-o1 カスタムノードを利用しています。
ComfyUI-uit-hidream-o1 カスタムノード
UIT Sampler ノード
入力
model: モデルを入力
clip: ダミー入力、ComfyUI では接続必須
vae: ダミー入力、ComfyUI では接続必須
input_image: 初期のホワイトノイズの代わりに入力画像を使用
reference_image: 入力画像を直接トークンに変換する（文章プロンプトの代わり or 併用で使える）
設定値
width, height: HiDream-O1 のデフォルトの解像度は 2048 x 2048
input_image が入力された場合は、input_image を4メガピクセルにリサイズした解像度を使用、その場合 width と height は無視される
noise_scale: ノイズの強さ
Comfy Org の公式のワークフローは、半分以上がダミーノード
HiDream-O1-Image は、Comfy Org から公式のワークフローも公開されていますが、こちらは本来は存在しない機能の ダミーノード が多く使われており、UiT アーキテクチャ を理解する 上で利用はあまりおすすめできません。
UiT アーキテクチャには clip, vae, 外部の conditioning, latent は存在しない
ComfyUI は、Stable Diffusion 1 の後に登場した CLIP や VAE を使った推論に特化したツール のため、シンプルな UiT の実装が逆に複雑になってしまうのは、やむを得ないことではあります。
FP8_scaled vs MXFP8
HiDream-O1-Image_clear_v1 の公開ページでは、FP8_scaled と MXFP8 の２種類の 高精度版の FP8 形式 のモデルを公開しています。
FP8_scaled：精度を改善、RTX 4000 シリーズで高速に処理
MXFP8：さらに精度を改善、RTX 5000 シリーズで高速に処理
FP8_scaled は、ビット数全体を効率よく利用する スケーリング を行って精度の低下を抑えたモデルです。
MXFP8 は、データをさらに 32 個ずつの ブロックに分けてスケーリング することにより、外れ値の影響を避けてさらに精度を上げることができますが、ハードウェア的に対応する GPU は NVIDIA の RTX 5000 シリーズ に限られます。
GPU の登場時期
GPU と浮動小数点計算の対応
FP8_scaled と MXFP8 のいずれも、対応していない GPU では FP16 / BF16 形式にフォールバック して処理を行うため、処理が遅くなってしまいます。
モデルの形式と所要時間は、個人の環境によって全く違ってくるので、いろいろ試して最適なモデルを見つけてみてください。
まとめ：HiDream-O1-Image_clear_v1 を使ってみよう！
HiDream-O1-Image_clear は、クリアーで鮮やかな出力
Image to Image や 画像編集もできる
MXFP8 は RTX 5000 シリーズ 用のフォーマット
今回は、HiDream-O1-Image_clear_v1 モデルについてご紹介しました。
筆者が過去に調整を行った、Z-Image-Base や Flux.2 [klein] 4B-base などのベースモデルは、VAE による後処理も考慮する必要があり、特に 色の調整が難しい ケースが多くありました。
HiDream-O1-Image は VAE を使わない UiT アーキテクチャなので、ベースモデルであっても ずっと簡単に調整 を行うことができました。
これからも UiT アーキテクチャ について、最新の話題を追いかけていきたいと思います。
最後までお読みいただきありがとうございます！
クリエイター紹介
源 勝（みなもと まさる）さん
源 勝（みなもと まさる）さん に、HiDream-O1-Image_clear_v1 の使い方を、カスタムノードの導入方法 から モデルやワークフローの保存場所、そして 実際の実行の手順 まで、大変丁寧に解説していただきました。
初めて ComfyUI を使うときの、躓きやすいポイントが網羅されているので、とても参考になります。
源 勝 さん、ありがとうございます！