ComfyUIでWan2.2 BerniniのBernini-R-LightX2V-4step-lorasを試してみた

Wan2.2 Bernini向けのLoRAがリリースされたので、試してみます。

以下の記事で紹介したときに使っていたLoRAはT2V用のLoRAだったので、Bernini専用に作ったみたいですね。

また、必要メモリが窮屈で使いづらいので、CPUメモリ側に処理を逃がすためのBlockSwapノードも用意しました。
これを使わないと、VRAMから溢れた処理が共有GPUメモリに流れて、絶望的に処理が遅くなります。

もともと、KijaiさんのWan向けカスタムノードにはありましたが、T2VとI2Vにしか対応しておらず、Bernini×ComfyUIの公式ノードの組み合わせには対応していなかったので、作ってみました。

一応、これまでのWan2.2関連の記事も載せておきます。

TI2V

I2V

I2V（VBVR LoRA）

FLF

ControlNet

長尺

TTM

V+V2V（動画結合）

動画編集（Bernini）

動画でも解説してます。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G

構築手順

以下のカスタムノードをインストールして、ComfyUIを最新化してください。

cd ComfyUI\custom_nodes
git clone https://github.com/lovemachine100/ComfyUI-JITBlockSwap.git

また、以下のComfyUIの起動batに「--disable-dynamic-vram」と「--disable-pinned-memory」のオプションを追加してください。

ComfyUI_windows_portable\run_nvidia_gpu.bat

変更前

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build

変更後

.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --disable-dynamic-vram --disable-pinned-memory

--disable-dynamic-vram：comfy-aimdoによるdynamic VRAM管理(デフォルト有効)を切り、旧来のlegacy ModelPatcher方式に戻すフラグ。

--disable-pinned-memory：pinned memory(ページロック済みホストメモリ)の使用を全面禁止するフラグ。

※BlockSwapを使わないときは外してください。
※既存のrun_nvidia_gpu.batとは別のrun_nvidia_gpu.batを作成するのがオススメです。

モデル

wan2.2_bernini_r_high_noise_fp16.safetensorsとwan2.2_bernini_r_low_noise_fp16.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

Bernini-R_LightX2V_high_noise.safetensorsとBernini-R_LightX2V_low_noise.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

wan_2.1_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置

umt5_xxl_fp8_e4m3fn_scaled.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

ワークフロー

ワークフローは以下です。

Block Swapについてですが、blocks_to_swapの数字を大きくすると、使用されるVRAMの割合が減少し、CPUメモリの割合が大きくなります。

今回の設定であれば、20ぐらいだとVRAM24GBぐらい使用されます。
30ぐらいだと、VRAMは18GBぐらいに抑えられます。（その分CPUメモリが使用され、処理速度が遅くなります。）

ただ、VRAMの使用料が24GBを超えると、共有GPUメモリ側に処理が流れ始め、データの行き来が発生し、処理性能が絶望的に遅くなります。

そのため、VRAMが24GBを超えないギリギリのblocks_to_swapの数値を狙うのが最適となります。（今回だと25ぐらいですかね）

生成結果

生成結果は以下です。
生成時間は420秒。
CPUメモリ：100GB
GPUメモリ：VRAM18GB

前回の記事の結果と比較すると、ツインテールも反映されているので、品質は工場していますね。Block Swapの効果もあり、フレーム数を増やしましたが、生成速度も向上しています。

感想

品質も生成速度も向上できたのが、今回はポイント高いですね。

個人的には動画編集用途の動画生成AIは、動画生成のコスト増加に伴って需要が上がってくると思うので、少しずつ選択肢を増やしていければと思っています。