ComfyUIでWan2.2 Berniniの動画編集を試してみた

Berniniは、SeedanceのBytedanceが提唱した動画生成フレームワークで、そのフレームワークで使用する拡散モデルをBernini-Rと呼ばれ、今回のワークフローでは、Wan2.2をBernini-Rとなるようにチューニングしたモデルみたいです。

ワークフローはこちらの「Bernini_testing_video_edit_02.json」をベースにしています。

一応、これまでのWan2.2関連の記事も載せておきます。

TI2V

I2V

I2V（VBVR LoRA）

FLF

ControlNet

長尺

TTM

V+V2V（動画結合）

動画でも解説してます。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G

構築手順

このコマンドでカスタムノードをインストールして、ComfyUIを最新化してください。

モデル

wan2.2_bernini_r_high_noise_fp16.safetensorsとwan2.2_bernini_r_low_noise_fp16.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

lightx2v_T2V_14B_cfg_step_distill_v2_lora_rank64_bf16.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

wan_2.1_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置

umt5_xxl_fp8_e4m3fn_scaled.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

ワークフロー

ワークフローは以下です。

生成結果

生成結果は以下です。
生成時間は630秒。
CPUメモリ：80GB
GPUメモリ：34GB（VRAM24GB+共有メモリ10GB）

サンプラーでOOM（Out of Memory）になる場合は、気にせず再実行してください。seed値がfixで固定されていれば、そのまま流れていくはずです。

感想

とりあえず動かせましたって状態です。
fp8とかのモデルだと動かなかったので結構苦労しました。
感覚的には4090でももう少し解像度と全体フレームは大きくできると思います。
ただ、生成時間を考慮すると、Comfy Cloudとかで生成するのが現実的かなぁって感じですね。