Wan VACE Prepで滑らかに動画をつなぐ

２つの動画を滑らかにつなぐためのカスタムノードとワークフローが公開されたので、紹介します。

１つ目の動画の最後の数フレームと２つ目の動画の最初の数フレームを参照しながら、数フレームを置換 or 追加生成することで、滑らかなつなぎ動画の生成を実現しているようです。

ワークフローは以下の参考にしています。

動画でも解説してます。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G

構築手順

以下のコマンドでインストールして、ComfyUIを再起動してください。

cd ComfyUI/custom_nodes
git clone https://github.com/stuttlepress/ComfyUI-Wan-VACE-Prep.git

カスタムノード

このノードでどのように滑らかにするかを決めています。

context_frames：各クリップ端から取る参照フレーム数（4の倍数必須）
replace_frames：つなぎ目の両側で捨てて作り直すフレーム数（4の倍数必須）
add_frames：2クリップの間に完全に新規で追加生成するフレーム数（4の倍数必須）
crossfade_mode：基本的にはFalse（Trueにすると、つなぎの部分に重複したフレームが出現）

モデル

wan2.2_fun_vace_high_noise_14B_fp8_scaled.safetensorsとwan2.2_fun_vace_low_noise_14B_fp8_scaled.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

wan_2.1_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置

umt5_xxl_fp8_e4m3fn_scaled.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

wan2.2_t2v_A14b_high_noise_lora_rank64_lightx2v_4step_1217.safetensorsとwan2.2_t2v_A14b_low_noise_lora_rank64_lightx2v_4step_1217.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ワークフロー

ワークフローは以下です。

生成結果

以下の設定で生成しました。

context_frames：8
replace_frames：8
add_frames：0
crossfade_mode：False

生成時間：150秒
VRAM：23GB

https://x.com/jun_kongo/status/2007844315448713330?s=20

少し無理につないでますね。

以下の設定に変更して生成しました。

context_frames：16
replace_frames：16
add_frames：0
crossfade_mode：False

生成時間：450秒
VRAM：23GB

https://x.com/jun_kongo/status/2007844383098618084?s=20

生成時間が増えましたが、つなぎが安定してますね。

一応並べて比較。こう見るとあんまり変わってないですね。
16フレームしか変わってないですからねぇ。

一応スローも。変わらない。。。

感想

最近こういうのが多いですね。
シンプルな機能ですが、非常に便利です。