見出し画像

IAMCCS-nodesでWan 2.2 SVI Pro FLFのフレーム指定長尺動画

IAMCCSというカスタムノードについて調査しています。

まだ全容をつかめていませんが、リポジトリにあるワークフローを試しています。

以下の記事では、15_IAMCCS_WAN2.2_SVI_PRO_v.1.jsonを試しました。
インプットの1枚の画像から、長い尺の一貫性性の高い人物の動画を生成するワークフローでした。

今回は5B_IAMCCS_WAN22_SVI_PRO_FLF_2SEGM_SIMPLE_v-4.jsonを試します。

FLF(First-Last Frame)なので、最初と最後のフレームを指定した動画を複数生成し、今回のワークフローでは、SVI Proの性質を生かしてその複数の動画のつなぎ目を自然にする感じですね。

IAMCCSのカスタムノードはその性能を向上させていると思われます。


環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G


構築手順

以下のコマンドでカスタムノードをインストール。

cd ComfyUI\custom_nodes
git clone https://github.com/IAMCCS/IAMCCS-nodes.git

以下のカスタムノードをインストール。

この後、ComfyUIを最新化してください。


モデル

Wan2_2-I2V-A14B-HIGH_fp8_e4m3fn_scaled_KJ.safetensorsWan2_2-I2V-A14B-LOW_fp8_e4m3fn_scaled_KJ.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

wan2.2_i2v_A14b_high_noise_lora_rank64_lightx2v_4step_1022.safetensorswan2.2_i2v_A14b_low_noise_lora_rank64_lightx2v_4step_1022.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

SVI_v2_PRO_Wan2.2-I2V-A14B_HIGH_lora_rank_128_fp16.safetensorsSVI_v2_PRO_Wan2.2-I2V-A14B_LOW_lora_rank_128_fp16.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

wan_2.1_vae.safetensorsをダウンロードして「ComfyUI\models\vae」に配置

umt5_xxl_fp8_e4m3fn_scaled.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

もとのワークフローは以下のモデルを使っていましたが、今回は以下のモデルは使っていません。

wan2.2_i2v_high_noise_14B_Q5_K_M.ggufwan2.2_i2v_low_noise_14B_Q5_K_M.ggufをダウンロードして「ComfyUI\models\diffusion_models」に配置


ワークフロー

ワークフローは以下です。

このノードのパラメータで解像度を調整します。
1.0だと768×1360、0.50だと544×960です。


生成結果

生成結果は以下です。
生成時間は484秒。
CPUメモリ:63GB
GPUメモリ:28.1GB(VRAM19.4GB+共有メモリ8.7GB)

後半は少し苦しそうですね。


もっと長いのも試してみました。

生成結果は以下です。

14分ぐらいで生成されました。

どうやら激しい動きが難しいみたいですね。


感想

一貫性高くつなぎ目が気にならない動画の生成の性能は上がっていますが、激しい動きがまだ難しいようです。

激しくない動きであれば、使えそうです。

いいなと思ったら応援しよう!