Wan2.2のTI2V 5Bを試してみた

遂にWan2.2がリリースされたので、手軽なモデルから試してみたいと思います。

構築手順については、以下を確認してください。

手元の環境だと、以下をダウンロードして、それぞれのフォルダに格納しました。（「umt5_xxl_fp8_e4m3fn_scaled.safetensors」については、Wan2.1とファイル名とファイルサイズが同じだったので、Wan2.1のファイルをそのまま流用しています。）

動画でも解説してます。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G

T2V

ワークフロー

プロンプト

Anime schoolgirl gracefully swaying her upper body to guitar rhythm, fingers elegantly pressing frets and strumming strings with fluid wrist movements, gentle head tilting and nodding to the beat, shoulders subtly rising and falling with deep breaths, left foot tapping softly on ground keeping time, right leg slightly shifting weight, torso leaning forward during intense passages then relaxing back, facial expressions transitioning from concentration to pure joy, eyes occasionally closing in musical bliss then opening with sparkling delight, soft lip movements as if humming along, hair bouncing gently with each head movement, cardigan sleeves sliding naturally with arm motions, skirt swaying with body rhythm, entire pose flowing seamlessly from tense musical focus to relaxed emotional release

結果

なぜか実写になってしまった。

デフォルト設定で、1280×704、41フレームの動画を生成するのに、4分とVRAM20GB使用しました。

got prompt
Using xformers attention in VAE
Using xformers attention in VAE
VAE load device: cuda:0, offload device: cpu, dtype: torch.bfloat16
Using scaled fp8: fp8 matrix mult: False, scale input: False
CLIP/text encoder model load device: cuda:0, offload device: cpu, current: cpu, dtype: torch.float16
Requested to load WanTEModel
loaded completely 21574.8 6419.477203369141 True
C:\Users\XXXXXXXXXX\comfy-ui\ComfyUI_windows_portable\ComfyUI\comfy\ldm\modules\attention.py:451: UserWarning: 1Torch was not compiled with flash attention. (Triggered internally at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\aten\src\ATen\native\transformers\cuda\sdp_utils.cpp:555.)
  out = torch.nn.functional.scaled_dot_product_attention(q, k, v, attn_mask=mask, dropout_p=0.0, is_causal=False)

model weight dtype torch.float16, manual cast: None
model_type FLOW
Requested to load WAN22
loaded completely 14692.919274560547 9536.402709960938 True
100%|██████████████████████████████████████████████████████████████████████████████████| 30/30 [02:18<00:00,  4.61s/it]
Requested to load WanVAE
loaded completely 2349.4454040527344 1344.0869674682617 True
Prompt executed in 239.33 seconds

I2V

ワークフロー

プロンプト

Anime schoolgirl gracefully swaying her upper body to guitar rhythm, fingers elegantly pressing frets and strumming strings with fluid wrist movements, gentle head tilting and nodding to the beat, shoulders subtly rising and falling with deep breaths, left foot tapping softly on ground keeping time, right leg slightly shifting weight, torso leaning forward during intense passages then relaxing back, facial expressions transitioning from concentration to pure joy, eyes occasionally closing in musical bliss then opening with sparkling delight, soft lip movements as if humming along, hair bouncing gently with each head movement, cardigan sleeves sliding naturally with arm motions, skirt swaying with body rhythm, entire pose flowing seamlessly from tense musical focus to relaxed emotional release

画像

結果

軽量モデルであることを忘れてました。wan2.1の14Bと比べても綺麗ですね。長い尺になるとわかりませんが。
この解像度を生成できる時点で、かなり優秀。

デフォルト設定で、704×1280、41フレームの動画を生成するのに、3分とVRAM17GB使用しました。

got prompt
loaded completely 19722.309514276123 9536.402709960938 True
100%|██████████████████████████████████████████████████████████████████████████████████| 30/30 [02:28<00:00,  4.95s/it]
Prompt executed in 171.27 seconds

感想

軽量な5Bモデルしか試せてないので、なんとも言えないですが、この軽量さで高解像度の生成ができるのは、Wan2.1からの進化と感じました。

もう少し、設定をいじって調査しようと思います。