Wan2.2 I2V 14B TimeToMoveを試してみた

１フレーム目の画像と動かしたい物体が動いている動画（＋そのマスク動画）をインプットに、物体が自然に動く動画を生成するワークフローがリリースされてので、試してみます。

今回もKijaiさんのワークフローを使わせていただきます。

以下みたいなイメージです。

環境

OS:Windows 11
GPU:GeForce RTX 4090
CPU:i9-13900KF
memory:128G

画像から物体が移動している動画の作成

めんどうですが、「Cut-and-Drag GUI」というツールを使って、インプットとなる動画を手作業で作る必要があります。

以下のコマンドでツールを導入します。

git clone https://github.com/time-to-move/TTM.git
cd TTM
pip install PySide6 opencv-python numpy imageio imageio-ffmpeg

以下のコマンドで起動します。

python GUIs/cut_and_drag.py

起動できました。

「Select Image」でインプットの画像を指定します。
（対象の画像ファイルのパスに半角英数字以外が入っているとエラーになります。）

「Finish Polygon Selection」をクリックします。

人物の輪郭に線が沿うように左クリックを押していきます。

この作業が一番めんどくさいです。

はい完成。

「Finish Polygon Selection」をクリックします。

オブジェクトが四角いボックスで囲まれます。

左クリックでつまんで動かします。

「End Segment」をクリックします。

押しても何も変わりません。

見た目は変わっていませんが、また、つまんで動かせるようになっています。

また、「End Segment」をクリックします。

また、つまんで動かせますが、プロンプトを入力して、「Save」をクリックします。

フォルダ名を入力して、「OK」をクリックします。

これで、ファイルが出力されます。

モデル

それぞれのモデルをダウンロードして、ComfyUI配下のフォルダに配置します。

Wan2_2-I2V-A14B-HIGH_fp8_e4m3fn_scaled_KJ.safetensorsとWan2_2-I2V-A14B-LOW_fp8_e4m3fn_scaled_KJ.safetensorsをダウンロードして「ComfyUI\models\diffusion_models」に配置

Wan2_1_VAE_bf16.safetensorsをダウンロードして「ComfyUI\models\vae」に配置
umt5-xxl-enc-bf16.safetensorsをダウンロードして「ComfyUI\models\text_encoders」に配置

lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensorsをダウンロードして「ComfyUI\models\loras」に配置

ワークフロー

ワークフローは以下です。

インプットは以下です。

a girl walks

生成結果

VRAM18GBで、4分半で生成されました。
解像度：480×832
全体フレーム：81

感想

セグメンテーションを自動化して、適当に動かせれば色々できそうですね。

たぶん。