LTX Director2 検証記録:アクション遷移プロンプトの型

究極のツールを開発されたwhatDreamsCostさんに感謝を込めて皆さんにこのツールを知っていただければと思います


読み込み画像の前後にプロンプト
ワークフロー全体


起きたこと

LTX Director(LTX Director2)で「静止画を起点にせず、静止画に至る前の状況から動画を生成できる」機能を検証。

最初のテストでは以下のような構成にした。

  • 0〜2秒:走行中の車が停止する

  • 2秒〜:読み込んだ静止画(運転席で前を見ている状態)

  • 3秒〜:「乗っていく?」というセリフ

結果、車が最初から停止した状態でスタートしてしまい、狙った「走行→減速→静止画」の遷移が再現されなかった。

原因1:duration_secondsの入力欄ミス

エラーメッセージは以下の通り。

The value 0.042 for LTX Director's duration_seconds is below the minimum 0.1.

ノードのパラメータ順が start_second → end_second → duration_seconds となっており、参考にしていたチュートリアル動画とUI上の並び順が違ったため、誤った項目に数値を入力していた。30年の映像制作キャリアでも普通に踏む罠。並び順を確認して数値を入れ直すことで解消。

原因2:尺とプロンプト情報量の不一致

duration_secondsのミスを直しても、思った通りのアクション遷移が起きなかった。原因はプロンプト側にもあった。

以前まとめた LTX-2.3公式プロンプトガイド の「よくある間違い」に、以下の指摘がある。

  • 尺とプロンプト量の不一致:短い尺に対して情報量の少ないプロンプトを渡すと、モデルが動作を早送りしてしまう

  • プロンプトに含めるべき6要素:ショットの設定/シーンの設定/アクションの描写/キャラクター定義/カメラワーク/音声の描写

最初のプロンプト「The car driven by the man comes to a stop while in motion.」はアクションの描写しかなく、しかも2秒という短い尺に対して情報量が足りていなかった。これが「早送り=最初から停止」という結果につながったと考えられる。

修正して機能した型

セグメントごとに、その区間の尺に見合う情報量で「6要素」のうち動かしたい要素を明確に書く、という運用に変更。

セグメント1(走行→減速→静止画のポーズへ着地)

Wide tracking shot from a following car on a dusty desert road, warm golden afternoon light. The orange convertible decelerates smoothly, dust drifting from behind the rear wheels as it slows. The male driver, curly dark hair and sunglasses, keeps both hands on the wheel and settles into a relaxed forward gaze as the car comes to a gentle stop.

セグメント2(静止画区間)
プロンプトなし。Image-to-Videoの原則通り、静止画に写っている静的要素はあえて説明しない。

セグメント3(振り向いてセリフ)

The man turns his head toward camera, a warm grin spreading across his face as he leans slightly over the door. He says in a bright, playful voice, "Want a ride?" His eyebrows lift as he waits, sunlight catching on his sunglasses.

セリフは短いフレーズのまま、前に演技指示(振り向く→笑顔→身を乗り出す)を挟んで"間"を作る。感情は「嬉しそうに」のようなラベルではなく、身体的な仕草(grin spreading、eyebrows lift)で表現するのがポイント。

結果

時間配分(0-2-3-5秒)はそのまま、プロンプトの情報量だけを尺に合わせて調整した2回目の生成で、走行→減速→静止画のポーズへの自然な着地→振り向いて笑顔でセリフ、までワンショットで破綻なく繋がった。

まとめ

  • LTX Directorのパラメータ順は要注意(start / end / duration の並びがチュートリアルと異なる場合がある)

  • アクション遷移を狙う場合、各セグメントの尺に見合う情報量でプロンプトを書くことが重要

  • 6要素(ショット/シーン/アクション/キャラクター/カメラ/音声)のうち、その場面で動かしたい要素を明確な言葉で渡す


LTX23_Directer2

https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI

workflow

https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI/tree/main/example_workflows

MODEL

ltx-2.3-22b-distilled-1.1_transformer_only_fp8_scaled.safetensors
場所:diffusion_models

ltx-2.3-spatial-upscaler-x2-1.1.safetensors
場所:latent_upscale_models

LTX23_audio_vae_bf16.safetensors
場所:vae

LTX23_video_vae_bf16.safetensors
場所:vae

gemma_3_12B_it_fp4_mixed.safetensors
場所:txt_encorder

ltx-2.3_text_projection_bf16.safetensors
場所:txt_encorder

taeltx2_3.safetensors
場所:vae

Custum node

whatDreamsCost-ComfyUI

追記:カメラ固定が効かない問題と対策

起きたこと

複数人物が絡むシーンで「カメラ固定」を指示しても効かないケースが頻発。共通する症状:

  • 被写体がカメラに向かって徐々に接近してくる

  • それに連動してカメラもズームインしてしまう

  • Directorsの生成過程を見ると、1回目の生成では素直にカメラ固定が守られるが、2回目の生成でカメラワークが入り込むという不思議な挙動が見られた

試して効かなかったこと

  • no zoom no dolly-in のような禁止コマンドで明示的に否定 → 改善せず。禁止語自体がドリフトベクトルになっていた可能性

効いたが、それだけでは不十分だった対策

「カメラが動かない」ことを抽象的に指示するのではなく、具体的な機材に置き換える言い方は、どちらのケースでも共通のベースにした。

This is footage from a fixed camera mounted on a tripod, positioned at a constant distance from the subjects, the lens never changing focal length or moving closer or farther for the entire duration.

ただしこれ単体では安定して効くとは限らない。2人のゴミ拾いシーンでは、この型を使っても何度も生成をやり直す必要があり、最終的には同じプロンプトのまま再生成したら通ったという、確率的な要素(ガチャ)が最後まで残った。

今回追加して効いた可能性がある要素

5人が花壇を囲むシーンでは、機材メタファーに加えて、被写体と地面(花壇)の接地・影を描写に含めたことで一発成功した。

...standing together behind the flower planter... [影・接地感の描写]

被写体の足元の影を明記することで、モデルが空間内の「奥行き・距離」を把握しやすくなり、結果としてカメラの寄り/被写体の接近が起きにくくなった可能性がある。ただしこれが2人のケースにも同様に効くかは未検証。

まとめ

  • カメラ固定は「禁止コマンド」ではなく「機材メタファーによる肯定的な描写」がまず共通の土台になる

  • ただし機材メタファーだけでは安定して効かないケースがあり、生成の歩留まりには依然としてばらつきが残る

  • 影・接地感の明記が距離感の安定に寄与した可能性はあるが、サンプル数が少なく(成功1件)まだ仮説の段階

  • 「同じプロンプトで再生成したら通った」という確率的要素は、対策を重ねても最後まで消えないことを前提に運用する必要がある



いいなと思ったら応援しよう!