LTXV i2v Lightricks と HunyuanVideo のローカル t2v 対決はあっさり勝負あった...。
LTXV i2v Lightricks と他との i2v での優劣比較を終えました。
結果は期待通りには行きませんでしたが….。
LTXV i2v Lightricks と名乗りつつ、t2v （Text to Video）にも LTXV は
対応するワークフローが用意されています。
それを使って何種類かのプロンプトから動画化させてみました。
検閲も課金もないローカル PC での t2v 対決という期待での、LTXV i2v
Lightricks と HunyuanVideo の t2v 対決です。
まずは FLUX.1 on Stable Diffusion Web UI Forge だとどのような静止画が
生成されてその後、動画化ツールにかけられる、という原画とプロンプトを
紹介の上、LTXV i2v Lightricks と HunyuanVideo でプロンプトから直接
動画化します。
宇宙ステーション画です。
またですか…という感じもありますが、違った原画だと、その違いに NG の
理由を求められかねませんので、この原画を改めて CivitAI に登録するふり
をして途中でプロンプトを入手します。（以降同様）
(8k, best quality, masterpiece, ultra high definition:1.2), masterpiece oil painting, (single, only one), (extremely detailed, Space station like a wheel in orbit in space, giant planet background), ((( rotation axis is perpendicular to the screen, with the axis of rotation pointing toward the earth.)))+++, (dynamic lighting), sharp, (4k, 8k, extreme detail, ultra quality, HD, high definition, HDR, high dynamic range, octane render),
<lora:Sci-fi_env_flux:0.8>, <lora:FluxMythP0rtr4itStyle:0.8>
まずは LTXV i2v Lightricks です。
えっえっ何これ….（茫然）
何が描かれているのかも判別できない….。
きちんと t2v 環境にも LoRA F1 が当たっているのか？
改めて空白のタブウインドウに t2v ワークフローをドロップインして
LoRA F1 2つをつなぎました。
実行しました。
ええ…。
<lora:Sci-fi_env_flux:0.4>, <lora:FluxMythP0rtr4itStyle:0.1>
に下げました。
<lora:Sci-fi_env_flux:0.2>, <lora:FluxMythP0rtr4itStyle:0.05>
に下げました。
メカ画描画の Sci-fi_env_flux を上げてみましょうか…。
<lora:Sci-fi_env_flux:0.6>, <lora:FluxMythP0rtr4itStyle:0.05>
です。最初のはこのあたりの設定だったのでしょうか…。
<lora:Sci-fi_env_flux:0.8>, <lora:FluxMythP0rtr4itStyle:0.05>
です。おっ…ちょっと近づいて来ましたか？
<lora:Sci-fi_env_flux:1>, <lora:FluxMythP0rtr4itStyle:0.05>
です。
何じゃこりゃ…..。諦めました。（白旗）
HunyuanVideo です。
<lora:Sci-fi_env_flux:0.8>, <lora:FluxMythP0rtr4itStyle:0.8>での生成です。
どこに人が居住するのかも分からない繊細で構造物ですが、まあ美しい情景
ではあります。しかしまあ他のジャンル題材に比べて明らかに事前学習量
が少なく苦手そうです。
異星開拓基地画です。これも定番を。
(8k, best quality, masterpiece, ultra high definition:1.2), masterpiece oil painting, landscape of a futuristic sci-fi moon base, gleaming metals and ceramics, domes, cratered environment, dusty, thin haze, a large planet dominating the skyline,
<lora:Sci-fi_env_flux:1>, <lora:FluxMythP0rtr4itStyle:0.75>
LTXV i2v Lightricks です。
宇宙ステーション画ほどの荒唐無稽ぶりはないですが、まあ何とチャチい
表現でしょうか…。
<lora:Sci-fi_env_flux:1>, <lora:FluxMythP0rtr4itStyle:0.4>
にしました。ややカラフル過ぎると感じたからです。
<lora:Sci-fi_env_flux:1.2>, <lora:FluxMythP0rtr4itStyle:0.4>
にしました。
<lora:Sci-fi_env_flux:1.8>, <lora:FluxMythP0rtr4itStyle:0.4>
にしました。
左下隅の青いのは何でしょう。
いずれもイラスト上をカメラがパンするだけの簡易動画みたいです。
動画化する意義も見えません。
HunyuanVideo です。
<lora:Sci-fi_env_flux:1>, <lora:FluxMythP0rtr4itStyle:0.75> での生成です。
宇宙ステーション画よりはまだまともな対応をした印象です。
サイバー女子隊員画です。これもまた定番を。
outdoor, medium shot,wearing gray and black nano-suits, (very short bob cut hair), wide hip, large breasts, perfect slender young girl body, perfectly glossy skin ,25 yo mature girl,picture of a vivid, masterpiece,perfect lighting, asian beauty, Machine background ,spaceship outdoors background, Mecha Transport parts, dark and foggy environment, heavy fog environment, battlefield behind,
<lora:AsirAsianPhotographyflux:1.6>
LTXV i2v Lightricks です。
2 つ追加したLoRA 用のノードを片方バイパスして、AsirAsianPhotographyflux の効きを 1.6 に設定しました。
えええ….もういい。勝負あった、です(^^;)。
念のため、効きを 1.8 にしてみました。
全くお話になりませんね….。i2v の時のように背景のマシン描き込みには
執念さえ感じますが、メインの隊員の描写にリソースが割かれていません。
このワークフローにはネガティブ・プロンプトの入力ノードがあります。
そこから考えると、CheckPoint ファイル itx-video-2b-v0.91.safetensors
は FLUX.1 系ではない何かで、そのために LoRA F1 の効きが想定外に
なってしまうということはあり得そうです。サイズも 5.5 GB 程度なので
まず FLUX.1 系ではないです。なのでこの記事全体にわたって、LoRA F1
の適用は無理強いというものでした。
HunyuanVideo です。その差は圧倒的です。
宇宙ステーション画や異星開拓基地画に比べると格段に事前学習量が
豊富なのでしょう。
同様に <lora:AsirAsianPhotographyflux:1.6> での生成です。
うっすらと nipples や navel が硬い筈の装甲から透けて見えるという破綻は
ありますが、静止画と違って IOPaint-LaMA で補正する訳にも行かず、
HunyuanVideo は逆に FLUX.1 系の描画エンジンを使っているのか
ネガティブ・プロンプトによる抑止が出来ないので、これは致し方
ありません。
FLUX.1 on Stable Diffusion Web UI Forge での静止画生成時にも体験して
いますが、プロンプトでは「神様へのお祈り」と同じく否定形はなかなか
通りません。むしろ否定部分を無視されて描かれる傾向が強いです。
「no nipples」とか「no navel」とか「no tree」とかは通りません。
まあ「超未来の化学繊維による装甲の強靭度と柔軟性。そしてその超未来
人はそんなことをいちいち気にしないのだ。」とか言い訳設定をつけても
それを現代において鑑賞するのですから無理があると言うものです(^^)。
泣く泣くボツとなりますが、特質を現した例なので、ここでは公開します。
実は回避法は無くはないのです。
Dain-APP は普段、内部の 3 段階の処理（入力 MP4を全フレーム png にして
処理後も保管 → リクエストに沿って全 png をリサイズ → リクエストに
沿って補完したフレームを含めて再度 MP4動画化する）を 1 アクション
で通貫するボタンで処理していますが、個々の処理だけを行うボタンも
あります。
その初段だけ終えて全フレームを IOPaint-LaMA での補正後、2番目、3番目
の処理ボタンを順次押す、という….。
8 fps の 6 秒（CogStudio）で 48 画ならまだしも、24fps の 5 秒とかに
なるともう匙を投げたくなります。よって潔く泣く泣くボツとするのが
早いでしょう。
さて最後の難関…。 Magic Array in Spaceship 画です。
medium shot, wearing gray and black hard metal-suits, in spaceship cockpit , (very short bob cut hair), wide hip, large breasts, perfect slender young girl body, perfectly glossy skin ,25 yo mature girl, picture of a vivid, masterpiece, perfect lighting, asian beauty,
The magic partially envelops her, creating an ethereal and mysterious effect. The glowing energy adds strength and allure, softly illuminating her face and dark surroundings. her magic radiating in intricate patterns around her. The atmosphere is enchanting and photorealistic in every detail ,
<lora:AsirAsianPhotographyflux:1.6>, <lora:FL-bailing-24-0831magic array9p:1.0> <lora:Magic of Art (FLUX):0.4>
先日、i2v でも苦戦した LTXV i2v Lightricks です。
LoRA F1 を読み込むノードを追加して 3 つにしました。
うわうわー….。確かに「言いたいことは分かる」のでしたが….。
<lora:AsirAsianPhotographyflux:1.6>, <lora:FL-bailing-24-0831magic array9p:0.5> <lora:Magic of Art (FLUX):0.2> に念のため落としてみました。
ちょっと雰囲気が出て来ましたかね…。しかしなぜこんなにアメコミ調
なのか。描画外部からの補完に pyramidflow-miniflux（384 p）のような
気味悪さもありません。
<lora:AsirAsianPhotographyflux:1.6>, <lora:FL-bailing-24-0831magic array9p:0.3> <lora:Magic of Art (FLUX):0.05> にしてみました。
あはは。何だこりゃ。もう良いです。（降参）
LTXV i2v Lightricks は t2v では全く有用性が無かった、と判断します。
三方に妙な黒枠と最下部に文字が見えて、まるで動画画面の雑なキャプチャ
のようです。
HunyuanVideo です。
同様に LoRA F1 を読み込むノードを追加して 3 つにしました。
<lora:AsirAsianPhotographyflux:1.6>, <lora:FL-bailing-24-0831magic array9p:1.0> <lora:Magic of Art (FLUX):0.4> での生成です。
うわうわうわー！！ ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!
凄い！ 凄過ぎる！！
周囲の光芒もまさに意図した通りです。人物画は強いです。充分な事前
学習が為されているのでしょう。
（webp から変換した GIFです。元の webp はここまでのノイズ感は
ありません。）
うわうわうわ…..。
元の webp を note 記事に貼り付けても動きませんし、それをダウンロード
保存して「プログラムから開く」→「Google Chrome」を指定しても元の
webp のようには動きません。256 色と狭い階調の GIF ではこの凄さは
伝わらないのか….。
<lora:AsirAsianPhotographyflux:2.0>, <lora:FL-bailing-24-0831magic array9p:1.2> <lora:Magic of Art (FLUX):0.4> での生成です。
背景、演出には期待以上の成果を得て狂喜しながらも、FLUX.1 on Stable
Diffusion Web UI Forge での静止画原画生成時の理想に近づけないか、と
いう試みです。大元の CheckPoint F1 が異なるのですから LoRA F1 は
それを部分修飾するに過ぎず、所詮無理難題だとは理解しておりますが….。
おーう。確かに AsirAsianPhotographyflux（LoRA F1）の影響が強くなり
ました。しかしそのためか周囲の光芒は消えてしまいました。
ちょろっとだけ光芒が立ち昇ろうとしてます。
<lora:AsirAsianPhotographyflux:2.0>, <lora:FL-bailing-24-0831magic array9p:1.4> <lora:Magic of Art (FLUX):0.4> での生成です。
ちょっとバランスが崩れて来ましたか。LoRA F1 同士が干渉し合ってる
感じです。
もう充分堪能しました。大満足です。
この結果を 2025/03/21（金）まで公開出来ないのか…。
一時期、記事を毎日公開に切り替えて若干の切り詰めを行って
公開は 2025/03/09（日）には早まりましたが、それでも
執筆（2025/01/18 現在）から公開まで 2 か月を要するのでした。
公開の在り方にちょっと考え直しが必要そうです。
（現実と執筆時点と公開時点の記憶の進行の多重化で老いた脳が
一層捩じくれます。）
LTXV i2v Lightricks と HunyuanVideo の t2v 対決は、圧倒的な次元の違い
クラスに後者が勝利となりました。
というか結局、 LTXV i2v Lightricks は「i2v」と名乗っている通り、
t2v 向きでは無いと感じます。
しかし t2v 専用に ComfyUI ワークフローが用意されていました。
ならば、むしろ HunyuanVideo に i2v 用の ComfyUI ワークフローの
登場を望みます。
今のところ（2025/01/18 執筆現在）検索では存在を察知していません。
しかし LTXV i2v Lightricks に t2v を無理繰り適用する動きがあるなら、
いずれは間違いなく登場することを期待します。
HunyuanVideo は生成される動画の表現力が高いため、当方は処理
時間の長さはあまり気にしていません。ComfyUI 起動後後の初稼働で
60 分少し、定義の調整やプロンプトの変更などの後は、変更していない
ノードの処理がスキップされるようで、42 分程度かかります。
（Ryzen7､ RAM 16 GB､ RTX4060､ GPU VRAM 8 GB）
量子化技術などでの処理高速化を試みた記事はいろいろ拝読してますが、
当方の環境ではまずその量子化技術を動かす VRAM リソースが足らない
ようで、また学術系の記事において「量子化の深度と生成結果の精度の
負の相関」（これは描画ではなく情報収集精度に関してのものでしたが）
はやはりあって「速いのにはワケがある」というバーター感を当方の中
で否めません。
例えば pyramidflow-miniflux（384 p）が Magic Array in Spaceship 画の
背景を蹴散らして CogStudio よりも速い、と言っても「そりゃあそうだ」
と感じるしかないのに似ています。
それに GPU なしの普通の PC（今もこの記事も書いている Lenovo X230）
でも NMKD StableDiffusion GUI が動いてくれて、この世界に門前払い
を食らわずに入門出来た当初は 512 pixels 四方の SD 1.5 静止画描画に
35 分、1024 pixels 四方の静止画描画に 4 時間弱かかってもワクワク感が
止まらなかった（夜中にアラームかけて何度も起きて異常終了が起こって
ないか確かめたものでした）のはたった 1 年半前のことで「処理が
落ちずに勝手に動いてくれるなら、当方は他の作業をその間にやって
おこう」としか考えないからでした。
この引用記事の表紙画、当時は本当にリアルで美しいと驚いたものでした。
輝いて見えました。それが次へのブラッシュアップの原動力となりました。
今、振り返ってみると、うんまあ何とも….(^^)。
それほどたった 1 年半は物凄く長く濃い 1 年半でもありました。
ご覧いただきありがとうございます。
（2025/01/18 - 19 執筆）