巷で語られるほど CogStudioはダメか? CogStudio+DainAPP、 pyramidflow-miniflux、 KlingAI での 3 者比較。(1)
RTX4060(GPU VRAM 8GB)下のComfyUI で pyramidflow-miniflux が
動くようになって、その速さと 24 fps 動画の滑らかさに驚くものの、
ある種の原画(「Magic Array in Spaceship 画」)からの
Image to Video 処理では、手抜きではないかと思えるような仕上がり
が目立つことに気づいて来ました。
それは pyramidflow-miniflux の内部処理の高速化(というか生成原理)
にも大いに関わっているようにも思えます。
また note やネット記事では「pyramidflow は凄い」を言うために
「CogStudio はお話にならない」と CogStudio を下げる内容も目立って
来て、内心穏やかではありません。
CogStudio の関係者ではありませんが「それは本当か?どこまで使い
込んでそんなことを言ってる?」という理不尽感は感じています。
2024 年のかつてないほどの爆速な AI 描画環境の進化がこのところ
やや頭打ちというか相対的な鈍化が見られると、早くも昔話というか
勝手にこの世界を総括したかのような記事まで現れています。
前世紀末あたりに絶滅した「キーボードマガジン」(今もあるのか?^^;)
系雑誌の毎号毎号「シンセの歴史」とか「シンセ銘器紹介」「アナログ
シンセの構造解説とオレは知ってる当時の革命感」みたいな「ジジイ
(年齢で言えば当方より若造も若造)の昔話なんぞで日影キーボーディスト
が原稿料貰うなよ(しかも知ってる話の二番三番煎じか、史実と合わない
主観の呟き以上の価値もない。「武士は食わねど高楊枝」って知らんの
か?)」みたいな記事群を思い出します。
「シンセっていうのはぁ~まず VCO っていう発信器があってぇ~それを
VCF っていうフィルタにかけてぇ~最後に VCA ってアンプにかける
んだよねぇ~」って、読む側は「何故それに落ち着いたのかを知りたい
んだよ。ジジイの繰り言みたいに借りて来た浅い知識で金儲けするなよ」
という物凄く強い苛立ちを当時感ずるしかありませんでした。
あまりに酷い記事では「俺たちの技量ではどう頑張っても Cream の
ような"スーパー・グループ" (今では顧みられない当時の流行語)には
なれない….しかしそうだ、グレッグ(・レイク)、お前ヴォーカルを
してみては?….それがエマーソン・レイク・アンド・パーマーの誕生
の瞬間だった、という超々嘘記事も見ました。
キース・エマーソンはまず Yes の クリス・スクワイアに白羽の矢を
立てたが、ヴォーカルのインパクトに欠けると感じてダメ元覚悟で
The Beatles の 最終作品(この事実も誤解している五万の「自称洋楽
専門家」居るがまあそれは捨て置く。何故なら心底論議が無価値
だから。)「Abbey Road」を英国チャート 1 位から引きずり下ろした
デビュー直後の絶頂にある King Crimson の リード・ヴォーカリストで
あるグレゴリー(グレッグ)・レイクを引き抜いた(当時、英国で Yes
の前座アクトにしか留まれなかった King Crimson が米国ライブで狂乱
の絶賛を得ながら母国での評論家による執拗なバッシング「ロックに
粗暴と対極の知的な詩作世界との結合など評論家協会は絶対に許さない」
の強い乖離感から新天地を求めた内心にその引き抜きが合致した)
歴史経緯も全く知らずの勝手極まりない妄想で、まんまと原稿料を
せしめた糞カスの極致も、当時は今のようなネット文化がないために
ツッコミも無く堂々まかり通ったのでした。
1970 年代の同じくリットー・ミュージック出版(弟が熱狂的なファン
なので実際にそれを読みました)の「The Beatles 大事典」(辞典では
ない)などには「ア・デイ・イン ザ ライフ :作曲 ポール、作詞 ジョン」
みたいな「ポールが大好きだからそうあって欲しい」というまるで隣国の
捏造歴史教育のような活字化された妄想が誰に戒められることもなく
堂々まかり通っていましたし(それはその曲の中間部で主題に戻る手前
の長い「アー」を誰が歌っているかの心底低次元の論争として今も尾を
引いています。作曲能力がある人間が旋律の音列を単純事務的に分解
すれば明らかに単純なこと)、それを疑うことなく鵜呑みにする「自称
洋楽評論家ども」の「存在しなくても良かった無価値過ぎる人生」も
きっと腐るほど沢山あったのでした。
絶頂のスタートを切った King Crimson はリード・ボーカリストを
失い 2 枚目のアルバム「In the wake of poseidon」(「ポセイドンの
轍を追って」:「目覚め」は名詞と形容詞を取り違えた当時の「高感度
人間」を自称する低能洋楽関係者による明らかな誤訳で「ポセイドン」
は自分たちの期待以上に膨らんだ巨大な処女作のウケを追う、という
「二番煎じ」との評論家からの揶揄を先回りした自虐)の中で
「人前でベースなど持ったこともない」ゴードン・ハスケルに
ロバート・フリップが「慣れれば格好はつく」と強いての
「Cadence and Cascade」からの再発進で、最後には交代した
ボズ・バレルのリード・ヴォーカルによる「Islands」で全盛期前期
(プログレ黄金期終焉の 1974 年。Yes の「To be over」とシンクロ
する)を一旦閉じます….ああこれ書いているだけで嗚咽が止まらん。
公式 Youtube アカウントにリンクします。
以前記事の Yes の「madrigal」のように「検索してください」では
留まれません。
邦楽ファンが曲は歌詞を優先というなら、この半世紀以上前に創られた
「ラヴ・ソング」の原詞と楽曲の次元の高さに触れて見よと言いたい。
(もう言っとるがな….。)
(貴重情報の公開を感謝します。)
風の真下で 無限の平和が
波を追い返す
島々は天の海の下で 手をつなぐ
はアーティキュレーション上からも素直に、
風がそよぐもと 波はたゆたう
無限の平和
天国の海の下で 島々は手をつなぐ
でもよかったかな…。(ここが最後の「大地、小川、木々は海へと
帰る / 波が私の島から砂をさらっていく / そして私からも」に
つながる最も深く重要な部分。いかん。書いていて嗚咽が止まらん。
島々が手を繋ぎ抵抗するも自然の摂理はそれを無慈悲にはぎ取って
行く、それが「無限の平和」の光陰を隠喩することを具現化出来る
脳内の映像想起力を要する世界。あえて次元を低くして理解され易く
するとすれば「穏やかに凌辱され続けるのを受け入れることで
今の幸福が永遠に続くことが願うものの、恐らくは叶わないことを
既に達観し摩滅の空虚に向かう女性の感情」を詩的に纏めた一節。
これを文学と言わずして何と言うのだろう。)
邦楽の「発情気分の日記を赤裸々に公開したら歌詞の一丁あがり!」
レベルの 1980 年代から続く定番歌詞やお決まりの「オマエはひとり
じゃない。大事なのは絆だ。」の判を押したような吐くほど安い歌詞
でお涙頂戴の投げ銭ビジネスに共感するアホども同士で成立される
商売が 200 年経っても到達しない境地がここには(既に半世紀前に)
あります。まあ商売が高い芸術水準を満たす必要はどこにも無い、
とは言えますけれども。
当初公開されたアナログレコード版では最後のメロトロンかハーモニウム
かの離鍵音の手前までで自然にフェードアウトして、その後の雑音などは
入っていませんでした。デジタルリマスタ版から離鍵音以降が含まれる
ようになりました。その意図は分かりません。
ふー…ようやく脱線から復帰….(今でも作曲家が人生のベースなので…^_T;)。
CogStudio+DainAPP、pyramidflow-miniflux、KlingAI での 3 者比較
をその「それは本当か?どこまで使い込んでそんなことを言ってる?」
の観点で行います。
CogStudioに DainAPP をかませるのは、8 fps 動画のカタカタ感に
印象が引っ張られて、肝心の「静止画原画から動画への表現維持力」
を見落とされてはいないかと考えるからです。
その点をしっかり比較すべきと考えて、24 fps 化したいところ、8 fps
から 32 fps(倍々でしか処理できません。8 fps → 16 fps → 32 fps)
への変換をかけます。
ただ note 記事に貼りこむために Adobe Express でGIF 化すると、
いずれもカタカタ感が再付与されるためにダウンロードして比較
出来るよう、MP4 も直に貼り付けます。
記事に CogStudio+DainAPP を先に全部、次に pyramidflow を全部、
MP4 を貼り付ける途中で、note 記事側の制約なのか、それ以上、
MP4 を記事に貼り付けられなくなりました。
なので、KlingAI は GIF のみです。(まあ表現力の差は明らかなので
MP4 での厳密な比較は KlingAI に関しては不要でしょう。)
まずは原画です。「Magic Array in Spaceship 画」です。
(FLUX.1 on Stable Diffusion Web UI Forge による。プロンプトは
過去記事に掲載済。以下同様。)

CogStudio + DainAPP です。
原画のニュアンスを最後まで維持します。
(Adobe Express による GIF および MP4 )

pyramidflow です。
背景の微細なニュアンスを瞬時に無かったかのように。
(Adobe Express による GIF および MP4 )

KlingAI です。
同様に周囲のニュアンスを吹き飛ばした変わりに予想外の動きが流石。
(Adobe Express による GIF のみ )

原画です。

CogStudio + DainAPP です。
原画のニュアンスを最後まで維持します。
(Adobe Express による GIF および MP4 )

pyramidflow です。
背景はあっという間に手抜き化されます。
(Adobe Express による GIF および MP4 )

KlingAI です。
原画ニュアンスはいじらず構図のパンが入ります。
(Adobe Express による GIF のみ )

原画です。

CogStudio + DainAPP です。原画のニュアンスを最後まで維持します。
(Adobe Express による GIF および MP4 )

pyramidflow です。すぐに背景のニュアンスは手抜き化されます。
(Adobe Express による GIF および MP4 )

KlingAI です。心底要らない「サービス演出」です。意図してません。
(Adobe Express による GIF のみ )

原画です。

CogStudio + DainAPP です。
やや弱い表現ながら原画のニュアンスを最後まで維持します。
制限があるのかこれ以上 MP4 を記事に貼れなくなりましたので、GIF
だけの比較にします。(Adobe Express による GIF のみ)

pyramidflow です。
表情の暴れ(不完全だったり片目だけ戻らない瞬きなど)を抑えるのが
やっとのことで、表現差は明らかです。(Adobe Express による GIF のみ )

KlingAI です。
魅力的ではあるものの、これまた要求していない演出です。
意図してません。どこから情報補完したのでしょう。
(Adobe Express による GIF のみ )

まだたった4 例ですが、pyramidflow-miniflux の「手抜き感」が
分かりますか?
背景の光芒の遷移を潰す動きに「細かい描写なんかやってられるかよ」
とばかりの手抜き感が目立ち過ぎませんでしょうか。
傾向的には 32 ( 何故か表記上は 31) fps化した CogStudio + Dain-APP は
滑らかさでもそれほど悪く言われるほど劣ってはおらず原画表現に忠実、
pyramidflow は表情の制御が難しいことと、背景の手抜き感が目立つ、
KlingAI はいくらネガティブ・プロンプトで抑止させても NSFW 寄り
の補完が過剰、という印象です。(原画の SF 調シチュエーションでは
胸元や臀部の露出やハイレグなど見たくもないが、とにかく「お色気
サービス」過剰がやや食傷気味。)
改めて 8 fps 動画のカタカタ感を補完し、今回は使用しなかったものの
動画の画面サイズも 自在に upscale してくれる(操作も設定を 5 タッチ
程度)Dain-APP の凄さも感じました。
処理後に作業ファイルがサブフォルダ中に残されますが、それを見ると
元の MP4 の全フレーム(コマ)を一旦 png 形式にして保存し、upscale
指定があればそれらを拡大・縮小して、なおかつ指定のフレーム数 / 秒
になるよう、新たな中間フレームを前後コマ情報から補完し最後にそれら
を MP4 に組み上げるという地道ながら真正面からの物凄い処理をやって
いることが見て取れます。
GPU VRAM 8GB の低い天井の制約を後処理で悠々補ってくれる、
まさに「神ツール」です。
静止画からの動画生成という現在のトレンドより先に存在していたこの
ツール(元々はカタカタ動く AI アニメをぬるっと滑らかに動かすツール
として登場)ですが、もっと大いに評価されるべきツールであると考え
ます。
なお描画設定ですが、
CogStudio は「Guidance Scale」が「10」+「Strength」が「0.4」「0.2」、
または省略値(「6」と「0.8」)のまま、次記プロンプトを添えた結果を
択一しました。
medium shot, wearing gray and black hard metal-suits, (very short bob cut hair), wide hip, large breasts, perfect slender young girl body, perfectly glossy skin ,25 yo mature girl, picture of a vivid, masterpiece, perfect lighting, asian beauty,
The magic partially envelops her, creating an ethereal and mysterious effect. The glowing energy adds strength and allure, softly illuminating her face and dark surroundings. her magic radiating in intricate patterns around her
pyramidflow は「guidance_scale」が 12 と 「video_guidance_scale」が 2
と CogStudio と同様に全体の動きは大きく、細部の自由度は低めに設定して
上掲のプロンプトを与えました。ネガティブ・プロンプトは元からあった
内容に加えて、瞬きの後に半目で止まったり、片目が開かなかったりした
ので、それを抑止する内容を先頭と末尾に付加しました。
(特に後半の情けない内容にご注目ください。こんな次元を抑止しないと
いけないとは….。)
Halfway blink , Blink stopping in mid-blink , Moving composition or angle of view , Cartoon style , Worst image quality , Low quality , Blurring , Black and white , Pure white , Low resolution , Extra limb , Extra finger , Misplaced object , Mutated anatomy , Monochrome , Horror , Non-anatomical movement of neck or joints , Abnormal head shake , Ugly facial deformity , Unnatural facial rotation , Unsynchronized blinking,
KlingAI は動画変更度を「relevance」側に 0.75 (あまり余計な動きを
しない)設定での Kling1.6 Standard mode 動画で、上掲のプロンプトを
添えて、更にネガティブ・プロンプトで余計な演出や動きを封じるために
turn around , leaving , Unnecessary direction , Dirty mouth movements,
Meaningless perspective shift , (2scene-sprit)+++,
(high-speed-zoomout)+++, (erotic scene)+++
を与えてもこのザマ(^^;)でした。
採用していない作例では 2 シーン分割も時折発生しました。
さらに比較を進めますが、ここで記事を変えます。
ご覧いただきありがとうございます。
(2025/01/05 執筆・2025/02/16 公開前に一部加筆)
