動画生成AIのDzineで対話型リップシンク動画を作ってみた🎙️✨
こんにちは！土日バイブコーダーのEricaです。😊
普段はシステムエンジニアとしてコードを書きつつ、週末はAIツールをいじり倒す生活を送っています。私が特に情熱を注いでいるのがリップシンク動画。キャラクターが音声に合わせて口を動かす、あの魔法のような動画です。
これまでも色々なツールを試してきましたが、私の究極の理想は、男女が自然にポッドキャストをしている風景をAIだけで完結させること。
今回は、巷で話題の動画生成AIであるDzine（デザイン）を使って、その理想にどこまで近づけるか挑戦した記録をお届けします。
🎙️ なぜ対話型動画にこだわるのか
これまでもリップシンク動画自体は作ってきました。しかし、二人の人物が会話するシーンを作るには、実はかなりの力技が必要だったんです。
シーンに合った背景画像を作る
Geminiで台本を作りVOICEPEAKで音声化、会話音声をSpeakerSplitで男女別のトラックに分ける
男性のリップシンク動画をHeyGenで作り、背景を消して配置する
女性のリップシンク動画をHeyGenで作り、背景を消して配置する
動画編集ソフト（Filmora）で編集する
……正直、週末の趣味としては結構ハードです（笑）。 それに、別々に書き出した動画を合成すると、どうしても同じ空間にいる感じが薄れてしまうんですよね。影の入り方や視線の動きが、どこかバラバラに見えてしまう。
そこで、今回リサーチしていたのがKling 3.0とElevenLabs V3です。 Kling 3.0はマルチスピーカーダイアログ（複数人対話）への対応が期待されていますし、ElevenLabs V3は日本語のイントネーションが驚くほど自然になっています。
そんな中、海外のコミュニティでDzineというツールが非常に高い評価を得ているのを見つけました。 これなら、私がやりたかった自然な対話が一枚の画像から生成できるのでは？ そう思い、期待に胸を膨ませてアカウントを作成しました。
🛠️ 今回の制作フロー（ロードマップ）
YouTubeや既存の記事を参考に、今回は以下の4ステップで進めることにしました。
ベースイメージ作成（Gemini / Nanobanana Pro） ポッドキャストスタジオの核となる高画質画像を作ります。
台本作成（Gemini） noteの下書きをベースに、自然な掛け合いのスクリプトを生成します。
音声生成（ElevenLabs V3） 最新モデルを使い、感情豊かな男女の音声を書き出します。（今回は以前作ったVOICEPEAKの音声を使用）
動画生成（Dzine） 画像と音声を統合して映像にしてもらいます。
🎨 Step 1：英語学習を兼ねたプロンプト作成
私は普段、英語学習 x AI活用をテーマに発信しているので、AIに投げるプロンプトも英語で作成します。ただ翻訳ソフトを使うのではなく、なるべく音声入力（今回はSuper Whisper）を使って、スピーキングの練習を兼ねるのが私流です。
まずはGemini（Nanobanana Pro）を使って、ベースとなるスタジオ風景を作ります。
プロンプト： I'm making a podcast video with a man and a woman on Dzine, so please create a podcast studio-style background and create the attached image of a large horizontal sofa with the man sitting on the left and the woman on the right in high resolution (1920 x 1080px, 16:9).
最初はソファが小さすぎたり、二人の距離が近すぎたりして、なかなか理想の構図になりませんでした。そこで追加の指示を出します。
The sofa should be a two-seater, and the man and woman should be larger and sitting a little farther apart.
AIとのやり取りは、まるでカメラマンに指示を出している監督のような気分で楽しいですね。もう少し男性を大きくして！後ろのロゴを変えて！と粘り強く調整した結果、Erica and Kenny’s Podcastというロゴが入った完璧なベース画像が完成しました。
🎬 Step 2：Dzineでの作業と課金の壁
いよいよメインディッシュ、Dzineの出番です。 インターフェースは非常にモダンで分かりやすく、Lip Syncというメニューを選ぶだけで作業が始まります。
ベース画像をアップロード
話者（Speaker）の指定
以前VOICEPEAKで作った音声ファイルを話者毎にアップロード
ここでDzineの凄いところは、画像内のどの顔がどの音声に対応するかを個別に選べる点です。今回は対話なので、男性の顔と女性の顔、それぞれに対応するトラックを指定します。
よし、あとはGenerate（生成）ボタンを押すだけだ！
と思ったその時、画面が止まりました。 Googleアカウントで無料ログインした際の所持クレジットは50。 対して、この動画生成に必要なコストは……720クレジット！
有料にしても月に3000クレジット！
あ、これ、本気でやるなら大人の対応が必要なやつだ……と悟りました（笑）。 無料お試しでちょこっと遊ぶレベルではなく、本格的な映像制作ツールとしての価格設定なんですね。 でも、これまでの合成の手間や、Klingのモデルが使えるメリットを考えれば安いもの。という訳で、ついうっかり課金していました。💸
⏳ Step 3：AIの待ち時間は1〜2時間！？
生成ボタンを押すと、驚きのメッセージが表示されました。
「Waiting for 1-2h」
最初、自分の目を疑いました。1〜2分（minutes）の間違いじゃないかと。 でも、本当にhoursでした。
HeyGenのような有名なツールだと、人物の口元だけを切り取って加工するので数分で終わります。
しかしDzine（特にKlingモデルなどを使う場合）は、口元だけでなく、話している時の体の揺れや背景のライティングまで、画像全体を再計算して一貫性を持たせようとしているようです。
発言している時にもう一人も顔や手を動かしたりしているので、それは大変な処理をしていると想像できます。
これは映画のレンダリングを待つようなものだ、と自分に言い聞かせ、その間に他の作業（夕飯の準備）をして待つことにしました。約1時間後、通知が来て完成した動画を確認してみると……。
音が小さいとのご指摘をいただきただいま作り直し中です。できたら入れ替えしますので、またのお越しをお待ちしております！
🎉 完成！そこに人がいるという感覚
出来上がった動画を見て、鳥肌が立ちました。 これまでの合成リップシンクとは、明らかに次元が違います。
・空間の一貫性：二人が同じライティングの中にいて、会話のテンポに合わせて微細な肩の動きや視線の変化があります。
・リップシンクの精度：流暢な日本語と、口の動きが完璧にシンクロしています。
・リアリティ：合成しましたという違和感がなく、まるで本当にカメラで撮ったポッドキャストを観ているような感覚です。
🌟 最後に：AIクリエイティブの未来
今回の実験で感じたのは、AI動画制作はパーツの組み合わせから、空間の統合へ進化しているということです。
これまでは背景、人、声をバラバラに作って、人間が一生懸命繋ぎ合わせていました。 しかしDzineのようなツールを使えば、AIがこの空間でこの二人が話しているという状況そのものを理解して出力してくれます。
もちろん、クレジットが高かったり、待ち時間が長かったりと、まだハードルはあります。 でも、たった一年前には不自然な口の動きで笑っていた私たちが、今や1時間のレンダリング待ちを経験している。この進化のスピードには、ワクワクを通り越して畏怖すら感じますね。
今後の工夫としては、背景のディスプレイかホワイトボードなんかにスライドを表示したり、会話と連動させたり、もっと複雑な身振り手振りを入れてみたりしたいと考えています。
今日の記事が、動画生成AIに興味がある方の参考になれば嬉しいです。 対話型動画、自分も作ってみたい！と思った方は、ぜひ挑戦してみてください。
この記事が気に入ったら、スキ＆フォローをしていただけると、週末の制作の励みになります！(笑) 💃
それでは、また次回のAI活用レポートでお会いしましょう！ 土日バイブコーダー、Ericaでした！👋
Special Thanks & Reference:
・開始手順の参考：レベルマ【生成AI情報発信】さん
詳しい手順でありがたく教えていただきました。
・リップシンク技術の参考：The Zinny Studioさん
アニメ調ですが、とても参考になりました。
【追加予定】
あまりにも面白かったので、調子に乗って縦型のショート動画用（9:16）を作っているところです。
ただいま「Waiting for 2-3h」制作時間が２～３時間と表示されています。
音声はElevenlabs V3で作り、SpeakerSplitで男声トラック、女声トラックに分けて、Dzineでレンダリング？中です。出来上がったらこちらに貼り付けます！
なんかそれっぽいモノが出来ました！
男女の音声の分離に失敗（これはSpeakerSplitが失敗しているのを見過ごしていた）していますが、ちょうど2時間かかりました。
時間はかかるけれどもポッドキャスト版のベースイメージを作っておけば、あとは音声を用意するだけでポッドキャスト動画が沢山作れるということですね！
※音が小さいとのご指摘をいただきただいま作り直し中です。できたら入れ替えしますので、またのお越しをお待ちしております！
こちらで作り直しました。
ご拝読、ご視聴ありがとうございました！
いいなと思ったら応援しよう！
ぜひ応援お願いします！活動費にあてていい記事をつくっていきます！コメントも大歓迎！