【制作記録】Seedanceで3分半の会話劇を作ったら、もうAI任せでは完成しなかった
AIレシピドラマ『遺言レシピ』の新エピソード02「豪華なやつ」が、ようやく完成しました。20カットくらいで構成。かなり多いし長い。今回だけよ。
今回は家族が母の余命を知らされる、シリーズ全体の起点となる回です。
母が倒れ、救急搬送される。
一度は元気そうな姿を見て安心するものの、翌日、父だけが検査結果を聞く。
その後、父は姉弟に、
「今日はなんか豪華なもんでも食え」
と言います。
豪華な御膳が届き、姉弟が箸を持った直後、父から母の余命を告げられる。三人は互いの顔を見られないまま、それぞれ違う方向を向いて泣く。
今回は、そんな家族の一日を約3分半の映像にしました。
①Seedanceは、会話劇との相性がかなり良い
今回改めて感じたのは、Seedanceは人物同士の会話をかなり自然に処理してくれるということです。
特に、A、B、Cの三人が短いセリフを順番に話す場面。
カット割りを細かく指定していなくても、
・話している人物の顔アップ
・相手のリアクション
・次の話者への切り替え
・最後に全体へ戻る
といった編集を、自動で組んでくれることがあります。
父が姉弟の向かい側へ座り、
「お前たち、今日はなんか豪華なもんでも食え」
と言う場面では、Seedanceが自動的に、
父の着席
→父のクローズアップ
→姉のリアクション
→弟のリアクション
→父へ戻る
→愛想笑いが消え、視線を落とす
というカットを生成してくれました。
神カットや…。
こちらが細かく演出を指定したわけではありません。
話者と感情の変化をモデル側が判断して、ドラマとして成立するように編集したように見えます。
これは、かなり驚きました。
②キャラクターシートの＠指定が秀逸
今回も人物の一貫性にはSeedanceのキャラクターシート参照をいつものごとく使っています。
＠指定でキャラクターを呼び出せるため、顔年齢服装髪型人物同士の区別を保ったまま、複数の場面を制作しやすい。
さらに、同じ顔と同じ服装を使っていると、声も比較的近いものが出る傾向があることがわかった。
完全に同じ声ではありませんが、連続して聞いても大きな違和感が出ないケースが多いイメージ。声って意外とごまかせる！？
将来的には、キャラクターシートと同じ感覚で使える声の参照機能も登場するのではないかと思っています。
顔、服、声、演技まで固定できるようになれば、AI連続ドラマの制作環境は一気に変わりそう。
③Seedanceなぜ、その簡単な漢字を間違えるのか？
一方で、今回最も苦労したのはセリフ。
Seedanceは、演技や声の感情表現はものすごく良い。
んが、しかし！！
え？なんで、そこで間違える？
仕方なく漢字を「ひらがな」にしても間違う。
簡単な漢字を、突然読み間違える。
この件でだいぶクセがわかったよ、Seedanceさん。。
今回も「病人」という言葉が安定しなかったため、プロンプトでは、
びょうにん
と、ひらがなで記述しました。
それでも失敗したけど。
難しい言葉ではなくても、読みが不安定な場合は、最初からひらがなにした方が早い説ありますが「びょうにん」でも間違ってきた。。。
びょうじん、、てなんやねん。。。
クレジット返して…
諦めて「病気」と言うワードに切り替え。
さよならマイクレジット。。
演技セリフが完璧なのに、1か所の単語一つの読み間違いで生成し直しになる。
AI映像制作らしい、なんとも惜しい失敗。
最後の方なんてもうクレジットが勿体ないからイレブンラボズで一部のセリフだけボイス生成して無理やりボイスを突っ込んで繋ぐという荒業。
わかる人にはわかるやも。
しかしこのボイスで救うやり方は意外と良いかもしれないｗ
④15秒の会話を平面にしない
Seedanceでは15秒前後のカットを多く使いました。
ただ、人物を同じ構図のまま話させると、15秒でも意外と長く感じます。
そこで今回は、会話のテンポをかなり意識。
話者が変わるたびに、
正面、横顔、相手側からのリバースショット、手元、料理のインサート
を入れ、画面に小さな変化を作っていきます。
セリフの内容が良くても、画面が止まったままだと視聴者は離れます。
逆に、カメラが動きすぎると家族の日常らしさが消える。
絶妙調整。難しい。
今回は、派手なカット割りではなく、視線と話者が変わるタイミングだけ画面も変えることを意識。
⑤BGMとナレーションは感情を二倍速で運んでくれる
今回、BGMとナレーションの役割も改めて実感しました。
無音の会話劇は、リアルではあります。
んが、しかし、3分を超えるドラマを完全な無音で見せると、視聴者側にもかなりの集中力が必要です。
感情を伝えるまでに時間がかかり、映像の耐久性も下がる。
そこへ薄いBGMとナレーションを入れると、映像が伝えようとしている感情を、体感で二倍ほど早く視聴者へ運んでくれます。無音とBGMありだと全く見え方が違うから驚くよね。
⑥AIに「リアルな泣き方」をさせる
今回、最も演出に時間を使ったのが泣く場面です。
泣く演技は、感情が伝わりやすい反面、少しでも大げさになると一気に作り物っぽくなります。
そこで三人の泣き方をすべて変えました。
弟は、窓の外を見ながら大きく崩れる。
姉は、料理を見下ろしたまま静かに涙を流す。
父は、下を向いて耐えようとするものの、途中から嗚咽が漏れる。
誰も互いの顔を見ません。
実際の記憶でも、三人は別々の方向を向いて泣いていました。
顔を見たら、さらに崩れてしまいそうだったのだと思います。
ただ「泣いている人物」を三つ並べるのではなく、
・視線
・呼吸
・肩の動き
・涙の拭い方
・感情を我慢する強さ
を人物ごとに変えました。
泣き叫ばせるより、泣くのを止めようとして止められない方が、人間の感情としてリアルに見えます。
⑦GPT Image 2は現在最高レベルで優秀だけど、複数人物と空間制御にまだ苦戦する
静止画の起点画像には、GPT Image 2も使用しました。
一人の人物や広告ビジュアルを作る場合は、非常に強いです。
ただし今回のように、
・父、姉、弟の三人
・料理の位置
・食卓の座席
・窓の方向
・店内の仕切り
・カメラの位置
を同時に管理する場面では、まだ不安定さがあります。
一度生成して、修正指示を入れても改善しない場合は、粘らずにこちらで回収します。
具体的には、GPT Image 2で世界観と大まかな画を作り、人物配置や空間の修正はNano Bananaで行いました。
GPT Image 2で何度も同じ修正を試すより、
一度出す→修正する→ダメなら別モデルへ移す
という運用の方が早い。
⑧Nano Bananaは安定して画像出しが強い。ただし参照指定が惜しい
Nano Bananaは、複数人物の修正や、既存画像を維持したまま部分的に変更する作業では相変わらず優秀です。
一方で、Seedanceのような＠参照方式がありません。
そのため、添付画像1の男性のような書き方ではなく、
・チェック柄のシャツを着た64歳男性
・長い黒髪の27歳女性
・紺色の服を着た20歳男性
というように、見た目で参照画像を特定する必要があります。
これが地味に面倒です。
人物参照の精度は高いのに、呼び出し方だけが原始的。
早く＠参照方式にしてほしい。
相変わらず、優秀なのにこういうところはアホバナナです。
⑨AIドラマは、モデル任せでは完成しない
今回の制作で改めて感じたのは、AIモデルが優秀になっても、ドラマは自動では完成しないということ。
Seedanceは、演技も声もカット割りも非常に良い。
しかし、
どのセリフを残すか
どのタイミングで画面を切り替えるか
どの人物をアップにするか
どこでBGMを止めるか
どの泣き方がその人物らしいか
は、人間が判断する必要があります。
AIは、こちらが考えた演出を驚くほど高い精度で実現してくれます。
ただし、何を見せ、何を見せないかを決めるのは、今も作り手の仕事です。『遺言レシピ』は、派手な事件が次々に起きるドラマではありません。
料理を作り、失敗し、家族で笑い、病院へ行く。
その普通の日常が、後から振り返ると遺言だったと気づく物語。
今回の回を起点に、次からは少し明るい家族の料理回へ進みます。
次回は、料理初心者の姉が作る出汁の入っていない味噌汁。
弟「いや、出汁は？」
姉「……だし？」
ここから『遺言レシピ』本来のフォーマットもとい明るく楽しいレシピドラマが、少しずつ動き始めます！今回はちょっと悲しいお話。3分。
追伸：今回の制作費は1万円弱（泣）。
今後は480P生成＋アップスケール運用も検討します。
毎話この制作費では、家族より先に作者の財布が余命宣告されるので、どこかでコスト最適化しないといけません（笑）。
今回長いから2話分くらいの制作コストだったからなぁーーー。
とはいえ、ここまで作ったからにはまず5話。
数字を見ながら、ちゃんと育てていきます。