制作日記③-2『宝石童話』AIアニメ制作 ーViduの［リファレンス機能］がすごすぎた件
こんにちは、Kuronoです！
日曜日に投稿したショート動画について、今日はその制作あれこれをまとめてみました🎵
今回はViduのリファレンス機能を主に使って制作しましたが、今までで一番クオリティの高い仕上がりになったと思います！！✨
※ショート動画は見やすいように1:1で切り抜いて作っていますが、
全パートが作り終わったら、16:9でつなげてアップする予定です。
◆使用ツール
イラスト作成：Nano Banana
イラスト調整：CLIP STUDIO PAINT
アニメーション化：Vidu AI
AIボイス：ElevenLabs
動画編集：Filmora
◆ストーリーについて
今回の話がちょっとボリュームありそうだったので、ストーリーの話はこちらにちょっとだけまとめてます。
◆制作のひとりごと
（1）Viduの［リファレンスから動画］がすごいという話
12/7にViduでせっせとアニメーションを作っていたのですが、ちょうどそのときにKinoさんの記事で紹介されていたViduの 「リファレンス機能から動画」 を見つけて試してみることに…！！
Kinoさん、本当にありがとうございます！
以前にも試したことがあったのですが、そのときはイメージに合うものができず、「これは違うな」と感じてやめてしまっていました。
今回あらためて作り直してみても似たような結果になったので、おそらくですが、
プロンプトの書き方や画像設定がうまくなかった
リファレンスに登録した3枚のバリエーションが適切ではなかった
…このあたりが原因だと思います。
最初は、いつものように［画像から動画］でフレーム指定しながら作っていたのですが、［リファレンス機能から動画］で生成してみたところ、キャラクターの一貫性が保たれ、破綻も比較的少なく、アニメらしい動きも自然に表現されていて…
「今までの工数は何だったんだろう…！」
と思うほど、あっという間に完成してしまいました。
特に速い動きは、［画像から動画］よりもちゃんと良いものができる気がします！
（2）［リファレンス機能から動画］のアニメーション制作手順
どうやって作ったか、キャプチャ付きで簡単にまとめてみました。
①マイリファレンスの作成
NanoBananaでイラストを作成し、Viduの［マイリファレンス］で、キャラクターのリファレンスを作成します。
まだリファレンスを十分に調整しきれていないので、詳しい部分はKinoさんの記事を参考にしていただくのがおすすめです。
NanoBananaでキャラクターの三面図を作る時はSHOさんのPrompt Flow Studioを活用しています。
NanoBanana ProもLeonardo.Aiで使ったりしているのですが、とにかくクレジット消費が激しくて…😇
キャラクターの三面図を作るくらいであればNanoBananaで十分なので、今でもよく使っています。
NanoBananaでもよいイラストができるのでProを使うかどうかはケースバイケースですね…。（いろいろ試すしかない！）
時短したいので、Leonardo.AiとPrompt Flow Studioを同時に開いて、思いついたときにぱっとイラストを作るようにしています。
②リファレンスを指定してプロンプトを入力
［＋リファレンス］のところで作ったマイリファレンスが指定できるので、リファレンス名を主語にしてプロンプトを設定します。
私はだいたい日本語で入力してます。
ちゃんと理解してくれるのでありがたいです。
ピンクの花畑のシーンはアニメーションを2つ組み合わせているので、こちらのシーンは一貫性を持たせるために図1も添付しています。
図1は［＋画像］のところで入れられます。
③できたアニメーションから良いものを探す
一度に4枚生成できますが、プロンプトに不安があるときはまず1枚だけ作って、イメージに近そうであれば4枚生成を何度か繰り返しています。
ただ、「やっぱり最初のが一番よかった…」となることもしばしばです。 笑
悩みすぎるより、まずは試しに作ってみるほうが「こういう動きのほうが合いそうだな」とイメージしやすいです。
そんな感じで、作りながらプロンプトを調整していきます。
（3）作ったアニメーションとプロンプト一例
キャプチャを貼りつけただけですが、どんなプロンプトで作ったのか、もしよろしければ参考にしてみてください。
（画像クリックしたら拡大して文字見えると思います。）
《ピンクの花畑のシーン》
ピンクの花畑の最初のシーンはこちらのようにシンプルなプロンプトです。ピンクが一番きれいだなぁと思い採用！🌺
《リンゴのシーン》
上2つのどちらにしようか悩みましたが右上を採用しました！🍎
・左上：最後の顔がソルっぽくてかわいい
・右上：ステラの指をさす感じがいいけど足元が空中
（↑トリミングでごまかしました）
結構4つともよかったです✨
《海の中のシーン》
左下を採用しました！
一生懸命何かを捕まえようとしている姿がかわいいんですよね🐠
ショートでは1:1に編集してしまったので少しわかりづらいのですが、16:9だとさらに可愛さが伝わります…！
泳いでいるだけでは少し物足りなかったので、何かに視線を向ける動きもほしくなり、こちらのアニメーションも作ってみました。
魚が来るのは実際には3秒目ではないのですが、表情がとても良かったので右上を採用しました！
編集時は、最初と最後の部分はカットして流れがスムーズになるようにしています。
《青い花畑のシーン》
はじめは、
［図1］花冠を作っています。
…というプロンプト（参照画像1枚）だったのですが、カメラが動いて全然違う二人の顔に移り変わってしまったので下記のように調整しました。
［図1］花冠を作っています。カメラは移動しません。［図2］の少年と少女が作っています。花冠と手元のアップのアニメーションです。
こちらの2回目のプロンプトだと、花冠だけ位置が全然動かず違和感があったので、最終的にキャプチャのプロンプトになりました。
自然な動きの良いものができたと思います🌼
《海岸のシーン》
このシーンはすごく悩みました…。いろんなパターンを載せてます。
確かに靴脱いでって書いたけど…違う！！
裸足になってほしかっただけ…！笑 （でも靴そろえててえらい…😂）
最初から満月が見えてほしい…あとちょっと海の雰囲気が違う…。
真横からのアングルにしたら最初から月見えるかも…と思って次へ。
満月＆海のイメージはだいぶ近づいてきたけどあともうちょっと…！
あと、海の中にいない上、腰かがめてないのに水をかけ合ってるのにちょっと違和感…！
でも、トリミングすればその違和感はなくせるかも…。
月と海のイメージをもうちょっと良くしたかったので［図1］も追加。
真横もいいけど海の中入ってくれず…。
ちょっと没入感がない気がします…。
しばらくいろんな指示を入れて試したのですが、どうせ海の中に入ってくれないならアップのイメージの方が良いかもと思いプロンプト調整！
なかなか良いかも！！（ちょっと明るいけど色味調整で何とかなる！）
これが後述する（4）の海岸③です。
このプロンプトでもう一回作成し、海岸①ができました。
（4）アニメーションのつなげ方 一例
アニメーションの流れを自然にしたり、破綻を減らすために下記をやってみました。
● イラストの左右反転
● イラストの色味調整
● アニメーションの切り抜き（＝どこを使うかの選定）
● アニメーション①と③を繋げる②を［画像から動画］フレーム指定で作成
Filmora編集時は動画の最初のアップ部分だけ切り抜き（1秒未満）
他のイラストと比べちょっと明るいので色味調整。
Filmora編集時に左右反転。
（フレーム抽出は赤い矢印の部分です）
他のアニメーションと合うよう色味も調整。
アニメーションの流れは【海岸① → 海岸② → 海岸③】ですが、
制作は【海岸① → 海岸③ → 海岸②】の順番で行っています。
海岸①の最後にしたいシーン → 海岸②の最初につながる
海岸③の最初にしたいシーン → 海岸②の最後につながる
そのため、まず 海岸①と海岸③を最初に作成し、それぞれからフレームを抽出してイラストを用意しました。
そして海岸②のアニメーションは、抽出したイラストを使って 「画像から動画」でフレーム指定して作成しています。
海岸②で使用する「海岸③の最初にしたいシーン」は、元のイラストでは「左に少年ソル、右に少女ステラ」でしたが、左右反転させています。さらに、海岸③もFilmoraで編集する際に左右反転しています。
その理由は、海岸①の少年ソルが少し画面左側を見ているためです。
少女ステラを右側に置いたままの状態でアニメーションにすると、少女ステラが登場するときの少年ソルの動きが不自然に感じられました。
海岸①のイラストでは、少女ステラは少年ソルの視線の先ーやや左側にいるのに、次のシーンで右側から登場すると、少年ソルの視線とのつながりがちぐはぐに見えてしまうためです。
（とはいえ、ダイナミックな動きをさせたい場面では、あえて別方向から登場させるのがいきる場合もあるかもしれません…！）
なんて…こんなややこしいことをやっているから時間がかかるんですよね…！！笑
もっと時短できる方法もある気はするのですが、調べるより手を動かすほうが楽なので、今のところはこういう方法を駆使してやっています😇
（5）Viduの「リファレンスから動画」を使ってみて思ったこと
あくまで私の感想レベルですが、「リファレンスから動画」をいろいろ使ってみて感じたことをまとめてみました！
文章にするとわかりづらかったので箇条書きにしています。
✨いいなと思ったところ✨
● 制作フローが短縮できる！
通常の「画像から動画」では
① NanoBananaでイラスト作成 → ② Viduでアニメーション化
という流れでしたが、
「リファレンスから動画」ならキャラリファレンスさえあれば即アニメ化できる。
● 背景込みでアニメーションにしてくれるので時短＆高クオリティ。
● AIっぽさより“アニメらしさ”が出やすい。
表情も自然で魅力的（※あまり他サービスと比較はしていませんが…）
● 「画像から動画」では難しかった“速い動き”が、「リファレンスから動画」だとちゃんと表現される。
● アニメ画のカラーが鮮やかで彩度が高くキレイ。
「画像から動画」でプロンプトにズーム指定を入れると、キャラの線が太くなってAIっぽさが出ることがあるのですが、こちらの方法のほうがズーム表現がキレイ（…な気がする）
💦ここがもうちょい！と思ったところ💦
● キャラの全身アングルだと破綻が大きくなりがち。
キャラが小さく映る分、アニメーションのコマごとにブレ（破綻）が目立つ。
● キャラクターが多いと動きがうまくいかないときがある。（たぶん…）
少年が7匹くらいの狼に囲まれて戦っているシーンを作ろうとしたときに、狼をうまく動かせなかった。（別作品で検証）
● 「リファレンスから動画」は、添付した画像そのものから動き始めるわけではない。
たとえば最初の“街を駆け巡るシーン”などは、もう少し街の明かりが欲しかった。
◆さいごに
内容が盛りだくさんになってしまい、読みづらかったらすみません…😭
「Viduだけで作りきれるのかな…」という不安もあって「Sora 2」も気になっているのですが、触り始めたばかりで、まだうまく使いこなせていなくて…。
なので、しばらくは「Vidu」メインで頑張ってみようと思っています。
（プランもアルティメットにしたので元を取らねば…笑）
［リファレンス機能］はとても良い反面、まだ苦手な部分もありそうなので、これからもアニメ制作を続けながら、少しずつ検証していきたいです！
まとめてみると、自分でも「うまく整理できているかな…？」と気になってしまうのですが、情報をまとめる難しさにもあらためて気づき、良い勉強になりました。
また、これまでは作ったものをそのまま切り取って投稿していましたが、ショート動画として出すなら、もう少し工夫できることがあるかも…？といろいろ考え中です。
まだ自分のスタイルが定まっていませんが、これからも、のんびり楽しく続けていきたいと思います！！
◆関連記事◆