【Runway】映像監督になれる時代到来。家でアカデミー賞級の映像制作を実現する動画生成AIの新機能 & Midjourney 画像生成AIプロンプトまとめ。
たんなる参照機能だと思っていたら、大きな間違いでした…。
動画生成AI「Runway」の新機能、Gen-4 Referencesが想像以上にクリエイティブすぎた…!
「え、なんでもできるじゃん…。」
本当にそんなレベルの世界です。
※この note はメンバーシップ限定になります。気になる方は早めに読んでいただけると嬉しいです!
Runway Gen-4 Referencesで動画生成
まずは、かんたんに1つ動画を作ってみます。
人物とロケーション(場所)を用意
Midjourney V7で生成しました。
※素材はRunwayで生成することも可能です。


Runwayの管理画面からGen-4 Referencesに移動
CREATE > Start a session > Gen-4 References
素材をアップロード
素材には名前をつけることができます!
※デフォルトは「IMG_1」などついているため、特に考えなくても大丈夫です!
今回は、映像制作っぽくするため、
キャスト名:Sora(そら)
としました!雰囲気が高まってきました!!
もう一度いいますが、面倒ならつけなくて大丈夫ですよ!笑


登録後、 @ を入力すると、登録した画像を呼び出すことができます。
プロンプトを入力して画像を生成。
プロンプト
Show @Sora gracefully enjoying the nature of @Location.
日本語訳:@Sora が @Location の自然を優雅に楽しむ様子を映してください。

わぁ〜!
@Sora が @Location を歩いている画像が生成できましたね!!
とっても簡単!!
【Image to Video】画像から動画を生成します。
気に入った画像ができたら、あとは動画にするだけ!
各画像にある「Input for video」を押してプロンプトを入力します!
プロンプト(動画生成)
The woman walks slowly across the vast land. The handheld camera follows her from a low angle, keeping her centered in the frame throughout the scene. The breeze gently stirs the dry grass. Cinematic live-action style.
女性は、大地をゆっくりと歩いていく。手持ちカメラはローアングルから彼女を追い、シーンの中で常に女性を中心に捉え続ける。風が乾いた草をかすかに揺らす。シネマティックな実写スタイル。

完成した動画
気に入った動画を 4K で再生成してから、最後に編集で環境音を入れました!ElevenLabsで環境音を生成しましたが、本当はVeo3みたいに、Runwayで動画にあった音が生成できると良いですね。今後に期待です。
ただの参照機能で終わらなかった…!
Runway Gen-4 Referencesのクオリティーをご覧いただけたかと思いますが、「要はキャラクターを元に背景と合わせて動画作るだけでしょ」っておもていませんか?
Gen-4 Referencesの威力はそれだけじゃないんです!
というのも、Runwayは言葉の文脈の理解度がすごい。
想像をふくらませる
素材を用意:衣装用の画像

コスチュームに登録しました。
先程のSoraを呼び出します。


プロンプト
@Sora is wearing the costume from @costume_1.
日本語訳:@Sora は @costume_1 の衣装を着ている。
画像生成結果


かわいくて弱そうです。笑
作った画像をリファレンスに使う
生成した画像に @名前 をつけてリファレンスで使えるようにします。

ロケーションを変更する

Midjourney プロンプト(画像生成)
A vast, arid landscape stretches endlessly to the horizon, completely devoid of structures, people, or vegetation. The cracked, sandy terrain is scattered with stones and lightly undulating, creating subtle variations in texture. The scene is lit by warm afternoon sunlight, casting long shadows and enhancing the earthy ochre and dust tones of the land. Shot with a wide-angle lens, the image captures the raw emptiness and timeless stillness of a world reminiscent of ancient Roman landscapes, yet untouched by architecture or civilization. Everything is sharply detailed in 8K, creating a hyperrealistic and solemn visual experience.
建物や人、植物のない、乾ききった広大な大地が地平線まで続いている。地面はひび割れた砂と石がまばらに散らばる構成で、わずかに起伏しているが、基本的には平坦な地形。午後の太陽が低い位置から差し込み、長く柔らかな影が伸びる。全体の色調はオーカーや砂埃を思わせる落ち着いたトーンで統一されており、画面全体に静けさと時間の止まったような雰囲気が漂う。広角レンズで撮影され、細部まで精密に描かれた8Kのハイパーリアリズムで表現された情景。
Gen-4 Referencesで新たなシーンを生成する

プロンプト
@Sora_2 is standing in @Location_2, shown in full body from head to toe. Her feet are clearly visible, wearing armored greaves and leather sandals.
日本語訳:@Sora_2 は @Location_2 に立っており、頭から足先まで全身が写っている。足元には金属製の脚甲と革のサンダルを着用しているのがはっきりと確認できる。
完成した画像

ここからが面白い!
完成した画像ではなんだか物足りないので、キャストを追加したいと思います。
Midjourneyでエキストラを生成して、リファレンスで数を増やす!
Gen-4 Referencesにアップロード。

Gen-4 Referencesを使って先程のシーンと合わせる

Behind the woman in @Scene_1, soldiers from @extra_1 are standing randomly across the land, filling the entire background.
日本語訳:@Scene_1 の女性の背景に、@extra_1 の兵士たちが、大地を埋め尽くすようにランダムに立っている。
生成したシーン

指示どおり、画像を元にエキストラの数を増やしてくれました!
とても凄い!!想像が膨らみますね!!!
シーンを調整して完成したシーン
もう少しだけ迫力が欲しかったので、先程のシーンをリファレンスに使って、さらに調整しました。

まるで映画のワンシーンみたいになりました!
いかがでしたでしょうか!
AIだけで映像を作るリアルなイメージが湧きましたか?
楽しんでいただけたら、嬉しいです!!
実は、「Gen-4 References」の機能はこれだけじゃないんです…。
映像を作るうえで欠かせない素晴らしい機能がまだまだ…!あります!!
今回の note で紹介したかったのですが…。ここまででボリュームが大きくなったので、また次回の note で紹介いたします!
フォローしてお待ちいただけると嬉しいです!!
Midjourneyをメインに画像・映像系のAI関連のnoteを書いてます。
▼Midjourneyの新しいリファレンス機能を使ったnote
メンバーシップではメンバー限定WEBも公開しています!
Midjourney V7 / Gen-4 References を使った動画生成
次は、以下の動画の生成方法を紹介いたします。
シーン1

リアルな画像のプロンプトは以下の note に記載しています。
シーン2
背景およびモデル配置用の素材
モデルの次のシーンに利用します。


Place @Cast_1 in the position of the girl from @Scene_1. She is wearing the same outfit as in @Cast_1. Use a POV-style shot like in @Scene_1.
日本語訳:@Cast_1 の女性を @Scene_1 の女性の位置に配置する。服装は @Cast_1 と同じものを着用している。@Scene_1 のようなPOVショットにする。
生成したシーン

シーン3
3つ目のシーンを作成します。
教室の背景と人物の位置をリファレンスに使います。

プロンプト
Place @Cast_1 in the position of the girl from @Scene_2. Match the pose and body posture from @Scene_2. She is wearing the same outfit as in @Cast_1.
日本語訳:@Cast_1 の女性を @Scene_2 の女性の位置に配置する。体勢やポーズは @Scene_2 を参考にする。服装は @Cast_1 と同じものを着用している。
生成したシーン

各シーンの動画生成プロンプトと音楽生成プロンプト
まずは動画生成プロンプトからご紹介します。
ちなみに、Runway Gen 4 のプロンプトを作るうえで重要な考え方があります。
▼Runway Gen 4 の理想的なプロンプトの書き方
これに沿ったプロンプトは以下
ここから先は
よろしければサポートお願いします! いただいたサポートはクリエイターとしての活動費に使わせていただきます!
