OpenAI Codex とSeedance 2.0 を駆使した映像コンテンツを公開／今回の制作方法を詳しく解説しました
まずは、以下の動画をご覧ください。
先日公開したAIドラマ（エピソード1）のBehind the scenesです。ドラマ制作の舞台裏を出演者が紹介をするメイキング映像ですね。
再生時間：6分21秒
環境：OpenAI Codex
動画生成:Seedance 2.0／画像生成:Nano Banana Pro/2, OpenAI Image 2
音楽生成：Suno
自分が思い描いた「実写表現」をほぼそのままカタチにすることができました。Seedance 2.0 の性能をある程度引き出すことができたと思っています。
前回の記事でも書きましたが、エピソード1は、動画生成AIを3年以上使い続けて、「初めて」自分の思いどおりに制作できた動画コンテンツです。
そして、今回のBehind the scenes（エピソード1の舞台裏の映像）は、さらに自分の意図を反映することに成功しています。
今回は、「新たな映像制作の一歩」として、実験的な手法に挑戦しています。
Seedance 2.0は、物理シミュレーターでも、未来予測AIでもありませんが、動画・画像・音声・テキストを統合して学習し、運動、演出、物語、参照一貫性をかなり高いレベルで結合できます。
つまり、クリエイターが「この10秒後に何か起こるか想像して」と投げたとき、プロンプトの曖昧さを映像的に成立する次の展開へ変換することが可能です。
Seedance 2.0の得意領域は、モデルに任せて、画像に含まれる「次の行動の種」をプロンプトで少しだけ強調します。
例えば、格闘なら「相手の重心が右に崩れている」「拳を引き絞っている」「カメラは反撃の瞬間を追う」などを入れます。ドラマなら、「彼女は何かを隠している視線を送る」「沈黙の後、相手が一歩近づく」といった演技を指示します。
Seedance 2.0は、そこから10秒分の動作・芝居・カメラをかなりうまく補完してくれます。
このアプローチは、「物理的に自然な動作」や「視覚的な因果関係（パンチ→倒れる、歩く→景色が変わる）」の予測には極めて強力です。
一方で、Nano Banana Pro/2やOpenAI Image 2などの「画像生成AI＋LLM」の組み合わせが得意とするような、「10秒後に、予想外のジョークや複雑な心理的伏線が回収される」といった高度に論理的・文学的なストーリー展開の予測においては、物理シミュレーションの範疇を超えます。
用途によって「意味的推論」と「物理的推論」を使い分けることが重要になります。
具体的に解説します。
格闘シーン
「構えた相手にパンチを放ち、相手がよろめき、壁際に崩れる」は、Seedance 2.0に任せてよい領域です。
ここでクリエーターが明示すべきなのは、「誰が攻撃するか」「どこに当たるか」「結果はダウンか回避か」「感情は怒りか焦りか」くらいです。
細かい重心移動や服の揺れ、反射的なのけぞりはAIモデルに任せた方が自然になりやすい。
ただし、「最初のパンチはわざと外し、壁の照明を壊して相手のトラウマを誘発し、その心理的隙を利用して第二撃につなげる」というレベルになると、もはや物理ではなく意味設計です。
ここはSeedance 2.0に想像させるのではなく、ビートとして分解しないと崩れます。つまり、詳細なプロンプト指示が必要になります。
歩くシーン
「人物が歩く→景色が流れる→目的地が近づく」は任せることができます。
特別な意味を持たない歩き（移動）、Bロールなどは、詳細な指示より、AIモデルに任せた方が良い結果を得られます。
ただし、「歩きながら、店の看板を見た瞬間に幼少期の伏線を連想し、その直後の表情が後の裏切りの予兆になる」は、視覚的連続性だけではなく文脈制御がいるので、表情の意味と挿入すべき視覚要素を明示しなければいけません。詳細なプロンプト指示が必要です。
ジョーク
「何か予想外のジョークを入れて」ではうまくいきません。
「予想外」は人間にはイメージ可能な概念でも、モデル側には曖昧です。
少なくとも、セットアップ・トリガー・オチ・リアクションの4点を指示しなければいけません。
たとえば、「深刻な会話中、背後の自販機が誤作動して缶が連続で落ち、二人が沈黙してから同時に振り向く」のように、見える原因と見える結果に落とし込む必要があります。そうすれば、物理反応の部分だけ、Seedance 2.0に委ねられます。
Seedance 2.0に任せるのは「見れば続きが分かる未来」、クリエーターが決めるのは「知らなければ続きが分からない未来」です。
前者は物理・運動・視覚連続性で、後者は論理・心理・文学的意味です。
この境界で切ると、過剰記述による硬直化も、丸投げによる意味崩壊も避けやすくなります。
OpenAI Codexに任せる作業
シーン案を「意味的推論」と「物理的推論」に分解
たとえば、「ひかりが敵の攻撃を避け、10秒後に予想外のジョークで場の空気を変える」というシーンなら、どこまでがSeedanceに任せられる物理連続性で、どこからが人間が固定すべき意味設計なのかを分類させます。
分類結果からSeedance 2.0用のプロンプトを生成
「モデル版」「ハイブリッド版」「完全固定版」の3種類を作らせ、挙動を比較します。
生成結果をログ化
どのプロンプトで、どの部分が成功し、どの部分が崩れたのかをMarkdownで記録します。運用ノウハウが蓄積することができます。
過去ログから「成功パターン」と「失敗パターン」を抽出
ここが最も重要です。Codexは、単発のプロンプト作成よりも、ファイル群を読みながらルール化する作業に向いています。
フォルダ構成（一例です）：
プロンプト、シーン設計、生成ログ、評価基準を分けます。
AI_Drama_Tools/
AGENTS.md
README.md
prompts/
seedance2/
future_prediction/
physical_continuation.md
semantic_reveal.md
hybrid_scene.md
comedy_timing.md
fight_scene.md
scene_cards/
Hikari_Natural_Musou/
scene_001.md
scene_002.md
generation_logs/
2026-05/
2026-05-08_fight_future_test.md
2026-05-08_comedy_reveal_test.md
evaluation/
rubrics/
physical_reasoning_score.md
semantic_reasoning_score.md
prompt_failure_patterns.md
tools/
count_prompt_length.py
summarize_generation_logs.py
AGENTS.md（一例です）
# AI_Drama_Tools Project Instructions
このフォルダは、AIドラマ「ひかりの天然無双」および「COLORS - Posthuman Protocol」の制作に使う、Seedance 2.0向けプロンプト研究・管理フォルダです。
## 基本方針
Seedance 2.0には、画面内の物理的・視覚的連続性を任せる。
ただし、伏線回収、ジョークのオチ、心理的反転、複雑な意味設計は、必ずプロンプト内で明示する。
## 分類ルール
以下は「物理的推論」として扱う。
- パンチから相手がよろめく
- 歩行に合わせて背景が変化する
- 視線が動く
- 重心が崩れる
- カメラが被写体を追う
- 衣服や髪が動作に合わせて揺れる
以下は「意味的推論」として扱う。
- 予想外のジョーク
- 伏線回収
- 裏切りの示唆
- 心理的駆け引き
- 隠された情報の開示
- 物語上の皮肉
- キャラクター同士の関係性の変化
## プロンプト作成ルール
1. まずシーンを「意味イベント」と「物理イベント」に分解する。
2. 意味イベントは明示的に書く。
3. 物理イベントは過剰に細かく書きすぎず、Seedance 2.0に自然補完させる。
4. 否定プロンプトは避ける。
5. 生成時間に対してイベントを詰め込みすぎない。
6. セリフがある場合は、話者、表情、前後の間を明記する。
7. 最終出力は、英語版と日本語版の両方を作る。
8. 3,500字以内に収める必要がある場合は、文字数を確認する。
## 完了条件
出力には以下を含める。
- シーン分解
- Seedanceに任せる部分
- プロンプトで固定する部分
- Seedance 2.0用プロンプト英語版
- Seedance 2.0用プロンプト日本語版
- 想定される失敗
- 改善案Codexに入力するプロンプト
このフォルダは、Seedance 2.0向けのAIドラマ制作プロンプト管理フォルダです。
次のシーン案を読み込み、以下の手順で整理してください。
#シーン案
ひかりが敵の攻撃をかわす。10秒後、敵は勝ったと思って笑うが、ひかりが一言ジョークを言い、敵の背後で装置が誤作動して形勢が逆転する。
#実行内容
1. このシーンを「物理的推論」と「意味的推論」に分解してください。
2. Seedance 2.0に任せてよい部分を抽出してください。
3. プロンプトで明示しないと崩れる部分を抽出してください。
4. Seedance 2.0用のプロンプトを3種類作ってください。
- 物理連続性を重視する版
- 意味イベントを固定する版
- 両方のバランスを取る版
5. 英語版と日本語版を作ってください。
6. 各プロンプトについて、想定される失敗と改善方針を書いてください。
7. 結果を prompts/seedance2/future_prediction/scene_001.md に保存してください。生成後のログ
# Generation Log
## Prompt
prompts/seedance2/future_prediction/scene_001.md
## Result
- ひかりの回避動作は自然だった。
- 敵の笑いは出たが、ジョークの意味が伝わらなかった。
- 装置の誤作動は発生したが、形勢逆転として見えなかった。
- カメラは良いが、最後の間が短い。
## Evaluation
Physical reasoning: 4/5
Semantic reasoning: 2/5
Comedy timing: 2/5
Character consistency: 4/5
## Next Fix
ジョークの内容と、装置誤作動が敵に不利に働く因果を明示する。generation_logs/2026-05/ にあるログを読み、失敗原因を分類してください。
分類軸は以下です。
- 物理的推論の失敗
- 意味的推論の失敗
- セリフ・話者の失敗
- カメラ・編集テンポの失敗
- キャラクター一貫性の失敗
- 参照画像の扱いの失敗
その後、prompts/seedance2/future_prediction/scene_001.md を改善し、改訂版を作ってください。
元のプロンプトは残し、v2として保存してください。大まかな流れ
ChatGPTでシーンの方向性を考える
Codexにシーンを分解させる
CodexにSeedance 2.0用プロンプトを3案作らせる
Seedance 2.0で生成する
結果をgeneration_logsに記録する
Codexにログを読ませて失敗原因を分類させる
Codexにv2プロンプトを作らせる
成功パターンをAGENTS.mdやrubricに反映する
CodexやClaude Codeは編集アシスタント
ドラマ制作には、監督、脚本家、編集者、美術、制作進行、記録係がいます。Codexは、その中でも特に、
制作進行
記録係
資料整理係
プロンプト管理係
失敗ログを読む助手
に近い存在です。
従来の生成AIの作業は、1回ごとの生成結果がログとして残りませんでした。
良かった理由も、失敗した理由も、プロンプトの差分も、時間が経つと忘れてしまいます。
Codexを使うと容易に記録できます。
この表現はSeedance 2.0に任せてよい
この心理描写はプロンプトで固定しないと崩れる
このセリフ量だと入れ替わりやすい
このカメラ指定は効いた
この否定表現は効かなかった
このような知見を、制作フォルダの中に残せます。
そして、分析することができます。
CodexやClaude Codeは、エンジニア向けに作られた道具ですが、クリエーターにとっては「制作ノートを育てるAI助手」として活用できます。
画像生成や動画生成は、毎回の試行錯誤が散らかりやすい。Codexを使うと、プロンプト、失敗、改善案、テンプレートをフォルダの中に残すことができ、それは将来の資産（分析データ）になります。
自分だけの制作ノウハウに変えていくための道具だと捉えてよいと思います。
いつでもClaude Codeに移行できるように
注意すべきは、特定のモデルに依存した強固なノウハウです。
これは、あっという間に陳腐化していきます。
モデルが変わっても、継続可能な「資産」にしていく必要があります。
Claude Code 最高！
数週間後：Codexの方がいいぞ！ 乗り換えだ！
数週間後：Claude Code の制限が大幅緩和されたぞ！ 乗り換えだ！
数週間後：おっと、Codex の利用量が10倍になった、これはすごい！
いつでも「引っ越し」できる状態を維持しながら、生成AI環境を使いこなしていくことが重要です。
どの時代でも、過渡期に起こってきたことなので、まだしばらくは波乗りのように機敏に進めていくしかありません。
関連マガジン：
更新日：2026年5月8日（金）／公開日：2026年5月8日（金）