【創作絵日記】Sora 2 の衝撃（絵コンテからアニメ生成）

以前、絵コンテのラフ画から原画を生成できないかと、実験を行いました。
その時、画像の構造を一番忠実に再現できたのは ChatGPT-4oで、その流れでラフ画だけではなく絵コンテそのものを読み込ませてみました。

あれから3カ月が経って、Nano banana の登場で ChatGPT-4o に勝るのではないかと思い、同じように絵コンテを読み込ませていたところに、Sora 2 の衝撃的な登場で、急転直下早速 絵コンテを読み込ませてみました。

粗さはあるにせよ、正直腰を抜かしました！！
６月に記事を書いた時には、Open AI の絵の文脈理解の技術で、１年後には絵コンテからアニメを作れるようになるのでは、と大胆予想を書いたのが４カ月実現されてしまいました。

おそらく、画像の添付の仕方や構造化プロンプトによって、更に意図に近いアニメになるかと思いますが、まんま絵コンテを読み込ませて一言の指示で、絵コンテ内の文字認識をし、環境音やアフレコまでできてしまうなんて。しかも、演技は完璧！😲😲😲

まだ、動画間のキャラクターや背景、声の一貫性の問題はありますが、動画長が５分とかに延ばすのは、生成時間（とお金）さえ許せば今の技術のままできるんじゃないでしょうか。

長年培ってきた絵コンテ文化があるのだから、AIの絵コンテ読解力もさらに向上することを期待します。

Nano banana による絵コンテ読み込み

なんか、今更感がありますが、一応当初目論んだ Nano banana による絵コンテ読み込みの原画化もやりました。

流石 Nano banana！ キャラクターの一貫性は、最初に与えた画像を忠実に継続していて完璧です。（カットは結構矛盾ありますが）

これと、Sora 2 が組み合わさったら、本当に絵コンテからアニメがポン出しできてしまうかも❤️❤️

＃余談ですが、タイトル画像は Nano banana に描いてもらいました。