【ラフ画から原画生成】絵コンテ一気読み with ChatGPT-4o（総括）

生成AIを使って、個人ベースのアニメ作りで遊んでいます。
課題の人物構図のコマの原画生成では、ChatGPT-4oが元画像に近く仕上げが丁寧でした。

これで６８コマ作くろうかと思いきや、ChatGPT-4o の画像解析能力が高いことから、将来の目標とする絵コンテをそのまま与えて画像を仕上げられないかと思い、４コマまとめて１枚丸ごと画像生成させてみました。

ChatGPT-4oはしっかりコマを認識して、それぞれを絵にできました。今、これができるのはChatGPTだけかと思います。
しかし、どうしても漫画として認識したいらしく、コマ数とアスペクト比を指定してもコマ割が変わったり、後半のコマが切れたりしました。
そこで、出力形式を右側に状況や台詞を入れた元の絵コンテ形式を指示したところ、サイズ的には合うようになりました。（文字認識は今ひとつ。絵の中のすき焼きは文字はプロンプトで指定。）

ただ、画面が小さくなったせいか品質は下がったようです。また、油断するとコマをいじりたがります。（形式やコマ数を指示したのですが😥）

複数コマの同時生成は、コマ番号を誤ったり人物が混ざったりと、AIも指示解釈が混乱することがあります。また、いわゆる４コマ漫画風に描きたがるのも、プロンプトの工夫がまだ足りないのでしょう。現状では結局１コマずつ生成する方が精度は良いと思います。

取り敢えず、解像度の品質と画像生成の効率の両立を狙い、横型で田の字配置の画像生成を出力の形式に指定することにしました。

一発では思い通りの絵にならないですが、４コマを一気に指示を追加して繰り返すと、どこかのコマは良い絵になることがあるので、生成の回数を減らす効果はありそうです。また、コマ間の人物の一貫性は取りやすいです。

ChatGPT-4o は、入力した絵コンテから画像を読み取って解釈し、画像生成用のプロンプトも出力できるので、Image to Image でも一度絵を解釈してプロンプトにした後に、そのプロンプトから画像を生成しているようです。

一応、課題コマを含む３つのページも一気読みで出力してみました。（何度か、追加指示をしています。）

カラー漫画を作るのであれば、この品質でも行けそうな気がしますが、アニメ化を考えるとやはり１コマずつ精度を上げたくなります。

しかし、近い将来は絵コンテ丸ごとアニメ化も、全く夢ではないという兆しを感じることができました。更には、漫画一冊読み込ませて映画を作るなんてことも有り得るでしょう。

生成AIの映像における大手戦略では、Google と OpenAI とで異なるスタンスであるように見えます。Whisk や Flow で映画生成のUI含めた改革を狙うGoogleに対して、画像の解析という点で一歩先を行っている OpenAI には、絵コンテインタフェースの実現に取り組んでもらえたら大変面白いと思います。絵コンテは過去の遺産もたくさんあり、教師学習にも向いているのではないでしょうか。