見出し画像

【Pollo AI初心者向け】日本語崩れを回避せよ カギは短いプロンプトにあり

現在、Pollo AIとのコラボで動画コンテストのイベントが2件あります。

ナオユキさんの好き動画コンテスト 6/11まで!

PolloAI✖️しろねんコンテスト 6/10まで!

私はすでに応募が終わったので、お気楽極楽ですw

そんな気分で、他の方の作品を見ていて、あることに気付いたのです。


1️⃣気付き

ふむふむ、みなさん、動画を作成していて文字崩れが多いと。AIで画像とか生成するとよくありますよね。特に日本語。

「私も作成した時、日本語崩れたから、英語の短いフレーズにしたなー」
と思っていたところ、何かに引っ掛かり、自問自答が始まります。

※動画を作成した時の記事はこちら⬇️

🍤脳内会議

しげちーA:
あれ?
Canvaでは日本語が崩れたけど、そもそも自分はPollo AIでは日本語を試してないのでは?

しげちーB:
しかも、崩れたのはルーン文字もどきだけ。あれがAIの演出だと仮定すると、私は文字が崩れていない。この違いは何でてりな?
何かデジャブの感覚が・・・。

しげちーA:
あ、Pollo AIもAI。コンテキストウインドウとアテンションとリソースのあれか!

つまり、情報過多でAIが処理しきれずに文字が崩れているのではと推測を立てます。
🐟Sakana Chatにも確認すると、他にも要素があるとのこと。

モデル:日本語対応やテキスト描画に強いモデルかどうかで、文字の安定性が大きく変わります。

プロンプト:英語で書く・テキスト表示を明確に指示する・過剰な指示を避けることで、崩れにくくなります。

言語特性:英語は比較的安定、日本語(特に漢字)は崩れやすいという学習データの偏りがあります。

そこで、プロンプトを削る検証をスタートします。
え?クレジットが勿体無い??
大丈夫、まだ500クレジット以上残ってます。
私の好きな検証ですよ?
検証が優先に決まってるじゃないですかw!


2️⃣検証

🍤キャラシートと絵コンテから動画作成

まずは基本手順から試します。
キャラシートと絵コンテから作成。プロンプトにはラストカットのメッセージとして、「私のnoteのページへようこそ。歓迎します。」も入ってます。

キャラシートからてりなが飛び出すし、謎の言語w
可愛いからって騙されてはいけません!

🍤プロンプトはそのままで、画像を開始カットのみに変更

絵コンテのインプット情報を削ぎ落とし、プロンプトで最終メッセージ「〜〜ようこそ」を指定してみます。

ラストカットのセリフ、なんでそんなに短いのw?

🍤プロンプトを短く

🐟Sakana Chatが長い英語のプロンプトを作ってくれたのですが、バッサリカットw
日本語で1.5行くらいの短いプロンプトに。

中国語と日本語のミックス?
少し近づいた??

🍤最終カットの日本語を削る

日本語処理に難があるので、フレーズを短く指定。
「ようこそ」だけならどうでしょう?

惜しい!
「よりこそ」とはw
そして、ダンスが盆踊りww

🍤最終カットを画像で指示する

「リファレンスから動画作成」で最初と最後のカットを画像で登録。
文字として認識して処理落ちしないよう、画像として取り扱わせます。あくまでデザインのごとく、AIを騙しますw

超惜しい!
ファーストカットの文字が消えた!!
あと一歩なので再作成⬇️

KITA core!!
やりましたよ、みなさん!
これは全米も泣ける😭


📌まとめ

日本語をAI動画に入れたい場合は、以下の点に注意することで、文字が崩れる可能性を下げることができるようです。

  • 複雑な動きや処理と、メッセージ演出を同時にさせない。後で別処理で繋ぎ合わせる。

  • 日本語はデザインの一部に近い処理にする。AIに文字認識させない。

  • 別ソフトで日本語は後入れ。

Pollo AIでもAIなんだから、✨Geminiとかと同じ考え方をすれば良かったんですよね。

🍤日本語が崩れなかったレシピ

① ファーストカットの画像ラストカットの画像を準備します。

② PolloAIで「リファレンスから動画へ」を選択し、好みのAIモデルを選択。①の2枚の画像をセット。

③ 下のプロンプトを入力。

[image1] から開始。少しダンスを踊って、 [image2] の最終カットに繋がる動画を作成してください。


いかがでしたか?
ほら、動画作成も面白そうでしょ?
あなたもやってみたくなってませんか?
まだなんとか間に合うので、今からでも挑戦してみては?
クレジットももらえますよ。
あなたのnoteの記事もレベルアップしますよ!!

※仕事の行き帰りで、超特急で検証と記事の作成したので、ちょっと雑かも💦
頑張ったでしょ?誰か褒めてくださいw

いいなと思ったら応援しよう!