Talking Head Anime from a Single Image 3 で Novel AI で作った猫耳メイドを動かす
「Talking Head Anime from a Single Image 3」で「Novel AI」で作った猫耳メイドを動かしてみたので、まとめました。
1. Talking Head Anime from a Single Image 3
「Talking Head Anime from a Single Image 3」は、1枚の2Dキャラクター画像をアニメーションさせるAIモデルです。バージョン3からは、上半身もアニメーションさせることができるようになりました。
「Talking Head Anime from a Single Image 3」では、2つのデモプログラムが提供されています。
・manual_poser : GUIのスライダーで、キャラクターの顔の表情、頭の向き、体の向きを操作
・ifiacialmocap_puppeteer : iPhoneカメラに写った顔の動きから、キャラクターの顔の表情、頭と体の向きを操作
今回は、「Google Colab」でも利用可能な、「manual_poser」を試してみます。
2. 画像の条件
「Talking Head Anime from a Single Image 3」で利用する画像の条件は、次のとおりです。
・画像の解像度は 512 x 512
・キャラクターは1人のみで前向き直立
・キャラクターの手は頭より下で離れている
・キャラクターの頭は128x128で、画像上半分の中央に配置
・キャラクターに属さないピクセルは透過色 (PNG24)
3. Novel AIでの画像の生成
キャラクターは1人のみで前向き直立の画像を生成します。以下のプロンプトで生成してみました。
cute cat ear maid standing multi angle reference sheet
「Novel AI」で生成した画像を、PhotoShopで「Talking Head Anime from a Single Image 3」の画像の条件にあうように編集しました。
4. Colabでの実行
Colabでの実行手順は、次のとおりです。
(1) 「manual_poser」のノートブックを開く。
(2) 上から順番に5つのセルを実行。
以下のUIが起動します。
(2) Uploadボタンを押して、先程作成した画像をアップロード。
(3) 右のスライダーを操作してキャラクター画像に反映。
・eyebrow (眉)
・選択肢
・troubled (困った)
・angry (怒り)
・lowerd (下げ)
・raised (上げ)
・happy (ハッピー)
・serious (シリアス)
・Left (左)
・Right (右)
・Eye (目)
・選択肢
・wink (ウィンク)
・happy_wink (ハッピーウィンク)
・surprized (サプライズ)
・relaxed (リラックス)
・unimpressed (感動しない)
・raised_lower_eyelid (下まぶたを上げ)
・Left (左)
・Right (右)
・Mouse (口)
・選択肢
・aaa (あ)
・iii (い)
・uuu (う)
・eee (え)
・ooo (お)
・delta (⊿)
・lowerd_corner (口端を下げ)
・raised_corner (口端を上げ)
・smirk (ニヤニヤ)
・Value (値)
・Left (左)
・Right (右)
・Iris Shrinkage (アイリス収縮)
・Left (左)
・Right (右)
・Iris Rotation (アイリス回転)
・X-axis (X軸)
・Y-axis (Y軸)
・Head Rotation (頭回転)
・X-axis (X軸)
・Y-axis (Y軸)
・Z-axis (Z軸)
・Body Rotation (ボディ回転)
・Y-axis (Y軸)
・Z-axis (Z軸)
・Breathing (呼吸)
・Breathing (呼吸)