見出し画像

【悪用厳禁】ついに「Wan2.1 FusionX ControlNet」が解禁!あなたの推しキャラが踊り出す!AIが動きを完全再現する「モーションコピー」の全手順と、設定済みファイルをお渡しします。

どうも皆さん!駐車スペースに一発で完璧に収まった時の、心の中でのガッツポーズが止まりません、 葉加瀬あい(ハカセアイ) です!

今回のNote記事の内容は 「YouTube動画版」 でも見れますので、こちらからどうぞ!

今回ご紹介する内容

今回は、現在世界中で注目されている最先端のAI動画生成技術「WAN」「VACE」「FusionX」を組み合わせた「WAN 2.1 Fusion X Base Model」を使って、

驚くほど高品質な動画を超高速で生成する方法について、分かりやすく解説していきます!

1本の動画と1枚の画像から、参照画像のキャラクターが動画と全く同じ動きをする新しい映像が作れる ので本当に面白いですよ!  

この技術を使えば、皆さんが描いたオリジナルキャラクターをプロのアクションシーンで動かしたり、思い出の動画の主役を好きなキャラクターに入れ替えたりと、商用の動画生成AIサービス以上にクリエイティブの限界がなくなります!

しかも、これだけの高機能ながら、 オープンソース として開発が進んでいるため、誰もが無料でその力を体験できるんです!

ということで今回お話しする内容はこんな感じです!

  • ① 「WAN 2.1 Fusion X Base Model」とは何か?世界中の開発者が集うオープンソースコミュニティが生み出した”全部乗せ”最強モデルの真髄に迫る!

  • ② 超カンタン!ComfyUIを使ったAI動画生成の基本操作を徹底解説!複雑に見えても操作は3ステップ、AIが自動でプロンプト考案&ファイルダウンロードもワンクリックで完結。

  • ③ 長尺動画も思いのまま!「無限拡張」テクニックやプロンプト生成GPT、動画のテイストを変える秘訣まで、AI動画生成を極める応用術を大公開!

それと、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォローYouTubeのチャンネル登録 もお願いします!

https://note.com/ai_hakase  

なお、 全体公開バージョン は動画のレンダリングが終了し次第、こちらのリンクからアクセスできるので、よかったら見てみてください!

それでは、本日もよろしくお願いします!


AI動画生成の魔法!核となる技術たちをご紹介!

それでは、今回お話しする技術についてなんですけれど、冒頭でもお話しした通り、最先端のAI動画生成を実現する「 WAN 」「 VACE 」「 FusionX 」といった技術を組み合わせることで、動画版のControlNetによる高速生成などが行えるんです!

魔法の仕組みを支える技術たち!

それでは、一つずつ詳しく見ていきましょう!

WAN (ByteDance)の魅力に迫る!

  • WAN(ByteDance) は、この素晴らしい技術群の基盤となるモデルシリーズなんです!こちらも、かなり有名ですよね!特に最新版の`WAN 2.1`は、動画の一貫性や品質において、とっても高い評価を得ているんです!

もし、ピンと来ないなぁ⋯という方がいらっしゃいましたら、こちらのYouTube動画もぜひご覧になってみてください!

VACEで動きを自在に!

そして、次に登場するのは VACE です!

簡単に言えば、動画生成に欠かせないControlNetやキーフレームの技術を実現する優れものなんです!

動画を参照してその通りに動かしたり、スタート、中間、ラストの画像をそれぞれ指定して、そのチェックポイントごとに動画をつなげてくれるといったことも可能になります!

こちらもYouTubeで詳しく解説していますので、ぜひチェックしてみてください!

FusionX!全部乗せの最強モデル!

少し他のnote記事やYouTube動画と内容が重なってしまうのですが、 FusionX についてもご紹介させてください!

  • FusionX は、`WAN 2.1`をベースに、`CausVid`(自然な動き)、`AccVideo`(時間的な一貫性)、`MoviiGen1.1`(映画的な品質)といった複数の研究グレードモデルを統合(マージ)した、いわば「 全部乗せ 」の最強モデルなんです!オープンソースでありながら、商用サービスに匹敵するほどのクオリティを実現してくれるんです!

先ほども少しお話ししましたが、本当に高速で、しかもとっても美しい動画が生成できる、まさに必須必見のツールなんです!詳細はこちらでご確認ください!

そして、これら3つの素晴らしい技術が組み合わさったものが、まさに!こちらの WAN 2.1 Fusion X Base Model なんです!

Self Forcingで更なる高速化!

一応、これに組み合わせて細かいところなども補足すると、LoRAとか Self Forcing という、AIが動画を生成する際に、直前に生成したフレームを次のフレーム生成の参考にすることで、高速かつ滑らかな動画を生み出す画期的な手法もあるんですけど⋯。

今回は少し話が脱線してしまいそうなので、もしご要望があれば、また別の機会にじっくり解説させてください!

はい!それから、開発元とかについては、すでにこちらのYouTube動画やNote記事でもお話しさせていただきましたが、

基本的には特定の巨大企業が開発したものではないんです。

冒頭でもお話しした通り、世界中の才能ある開発者たちが集う、 オープンソースコミュニティ によって推進されているんですね!

つまりは、複数の最先端AI技術が連携し合う 「エコシステム(生態系)」 によって成り立っているというわけなんですけども、`vrgamedevgirl84`氏や`Kajai`氏、そして`QuantStack`氏といった多くの開発者さんたちが、モデルを公開したり改良してくださったりしているおかげで、私たちがこの技術を使えるようになっているというわけなんです!

やはり、コミュニティ全体で知識を共有できるのは、 オープンソースモデル の大きな強みですね!

Phantomで動画に新たな息吹を!

しかも、この柔軟性のおかげで、他のモデルや技術も組み合わせることが可能なんです!

例えば、 Phantom という技術を組み合わせると、バックとか人間を指定して、それらの参照画像を動画に登場させることができるんです!まさに大注目の、とんでもない技術になっています!

実際の使い方を詳しく解説!

はい、ということで基本的なところはここまでにして、次は実際の使い方について詳しく触れていきたいと思います!

ComfyUIで動画生成を始めよう

今回ご紹介する WAN 2.1_14B_FusionX_VACE なんですけれども、基本的には ComfyUI というノードベースのUIで使っていきます!

こんな感じでノードというものを自由につなぎ替えるだけで、自分だけのオリジナルの動画生成AIワークフローを構築できたりするものですね⋯!
このツール自体はオープンソースですので 無料で使える んです!

ただ、実際の私が作ったワークフローはこんな感じなんですけど⋯ただちょっとこれ見ただけだとすごい難しそうだなって感じる方とかもしかしたら多いかもしれません!

でも心配しないでください!こんな感じで いじるところはたった3つ です!

動画と画像を1枚ずつ選んで、簡単な日本語の指示を入力するだけでOKなようにしています!

たったそれだけでAIが勝手にプロンプトを考えてくれたり、画像や動画の自動リサイズなどを行ってくれたりして、冒頭でお見せしたような動きのトレースなんかができちゃいます!  

あとは本当はclip modelとかVAEとかLoRAとか、いろんなちょっとめんどくさいファイルのダウンロードがあるんですけど、そこも ワンクリックで自動化している のでご安心ください!

環境選択:ローカルかクラウドか

一応、ComfyUIについては、ローカルかクラウドで動かすのが良いと思っているんですけど⋯クラウド環境の方がみんな動かす環境が一緒でエラー対応とかしやすいので、一応私は Paperspace というクラウドサービスを使っていきます!

ローカルから動かしたい方はこちらの Stability Matrix からComfyUIをインストールして使ってみてください!たったワンクリックでインストールできます!

https://github.com/LykosAI/StabilityMatrix

ただ⋯PCあまり詳しくないとかで、私の公式LINEとかでサポートとかを受けたい方は クラウド環境を使っていただきたい です!

https://page.line.me/708jsecs

PC知識がなくても大丈夫!簡単インストール!

それでそのクラウド環境なんですけれども、こんな感じでPaperspace上で使えるノートブックというものを使用して、 ワンクリックでComfyUIをインストール していくようにしているので、PC知識ない人でも安心してください!

毎度おなじみなんですけど、こちらノートブックを実行して公開URLを押してあげれば⋯

たったそれだけでこちらの画面に切り替わります!

ぜひ自動化して楽をしながら 最先端の動画生成を体験 してみてください!

ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」の入門者さん限定でやっていきたいと思います!

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください!

ということで、「あいらぼ(Ai-Lab)」入門者の皆さん、お待たせしました!早速、続きをやっていきましょう!

ワークフローの詳細解説と配布

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います!

Paperspaceでの環境構築手順

まずPaperspaceから利用される方はこちらで解説している内容を元にやっていきます!

GrowthプランとProプラン
余裕のある人はGrowthプランを選んでいただくのがおすすめなんですけど⋯月額1000円ちょっとぐらいのProプラン用の動かし方の説明もきちんと挟んでいきます!

ローカルの人はワークフローの配布まで飛ばしてもらって大丈夫です!

ここから先は

6,030字 / 50画像 / 2ファイル

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ:記事|動画|ComfyUI ワークフロープラン

¥1,980 / 月
あと6人募集中

🐾あいらぼ:記事|動画|WF プラン(質問・サポート付き)

¥4,980 / 月
あと9人募集中

この記事が気に入ったらチップで応援してみませんか?