MiniMax H3をComfyUIで始める方法③｜Reference to Video・プロンプト・高速化・トラブル対策

はじめに｜この記事について

この記事は、2026年8月11日時点の情報をもとにChatGPTで作成した、自分用の学習・検証メモです。

MiniMax H3やComfyUIは現在もアップデートが続いているため、この記事に書いてあるモデル名、ノード名、対応機能、参照素材数、推奨設定、高速化方法、ライセンスなどが今後変更される可能性があります。

また、記事内に誤りや勘違いが含まれている可能性もあります。

実際に導入・利用する場合は、MiniMax公式、ComfyUI公式、Hugging Faceなどの最新情報を必ず確認してください。

今回はReference to Video

第1回ではComfyUIをインストールし、第2回ではText to VideoとImage to Videoを使って基本的な動画生成まで進みました。

今回は、MiniMax H3のさらに面白い機能である**Reference to Video（R2V）**を中心に整理します。

さらに、Reference Image、Reference Video、Reference Audio、プロンプトの作り方、高速化、よくあるエラーについても、自分用のメモとしてまとめます。

Reference to Videoとは？

簡単に言うと、Reference to Videoは**「この画像、この動画、この音声を参考にして新しい動画を作って」**とAIに指定する方法です。

T2Vでは文章から動画を作ります。I2Vでは画像から動画を作ります。

R2Vでは、画像・動画・音声などを参考資料としてAIへ渡し、その情報をもとに新しい動画を生成します。

R2Vで何ができる？

例えば、画像1をキャラクターの顔の参考、画像2を衣装の参考、動画1を人物の動きの参考、動画2をカメラワークの参考、音声1を人物の声の参考として使う、という考え方ができます。

つまり、**「誰が」「どんな格好で」「どう動き」「どんなカメラで撮影され」「どんな声で話すのか」**という情報を、複数の素材から与えられる可能性があります。

これは単純なT2VやI2Vとはかなり違う使い方です。

キャラクターの一貫性に利用する

AI動画生成で難しいことのひとつが、キャラクターの一貫性です。

動画の途中で顔が変わる、髪型が変わる、衣装が変わる、別人のようになる、といった現象が起こることがあります。

Reference Imageを使うことで、キャラクターの顔や髪型、服装などをAIに参考資料として渡しながら生成できます。

完全に同じキャラクターを保証できるわけではありませんが、T2Vだけで「こういう女性」と文章で指定するよりも、見た目の方向性を伝えやすくなることが期待できます。

動きも参照できる

Reference Videoを使えば、人物の歩き方、走り方、ダンス、ジェスチャー、商品の回転、カメラ移動などを参考にすることができます。

例えば、「キャラクター画像＋実写の人物が走っている動画」を参考にして、同じキャラクターがその動きに近い形で走る動画を作る、といった使い方が考えられます。

別の動画をカメラワーク専用の参考として使うことも考えられます。

音声も参考にする

Reference Audioを利用できる環境では、声や話し方などの音声情報を参考に動画生成へ利用できます。

映像、動き、声をそれぞれ別の素材から参考にできるとすると、かなり面白い制作フローになります。

ただし、他人の声などを使用する場合は、権利や同意の問題にも注意する必要があります。

R2Vでは「何を参考にするのか」が重要

R2Vでは、素材をたくさん入れれば良いというわけではありません。

重要なのは、それぞれの素材のどの部分を参考にしてほしいのかを明確にすることだと思います。

例えば、「Picture 1は人物の顔と髪型」「Picture 2は服装」「Video 1は人物の動き」「Video 2はカメラワーク」「Audio 1は人物の声」というように、役割を分けます。

プロンプトにも役割を書く

参照素材を読み込むだけでなく、プロンプト側でも役割を明確にしたほうが分かりやすくなります。

例えば、「Picture 1の人物の顔と髪型を維持する。Picture 2の衣装を着用する。人物の動きはVideo 1を参考にする。カメラワークはVideo 2を参考にする。人物の声はAudio 1を参考にする。」というような考え方です。

実際のタグや書式については使用するワークフローによって異なる可能性があるため、ここも最新の公式テンプレートを確認します。

MiniMax H3のプロンプトをどう考える？

ここからは、自分がH3を使うときに迷わないよう、プロンプトの考え方を整理しておきます。

自分の場合は、**「全体シーン → 人物 → 動作 → カメラ → 時間変化 → セリフ → 環境音 → BGM」**の順番で考えると分かりやすそうです。

① 全体シーン

最初に、どこで、誰が、何をしているのかを書きます。

例えば、「夕方の東京の静かなカフェ。窓際に若い女性が座っている。暖かな夕日が店内に差し込んでいる。」というような内容です。

まず動画全体の状況をAIへ伝えます。

② 人物

次に人物の外見、服装、表情、姿勢などを書きます。

例えば、「20代の日本人女性。肩までの黒髪。ベージュのカーディガンを着ている。穏やかな表情。」というようにします。

Reference Imageを使う場合は、文章で人物を細かく説明するよりも「Reference Imageの人物を維持する」という考え方になることもありそうです。

③ 動作

人物が何をするのかを書きます。

例えば、「女性がコーヒーカップを持ち上げる。窓の外を見る。少し間を置いてゆっくりこちらを向く。」というようにします。

AI動画では動作を一度にたくさん指定すると破綻しやすいことがあるので、短い動画ではシンプルな動きのほうがよさそうです。

④ カメラ

動画生成では、カメラの指定がかなり重要です。

固定カメラ、パン、チルト、ドリーイン、ドリーアウト、トラッキングショット、クローズアップ、ミディアムショット、ワイドショットなどがあります。

英語のカメラ用語を使っても、日本語で「カメラがゆっくり人物に近づく」と書いてもよいと思います。

例えば、「カメラは女性の横顔をミディアムショットで捉える。その後、ゆっくり女性へ近づいていく。」という形です。

⑤ 時間変化

動画の場合は、時間ごとに何が起こるかを整理すると分かりやすくなります。

例えば10秒動画なら、「0〜3秒：女性が窓の外を見る」「3〜6秒：カメラがゆっくり近づく」「6〜10秒：女性がこちらを向いて話す」という形です。

こうしておくと、自分自身も完成動画をイメージしやすくなります。

⑥ セリフ

人物に話してほしい場合は、セリフを書きます。

例えば、「女性が日本語で静かに『今日はいい一日だったね』と話す。」という形です。

セリフが長すぎると動画時間内に収まらなかったり、不自然になったりする可能性があるので、最初は短めから試したほうがよさそうです。

⑦ 環境音

雨音、車の音、街のざわめき、風、鳥の声、店内の食器音など、場所に応じた環境音を書きます。

映像だけでなく、「この場所なら何が聞こえるのか」を考えると、H3らしい動画にできそうです。

⑧ BGM

必要ならBGMも書きます。

例えば、静かなジャズピアノ、アンビエント、柔らかなアコースティック音楽、エレクトロニックなどです。

映像の雰囲気とBGMを合わせることで、動画全体の印象をコントロールします。

10秒のカフェ動画プロンプト例

例えば、こんな形です。

「夕方の東京の静かなカフェ。窓際に20代の日本人女性が座っている。暖かな夕日が店内に差し込んでいる。

0〜3秒：カメラは女性の横顔をミディアムショットで捉える。女性は窓の外を見ている。

3〜6秒：カメラがゆっくり女性へ近づく。女性がゆっくりこちらを向く。

6〜10秒：女性が少し微笑み、『今日はいい一日だったね』と自然な日本語で話す。

店内には静かなジャズピアノが流れている。遠くから街の環境音が聞こえる。女性がカップをテーブルへ置く小さな音がする。」

こうした形を基本にして、生成結果を見ながら調整していくのが分かりやすそうです。

カメラを欲張りすぎない

例えば10秒の動画に「ドローンショット → 急激なズーム → パン → 360度回転 → クローズアップ → 俯瞰」と大量のカメラ指定を入れると、映像が不安定になる可能性があります。

最初は、1本の動画に1つか2つ程度のカメラ動作に絞ったほうが結果を判断しやすいと思います。

人物も最初は1人から

複数人物になると、顔の入れ替わり、腕や体の干渉、誰が話しているか分からないといった問題が起こりやすくなります。

最初は1人の人物でテストし、それが安定したら2人、複数人へと増やすほうがトラブルの原因を切り分けやすくなります。

R2Vでは別のモデルが必要になる場合がある

R2Vでは、T2VやI2Vとは異なるモデルを利用する場合があります。

そのためR2Vテンプレートを開いたときに「Model not found」などと表示されたら、T2Vで使っていたモデルだけで動かそうとせず、テンプレートが要求しているモデルを確認します。

具体的なモデル名は今後変更される可能性があるため、実際のテンプレートに表示されているモデル名と最新の配布ページを基準にするのが安全です。

高速化について

MiniMax H3はかなり重いモデルなので、生成速度は気になるところです。

高速化方法としては、量子化モデル、Attention最適化、Sage Attention、VRAM最適化など、さまざまな方法が使われることがあります。

ただし、初心者が最初から高速化へ手を出すと、ComfyUIが起動しない、CUDAエラーが出る、PyTorchのバージョンが合わない、Custom Nodeが動かない、といった別のトラブルが増える可能性があります。

最初は標準環境で1本作る

自分なら、まず公式または標準的なテンプレートで、通常設定のまま動画を1本生成します。

「MiniMax H3が正常に動く」ことを確認してから、高速化や量子化、Custom Nodeへ進みます。

こうしておけば、高速化を導入して動かなくなった場合も、原因を切り分けやすくなります。

ComfyUI ManagerとCustom Node

ComfyUIには「Custom Node」という拡張機能があります。

Photoshopでいうプラグインのようなイメージです。

標準のComfyUIにはない便利な機能を追加したり、新しいAIモデルへ対応したりできます。

ComfyUI Managerなどを利用するとCustom Nodeを追加・管理できます。

ただしCustom Nodeは外部のプログラムなので、なんでも入れるのではなく、作者、GitHub、更新状況、利用者の情報などを確認してから導入したほうが安心です。

よくあるトラブル① Model not found

モデルが見つからないエラーです。

まず確認するのは、「モデルファイルが存在するか」「正しいフォルダに入っているか」「ファイル名が途中で変わっていないか」「ComfyUIを再読み込みしたか」です。

特にモデル保存フォルダの間違いはよく起こりそうです。

よくあるトラブル② ノードが赤くなる

ワークフローを読み込んだとき、ノードが赤くなっている場合があります。

考えられる原因は、必要なCustom Nodeが入っていない、ComfyUIのバージョンが古い、モデルが不足している、ワークフロー側が新しい機能を使用している、などです。

まずテンプレートを配布しているページやComfyUI公式情報を確認します。

よくあるトラブル③ Out of Memory

「Out of Memory」や「OOM」と表示される場合は、GPUメモリ不足の可能性があります。

対策としては、解像度を下げる、動画時間を短くする、同時に開いているGPUを使用するアプリを閉じる、PhotoshopやPremiere Proなどを終了する、ブラウザタブを整理する、といった方法があります。

動画生成は画像生成よりもGPUメモリを多く使うので、最初は低解像度から試すのが重要です。

よくあるトラブル④ 生成が異常に遅い

まず確認したいのは、GPUを使用しているかどうかです。

Windows Portable版などでは、NVIDIA GPU用の起動方法とCPU用の起動方法が分かれている場合があります。

誤ってCPUで動かしていると、非常に時間がかかります。

コンソール画面に表示されるGPU情報なども確認しておくとよさそうです。

よくあるトラブル⑤ 黒い画面を閉じたら止まった

Portable版では、黒いコマンド画面でComfyUIのサーバーが動いていることがあります。

ブラウザにComfyUIが表示されていても、黒い画面を閉じるとComfyUIが停止する場合があります。

エラー画面と勘違いして閉じないようにします。

よくあるトラブル⑥ モデルダウンロードが途中で止まる

MiniMax H3のモデルは非常に大きいため、通信切断、ディスク容量不足、一時ファイル容量不足などでダウンロードが失敗する可能性があります。

ダウンロード後は「ファイルが存在している」だけでなく、想定されているファイルサイズになっているかも確認したほうが安心です。

ComfyUIを使う最大のメリット

ここまでやると、「Webサービスで動画を作ったほうが簡単なのでは？」と思うかもしれません。

実際、動画を1本だけ作るなら、Web版サービスのほうが簡単な場合があります。

でもComfyUIの面白いところは、動画生成を含めた制作工程そのものを作れることです。

例えば、「画像生成 → キャラクター調整 → 背景生成 → MiniMax H3で動画化 → アップスケール → フレーム補間 → 色調整 → 動画保存」という処理を1つのワークフローにできます。

毎回同じ手順を繰り返す制作では、かなり便利になりそうです。

デザイン制作との組み合わせ

個人的に試してみたいのは、ChatGPT、Adobe Firefly、Photoshop、ComfyUI、MiniMax H3、Premiere Proの組み合わせです。

例えば、「ChatGPTでアイデアやプロンプトを作る → FireflyやChatGPTでベース画像を生成 → Photoshopで細部を修正 → ComfyUI＋MiniMax H3で動画化 → Premiere Proでテロップや尺を調整」という流れです。

広告動画、SNS動画、コンセプトムービー、製品紹介など、デザイン部門での動画制作にもかなり応用できそうです。

ライセンスについて

ローカルでオープンモデルを利用するときは、モデルのライセンスも確認する必要があります。

特に、商用利用、クライアント案件、広告、SNS公開、再配布、サービスへの組み込みなどを行う場合は、必ず最新のライセンス全文を確認します。

オープンウェイトだからといって「何に使っても自由」という意味ではありません。

「AIで作れた」＝自由に使える、ではない

モデルのライセンスとは別に、入力した素材についての権利もあります。

人物写真、ブランドロゴ、商品、キャラクター、音源、映像、イラストなどを参照として使用する場合、それぞれに著作権、商標権、肖像権、パブリシティ権などが関係する可能性があります。

そのため実案件では、AIモデルの利用条件だけではなく、入力素材と生成結果の両方を確認する必要があります。

AI生成であることの表示について

AI生成コンテンツについては、サービスの利用規約、モデルのライセンス、利用地域、掲載媒体、企業内ガイドラインなどによって、AI生成であることの表示が必要になる場合があります。

この部分は今後もルールが変わる可能性が高いので、実際に公開する段階で最新情報を確認したほうがよさそうです。

自分用｜MiniMax H3を試すときの基本ルール

最後に、自分がMiniMax H3を試すときの基本ルールをまとめておきます。

最初は5秒程度の短い動画、低めの解像度、人物は1人、動きは1つ、カメラワークも1種類程度から始めます。

まず結果を確認し、プロンプトを修正します。

内容が良くなってから解像度や尺を上げ、最後に音声やBGMを調整します。

必要であればPremiere Proへ持っていき、テロップ、編集、カラー、音量などを仕上げます。

最初から完成動画を狙うのではなく、小さくテストして少しずつ完成度を上げるというやり方がよさそうです。

3回分を通してできるようになったこと

第1回ではComfyUIの基本とインストール、第2回ではMiniMax H3モデルの導入、Text to Video、Image to Video、第3回ではReference to Video、参照画像、参照動画、参照音声、プロンプト、高速化、エラー対策まで整理しました。

MiniMax H3は単純に「文章から動画を作る」だけのAIではなく、テキスト、画像、動画、音声などを組み合わせながら、映像、会話、効果音、環境音、音楽などを生成できる可能性を持った動画生成モデルです。

そしてComfyUIを組み合わせることで、単発のAI生成ではなく、生成AIを使った制作ワークフローそのものを構築できるところが面白いと感じています。

最後に

繰り返しになりますが、この記事は、2026年8月11日時点の情報をもとにChatGPTで作成した、自分用の学習・検証メモです。

内容には、誤り、勘違い、古い情報、今後変更される仕様などが含まれている可能性があります。

そのため、この記事を見ながら実際にComfyUIやMiniMax H3を導入する場合は、MiniMax公式、ComfyUI公式、Hugging Faceなどの最新情報も必ず確認してください。

自分自身もこの記事をベースに実際に環境を構築し、分かったことや間違っていた部分があれば、随時追記・修正していく予定です。