見出し画像

配信パートナーAIシステムのインストール手順と使い方

この記事では、配信パートナーAIシステムのインストール手順と使い方についてまとめています。

本システムの概要は上記をご覧ください。
簡単に言うと、配信者やVTuberさんがオリジナルAIキャラと一緒にライブ配信できるシステムです。


インストール手順

まずはBOOTHでシステムを購入して.zipをダウンロードします。
※前提条件や仕様等を事前にご確認ください。
Windows / Mac対応。言語(日本語・英語・韓国語・簡体字・繁体字)。

.zipをダウンロードしたら展開して、SPAI Setup 2.x.x.exeを実行で進めてインストールするだけで完了します。(途中でWindowsの警告が出たら"詳細情報"を押して"実行"で問題なく進みます)

Windowsの場合

また、Macの場合もSPAI-2.x.x-arm64.dmg(Apple)またはSPAI-2.x.x.dmg(Intel)からインストールが可能となっています。

Macの場合

これでインストールした場所、またはデスクトップにアプリがあると思うのでそこから起動することができます。

システム起動時の初期画面

※SPAIはStreamer Partner / AIの略


セットアップ・設定

起動後は実際に動かすまでの設定を解説します。
画面の左上にある設定歯車アイコンからダイアログを開きましょう。

AIモデル設定

AIモデル設定

AIキャラの回答生成をするAIモデル部分と、音声を認識するモデルを選択する項目となっています。

回答生成はGPT・Gemini・Grokのいずれか1つ選択で、それぞれAPIキーというのを取得して入力すると使用できます。(複数登録もOK)

個人的には、GPT=安定、Gemini=レスポンス高速、Grok=ユニークって感じです。好きなのをお選びください。

音声認識モデル設定

次に音声認識モデルは配信者が喋った内容を認識するものとなっており、GPT・GCP・Grokから選択可能です。

GPTとGrokに関しては先ほどの応答用APIキーを入れるだけで音声認識も使い回すことが可能です。※Geminiの場合は別でAPIキーが必要。

基本的にAPIは従量課金となり、各プロバイダーの仕様や料金体系などをご覧ください。ただ、個人利用であれば基本的に安く利用できます。


キャラクター設定

キャラクター設定

AIキャラの回答に反映されるキャラクター設定となり、テキストベースで入力して保存すると、こちらをもとに振る舞ってくれます。

こちらの設定文章の参考となるテンプレート資料をリンク埋め込んでいるので、必要に応じて活用いただくとイメージが湧きやすいと思います。


ビジュアル設定

ビジュアル設定

AIキャラのビジュアル部分は「PNGTuber(画像差分4枚で瞬きと口パク)」「Diff Motion(本格的なPNGTuberツール)」「VTubeStudio(Live2D)」の選択肢があるのでお好きなスタイルで設定しましょう。

一番手軽で本システムで完結するのはPNGTuberとなっており、画像4枚を登録して保存するとメイン画面に表示されて、AIキャラのボイスに合わせてリップシンクされます。また、後述しますがSpout2 / SyphonでOBSに出力できるので綺麗にアバター部分を配信に載せることが出来ます。

Diff MotionとVTubeStudioに関してはプリセットやホットキー、仮想オーディオケーブルの出力などを設定して同期することで回答に合わせて表情やポーズ切り替えなどが可能です。


ボイス設定

ボイス設定

AIキャラのボイスに関しては、ローカルで動く「AivisSpeech」「VOICEVOX」「COEIROINK」と、クラウドで動く「ElevenLabs」「Aivis Cloud API」の5種類があります。

個人的な判断基準としては、以下の通りです。

  • AivisSpeech:GPUがあってオリジナル音声モデルを作って使いたい

  • VOICEVOX・COEIROINK:GPUがあって既存キャラボイスを手軽にそのまま使いたい

  • ElevenLabs:日本語以外。GPU無い。ボイスクローンやボイスデザインを使いたい

  • Aivis Cloud API:GPU無くてオリジナル音声モデルを使いたい。サブスクに加入しているなど。

ローカルで動くものについては予めソフトを起動しておく必要があるのと、クラウドで動くものはAPIキーが必要となります。

エンジンモードをGPUにする

また、ローカルで動くものについてはGPU版を推奨しており、設定でモードをGPUにしておきましょう(AivisSpeech・VOICEVOX)

そしてオリジナル音声モデル(自身のクローンボイスなど)を構築したい場合に関しては、以下の記事で解説しているのと、必要に応じて私の方で有償代行も可能なのでお気軽にお問い合わせいただければと思います。

また、各ツールの利用規約を確認して遵守することは前提とし、法的かつ倫理的に問題のある使用には注意するようお願いします。


システムの使い方

基本的な設定は以上となるので、実際にどのようにして配信で好きなタイミングで設定したAIキャラ音声会話ができるか解説します。

モード設定

まず前提として本システムでは「会話モード」と「継続録音」2つのモードがあります。
使い方は後述しますが、どちらもグローバルホットキーをもとに操作をするのでモード選択とそれに応じたキー設定をここでしておきましょう。

また、グローバルホットキーのため本システムのウウィンドウ縮小しておくことも可能です(配信中の画面操作は不要です)


会話モードの使い方

会話モードでは、プッシュトゥトーク形式のホットキーを押している間に話して、キーを離すとその内容がAIに送られて応答が返ってきます。

つまり、配信中に好きなタイミングで必要なだけ情報を送ることが可能なので、視聴者との交流や他の作業を邪魔せずに会話ができます。


継続録音モードの使い方

継続録音モードでは開始すると常時AIが音声を認識している状態で、ホットキーを押下するとそれまで話した内容を元に応答してくれます。

そのため配信中の内容をもとに反応が欲しい時などに最適です。


配信・OBSで使うには?

実際にOBSで配信する際に関してはビジュアルの投影と音声の出力が必要となるためその方法を解説します。

まず、ビジュアルに関してはSpout2 / Syphonによる投影が可能なので、PNGTuber(アバター)を背景透過で綺麗にOBSに表示できます。
※Spout2はGPUが必要となります。詳細は以下を参照。

Diff MotionやVTubeStudioは各ソフト側でSpout2 / Syphonを使用できるため、そちらから投影をする形となります。

次にAIの音声出力について配線周りを解説していきます。
前提としてVB-CABLEという仮想オーディオケーブルを使用するのでインストールをお願いします。

オーディオ設定

VB-CABLEをインストール出来たらオーディオ設定にて「AI音声の出力先」を「CABLE Input」にして保存します。

OBS設定

次にOBSで設定を開いて「グローバル音声デバイス」のマイク音声のどれかを「CABLE Output」にして「適用」して「OK」

音声ミキサー

音声ミキサーにCABLE Outputのマイクが追加されるので、「AI音声」など任意の分かりやすい名前にして、下のスピーカーとヘッドホンアイコンをONにすれば、AI音声がOBSに乗って聞くことができます。
※逆にこの配線になるとOBSが起動していないと音が聞こえませんので注意してください

実際の配信前には配線に限らず全体的に問題無いか一通りテストしてみてください。


さいごに

今回は配信パートナーAIシステム(v2)のインストールから設定、使い方まで一通り解説しましたがいかがだったでしょう?

v1.xに比べて全体的にシンプルで分かりやすいシステムとなり、初めて使ってみる場合や普段の利用まで使いやすくなったかと思います。

ぜひユニークな企画として、または継続的にあなただけの個性詰まったAIキャラクターと一緒に配信を楽しんでみてください!

また、合成音声モデルも含めて全体的なサポートや機能追加などのご依頼があればお問い合わせ頂ければと思います(不具合報告なども含め)

新たな配信企画・コンテンツ創出を心から応援しております。
以上、それでは👋

いいなと思ったら応援しよう!