完成版 How to build an environment of ComfyUI on Windows Ⅱ
序
今回は…下記事の続きになりますが、やや趣向を変えて...というか、前回よりもやや特化した需要に対する内容の記事になっています。
前回は、完全に0ベースからComfyUI環境を構築し、更に私が作成した「IC-Light Ver.Ⅰ」を稼働させる為の手順について解説しましたが、今回は、いつも私が記述するように、私自身がサポートメンバーの一人になっているAI開発グループ「ControlAltAI」が作成した超絶高難度ワークフロー、「IC Light Ver.Ⅱ」を導入する手順について解説していきます。
今回は前回と異なり、jsonの公開はしません。
Ver.Ⅰに関しては、私自身が動画を見て自力で構築出来ましたが、Ver.Ⅱは難易度が高すぎて…というよりも手間が壮絶にかかりすぎて自力で再現できなかったからです。
今回の記事は、ControlAltAIのサポートメンバーを対象に、jsonファイルはメンバー特典を自身でダウンロードしていただく前提で解説していきます。
メンバー特典でjsonは手に入るのに、何で解説記事なんか作るんだ…と
思われるかもしれませんが、これまた以前書いていますが、ControlAltAIが組むjsonは複雑すぎて、完成しているjsonを配布してもらったサポートメンバーでさえプログラムの完走まで辿り着けず、脱落者が続出する…事態になっているからです。
私も、ControlAltAIが組んだjsonを何とか頑張って完走させよう...と試行錯誤した事で、ComfyUIに対する習熟度を上げていった…経緯がある訳ですが、ここで一つ、その実例を再現してみようという訳です。
ここでは上の前回記事迄は環境を構築している…という前提で、記述を進めていきます。
ollamaをインストールする
このIC-Light Ver.ⅡではComfyUIとは別に、LLMをローカル環境で使用する為の「ollama」というアプリケーションと、適切なLLMモデルをダウンロードしておく必要がある。
まずは、その手順について解説する。
ollama用アプリケーションをインストールする
以下のサイトから、Windows用インストーラーをダウンロードして、インストールを実行する。
インストールに際して、特に留意すべきことはない。
モデルをダウンロードする
アプリケーションをインストールした後、下図のように、検索ワードに「llama3.2」と入力し、「llama3.2-vision」のページを開く。
次に下図のように、表示されているコマンドをコピーする。
次に下図のように、powershellを開き、コマンド文を張り付け実行する。下図の場合、既にモデルがダウンロードされている為、即座にモデルが展開しているが、初回実行の場合はここでモデルのダウンロードが行われる。
次に下図のように、何かしらのメッセージを入力した時に、返答が返ってくれば、ollamaの設定は完了しているのでpowershellは閉じる。
ControlAltAI_product_relightの設定を行う
Missing nodesをインストールする
ControlAltAIがこのプロジェクトで配布している3個のjsonの内、ControlAltAI_product_relightをロードすると、いきなり下図のようにMissing nodesが表示される。
ComfyUI ManagerからMissing nodesのインストールを行っていくが、その方法については前回記事で解説しているので、ここでは繰り返さない。
しかし、この時点では再起動しても下図のように、一部のノードがエラーを起こして正常にロードされない。
実は、このノードは何と公式で配布されているバージョンが正常に動作しない…という欠陥品であり、下図のようにControlAltAIはメンバー向けに改良版を配布しているので、それをダウンロードして解凍し、custom_nodesdフォルダに保存する必要がある。
このノードを保存後に再度ComfyUIを起動すれば、下図のように全てのノードが正常にロードされている筈である。
エラーメッセージへの対処を行う
一見、この状態ではComfyUIはすべて正常に動作しているように見える…のだが、ちょっと待って欲しい。
コマンドラインを全て精査していった時、下図のようにいくつかの問題が起きていることに気づく必要がある。
上段は明確にエラーであり、下段はエラーではないにしても警告である。この件に限らず、ComfyUIにおいてはUI上は正常に見えてもバックグラウンドで何らかの問題が起きていることが多々あり、
何かしらのCustom Nodesを追加した後にこの手の問題は起きやすく、ユーザーはUIだけではなく、常にこのコマンドラインを注視する必要がある。
まず上段のエラーであるが、これはComfyUIにおいて多発するエラーであり、下記事内の「ComfyUI_LayerStyle」で対処を解説している。
上記事で解説はしているが、ここでは対処の実例を図説しておこう。
まず、下図のようにpowershellを起動し、インストールパスにルートを移しておく。
実行するコマンドは以下の3つである。一つずつ実行する事。
python_embeded/python.exe -s -m pip uninstall -y opencv-python opencv-python-headless opencv-contrib-python-headless opencv-contrib-python
python_embeded/python.exe -s -m pip install opencv-python opencv-python-headless opencv-contrib-python-headless
python_embeded/python.exe -s -m pip install opencv-contrib-pythonこの3行を実行した後にComfyUIを再起動すると、下図のように当該エラーメッセージが消えている筈である。
ffmpegのインストールと設定を行う
次に、ffmpegに関する警告に対処していく。これは要するに動画関係の問題になるのだが、後々ComfyUIで動画を扱うことを想定した時、ffmpeg形式は扱えるようになっておいたほうが良いので、ここで対処しておく。
まず、以下のサイトからffmpeg-git-full.7zをダウンロードして解凍し、任意のフォルダに保存する。私の場合は、"C:\Program Files\ffmpeg"というフォルダを作成して保存している。
次に、下図のように環境変数に追加していく。このウインドウの開き方は前回記事で解説しているので繰り返さない。まず、下図のようにユーザー環境変数のPathにカーソルを合わせて編集をクリックする。
次に下図のように、新規をクリックした後ffmpegのインストールパスを追記して、保存して閉じる。
次に、"\ComfyUI\custom_nodes\pr-was-node-suite-comfyui-47064894"フォルダ内の、was_suite_config.jsonを下図のようにエディタで展開する。
次に下図のように、ffmpegファイルを設置したパスを記述し、保存して閉じる。
次にComfyUIを起動した時、下図のようにffmpegを設置したパスをロードできていれば、設定は正しく完了している。
本体と背景画像をロードする
これでようやくワークフローそのものの設定に移行できるが、まず下図のように、本体画像と背景画像をロードする。
BiRefNet用モデルをダウンロードする
まず、下図のようにmodeslフォルダ内にBiRefNetフォルダを作成する。
モデルは、以下の全てをダウンロードする。
前回記事のように、必ずしもComfyUI Managerからモデルを入手できるとは限らない。ここで躓いてしまうユーザーもいるが、要するに「自分で拡張機能について調べて、自力でモデルの配布場所を見つける」という作業が必要になるのである。
今回は私が以下、配布場所を紹介しているが、必ずしも常にこのような情報が(しかも日本語で)存在する訳ではない。ComfyUIの場合、必要な情報を「自力で見つける」「自分で解決する」、更には「英語乃至中国語を読む」能力がより高く要求される。
ダウンロード完了後、下図のようにプルダウンメニューからダウンロードしたモデルを選択する。
SD1.5ベースモデルを設定する
次に下図のように、SD1.5用のベースモデルを設定する。前回記事でダウンロードしたモデルを使えばよい。
IC-Light用モデルを設定する
次に下図のように、IC-Light用モデルを設定する。モデルは以下からダウンロードする。保存場所は、Ver.Ⅰと同じである。
IP-Adapte用モデルを設定する
次に下図のように、IP-Adapter用モデルを設定する。この点も前回記事同様である。
ollamaの設定を確認する
次に下図のように、ollamaの2か所のノードで、正しくllama3.2-visionがロードされていることを確認する。ここまで正しく設定が行われていれば、自動的にロードされている筈である。
画像を生成する
これで全ての設定は完了である。画像の生成を実行すると、下図のように光彩処理を加えた画像が生成される。
