PixaiのControlnetに色々放り込んでみる
先日の日本神話・因幡の白兎の絵で・・・
・・・と、Controlnetに絵を放り込むのが中々面白かったので、もう少し遊んでみようかと思いました。
エレファント・マン
というデヴィッド・リンチの映画がありました。
・・・いや、まったく関係のない話です。ただのゾウくん。
もう少しキャラクターっぽく、描き込んでもらおうとつっこんでみる。
輪郭線が妙に色がつくな・・・と思ったら、あ、そうそうCannyにしてました。線が太いから、面として認識しちゃうのね。
HEDに変えてみました。う～ん、あまり変わりばえしませんね。
強度を下げると顔とか全然違う解釈して変な所に口ができたりしちゃうので悩み所。
陰影はつけてくれるのでPhotoshopやGimpでアウトラインと合成なんてのも考えたのですが、サイズが変わってしまうので揃えるのが面倒なんですよね。他の画像を試しつつ、待ち時間のかかるモデルでも試してみる
意外や意外。写真向けのモデル、Pixel Real を使って変にリアルなキャラクタができあがるかと思ったら結構いい感じに陰影つけてくれます。
気に入った画像ができたら、Controlnetに差し替え、立体感が欲しい時はControlnet HedとModel Daydream、ディテールを加えたい時はCanny とModel Whimsicalなどに変えて生成を繰り返します。
元のフォルムを残したまま、ディテールが加ったんじゃないでしょうか。
ディズニー・ピクサー系のモデルを使いたいのですが、PixAIでユーザーモデルを使うと4時間とか待機時間がかかってしまうので、そういった事はローカル環境で。
星が訪ねて来た話
間違えて参考画像の方にCGをつっこむ。ほとんどプロンプトだけ。
これ、キャラクタいらないな。背景だけ合成用に欲しい。
そう思って、背景だけ生成を試してみました。
背景だけ出力
Modernbeam は背景だけで出力できるけど、Daydreamは4枚に1枚の割合でキャラクタが、Lux、Whimsical、Neverlandは指定しなくても勝手にキャラクターを出してきます。sceneryとかキーワード必要ですかね。
少し趣味の話
ちなみにこのCGはキーボード奏者のライオン・メリィさん(ex.メトロファルス、ヴァージンＶＳ、エコーユナイト、ヤプーズ)のオムニバスＣＤのジャケットにも提供した物。
この時のユニット名はバンバータ5でしたか。
この次のツアーがメリーズだったと思いますが、両方参加してたのは横川理彦さん(ex.メトロファルス、4D、P-Model)と川口義之さん(ex.渋さ知らズ、栗コーダーカルテット)。
メリーズの時は、たまの石川浩司さんとマルコシアス・バンプの佐藤研二さんという、イカ天キングの座を争ったバンドの二人が一緒に演奏するという、イカ天世代にはなかなかレアな組み合わせでした。
余談はともかく、似たようなCGもつっこんでみるのですが・・・
ロボットが描き込めない。ちょっとこれは無理がありました。
人魚姫
鉛筆での下書き画像
あ、ちょっと面白い。
画面がちょっと狭苦しいな・・・という訳で、先の記事のClipdropというサイトで画面外側をアウトペイントしてみる。
海の底を描いて欲しかったのですが、どうしても地上に出してくれるので、空を飛ぶお魚さんたち。
PixAIのDiscordでも話に出てましたが、ちょっと機能追加のアップデートの折にVAEが外れてしまったようで、色がくすんじゃってます。
VAEも付け替えできるようにして欲しいですね。
無人島
求人誌に使ったカットで、無人島で仕事を探しているというネタだったのですが、雲が建物になってしまっており、本島がそこに見えている。
ネタにならないじゃん(笑)。
それにしても、Clipdropは便利です。
月夜の来訪者
この背景の描きこみ量。手間を考えると、本当画像生成って神のようなツールですけど、アニメ調の顔は本当なじめないので、海外製のカートゥーンも色々探しているのですが。
時計が画面内に収まるように上下拡げてみました。
その他、試行錯誤
トム＆ジェリーのようにネズミ戦士とネコ盗賊。
ネズミの目を認識してくれない。
レイモンペイネっぽい絵を描こうとして。
強度1.0にすると元絵そのまんまだったので、強度を落とす。
やはりシャガールやペイネスタイルは欲しいな。
こちらもControlnetの強度1.0だと、そのまま。目玉だけぶっとんでしまってたので、強度を落として。
LoRAの強度もそうなんですけど、「このモデルとこのLoRAの組み合わせは強度がいくつで、CFGやステップはこの位がベスト」なんてポイントがあるのですが、それを見つけ出すのが中々難しいです。
ミイラの目が光ってるし、ロボットみたいになってるし。
先日、Pixaiに画像からプロンプトを抽出してくれる機能がついたのですが、「鎧を着た二人の戦士が走っている」と仲間扱いされているし。
NEC-PC98の時代、Visual Basic の前身に Quick Basic というのがあって、Nifty-serveのFGALAM、ソフトウェアギャラリー・アミューズメントの略だったかな？そこで公開していた倉庫番もどきゲームのスタート画面でした。
Nifty-serveの頃
Niftyの話が出たついで。
当時パソコン通信は電話料金とは別に、分単位で課金されていました。
今だから言える事ですが、実は一部のアクティブユーザー、ソフトウェア制作者だとかCG投稿者だとかは課金免除のフラグ貰ってたんですよね。
箝口令が敷かれていたので、ROMの人は全く知らずに何千円、下手すれば数万円の利用料金を支払っていた事と思います(汗)。
一度、オフ会の後、遠方からきたフォーラムの参加者二人が終電乗り損ねて泊まる所ないと言ってるので、家に泊めたのですが、Niftyに接続するとログイン時にフラグ立ってる人はメッセージが出るんですよね。
泊まったうちの一人がフラグの事を知らず、それを見て「あれ？家のと違う！何ですか？このメッセージは？」バレてしまいました。
コミュニティは作るだけでは人は集まりません。人が集まる所は何だかんだとサクラを使ったり、裏で人が集まる仕組みを作っているんですよね。
そんな世の中の仕組みを垣間見た時代でした。
今の時代でも、例えばTwitterのトレンド欄に常駐して世論を煽っていたハフポストが、イーロンマスクのツイッタージャパン社員の大量解雇によって、いまや話題を見かける事はおろか、名前すらもう皆忘れています。
煽りに乗せられる事なく、自分にとって本当に必要な物、行動はなんだろうか？そんな事をいつも考えるのです。