日刊 画像生成AI (2022年9月3日)
画像生成AI界は、今認識できないスピードで進化をし続けています。
DALL・E2公開、Midjourney公開、StableDiffusionがオープンソースで公開されて..進化の速度が上がり続けており、日々異常なスピードで変化しています。

そんな中、毎日時間なくて全然情報追えない..!って人のために業界変化、新表現、思考、問題、技術を毎日あらゆるメディアを調べ、まとめています。
昨日までの投稿はこちら
(いいねくれるとやる気がでます、どんどん見てくれる人増えて嬉しい。)
次の投稿はこちら
開発
NMKD Stable Diffusion GUI (windowsで簡単)登場
しばらくしたらmacでも出ると思いますね。現状のmacでのやり方は昨日紹介しました。

ただ、現状macでやると..、結構重いしPC熱くなるのであまり良くないです。AWSかGCPを検討してみましょう。僕はAWS慣れているので明日やってみます。
#stablediffusion(SD)をローカルで使いたいけど必要なグラフィックカードを買う余裕はないという方は、GCPやAWSなどのサービスを検討するといい。必要な時だけ使えばコストもそれほどかからないはず。下記図はAWSのサーバー(g4dn.xlarge)をMacからアクセスし、SDのイメージを作成したときの様子。 https://t.co/rtFrcJFi0a pic.twitter.com/EWLVESuGFf
— sangmin.eth @ChoimiraiSchool (@gijigae) August 31, 2022
Deforum Diffuson v0.3公開
Inpainting機能、Masking機能も追加されました。深度ワープアニメーションまで実装されてえぐ強くなってる。かなり強くなってきました。
3D移動もできちゃうところがすごいです。
Deforum Stable Diffusion v0.3
— deforum (@deforum_art) September 3, 2022
- Inpainting/Init Masking
- Depth Warp Animationshttps://t.co/mWNkzWtPsK
Textual inversion colab notebook
先日の号で紹介させていただいた二つの方法でやっていたのですが両方うまくいかず..だったので、少し調べたところ、textual inversionを実装したnotebookをdiscordで発見しました。僕は今テスト中です。
ERNIE-ViLG colab notebook
からあげさんがColabnotebookで使えるようにしてくださっていました。
#stablediffusion アニメ絵が得意とうわさのERNIE-ViLGバージョンのColabノートブックをGitHubにアップしました。
— からあげ (@karaage0703) September 3, 2022
プロンプトは、中国語で入力してください。
昨日の夜、作ったのですがアップ忘れてましたhttps://t.co/OvS7IEccax pic.twitter.com/e2HOUkmpJq
Grokking Stable Diffusion
「Stable Diffusionを理解する」わかりやすく機能ごとに分けられて、それぞれ説明も書かれているcolabnotebookを作った人が現れました。
New notebook: "Grokking Stable Diffusion"
— Jonathan Whitaker (@johnowhitaker) September 2, 2022
Hopefully useful for anyone looking for content that goes deeper than just how to run the model! https://t.co/O7GALcgTxX
Covering:
- The diffusion loop
- Messing with text embeddings
- img2img
- arbitrary guidance
More deets in thread 🧵 pic.twitter.com/xQ0ufu8L2Y
AI Text Prompt Generator
元のプロンプトに用意されてるいろんなOptionを追加したりすることができます。まだあまりいいね!って感じではないかな..? 今後に期待

研究
text2img→ESRGAN→img2imgで再描画→photoshop合成
数日前にもこのようなことをやってる方がいたので共有。超高解像度でディテールもある絵がこの技術を使えば可能になる。おそらくこれもしばらくしたらできるcolabnotebook出る。
前にやってる方がいたっていうのは、このtext2imghdです


Stable Diffusionからクールな画像を取得するための初級/中級ガイド
Deforum Diffusionで3D動画制作
makeitradさんの3D空間を彷徨うこの映像はすごいですね..美しすぎる。
この方よく色んなところで見かけるのでチェックしたほうがいいかもしれません。
GN #Deforum#DeforumDiffusion pic.twitter.com/CFCYPpdtWm
— makeitrad (@makeitrad1) September 3, 2022
Outpainting使用者続々
DALL·EのOutpaintingで一万円札の続きを描かせたら知らない人が2人しゃがみ込んでてビビった pic.twitter.com/Jq129rnAik
— 稲森 (@gmmsh) September 1, 2022
水のドレスの素材がほしいな~という思考からスタート
— hiko (@hiko_il) September 2, 2022
midjourneyで元素材生成(1枚目)
人物加筆、色調整(2枚目)
DALLEのOutpainting機能で横方向に拡張(3枚目)
さらに加筆調整して完成(4枚目) pic.twitter.com/Hm550qeDyI
パースがずれる問題の指摘
デッサンと同じで、全体から書かず一部だけ書いてたら気づいたらずれてる..みたいなことがAIでも起こっているようです。この辺はStable Diffusionで人間を生成したときに顔が複数出ちゃう問題がありますが、v1.5で改善されているという投稿を見かけました。タイリング問題..って名前だった気がします。なのでいずれは改善されると信じてます。
左右でパースがガタガタなのだ。これはoutpaintingの問題と言うか、SDでも今後実用化されてくる「画像を部分的にフォーカスしてAIに描写させる手法」自体の問題点なのだ。つまりフォーカスして生成する際のAIは"画像全体の構造を把握している訳ではない"のだ。だから左右のパース構造が狂う。 https://t.co/au64tagqbd
— あぶぶ@健全 (@abubu_newnanka) September 2, 2022
Boothで素材配布
もう見えてないだけで結構いそうですが、Boothで素材配布を始めた人が現れました。先週ちょっと流行っていた、Tileable texture from Stable Diffusionを使われているそうです。
Stable Diffusionで生成した「かっこいい煙エフェクト」素材をBOOTHで無料公開しました。球状の煙36点のほか、人の手で作るのが難しいシームレス素材が計42点あります 👉 https://t.co/gzJ42dHjVm #stablediffusion pic.twitter.com/QALiyjO92X
— ナカシマ723 (@nakashima723) September 2, 2022
シームレス化にはこちらのスクリプトをお借りしました。GIGAZINEで紹介されてた NMKD Stable Diffusion GUI を使ってる場合、インストールフォルダ下の Data>repo>scripts内にある「dream」というpythonファイル冒頭に差し込むといけるみたいです #stablediffusion https://t.co/wnvrb181Jw
— ナカシマ723 (@nakashima723) September 2, 2022
キャラクター4面図の生成
#stablediffusion
— あつみ (@atsumi_y) September 3, 2022
そこそこなキャラクター4面図を得られるようになった。最初はどーやりゃいいのかなあ…と思ったが、要するに適当に用意したキャラ4面図をimg2imgで与えて、prompt縛りを上げて絵の縛りを下げて生成するだけ pic.twitter.com/c4m72KC1Q5
表現
Stable Diffusion is only the beginning.
感動…。覇王みたいな映像来ましたね。画像生成AIで生成された画像を使えばこんな素晴らしい映像が作れるんですね。

ネタ画像
よく猫でやっていた表現がハムスターでも置き換えたらウケるみたいですね。
こちらAIに描かせた「宇宙の隅まで理解したハムスター」です。#stablediffusion #画像生成AI pic.twitter.com/lSjpIbRFCr
— 午後のごうちゃ【キノコ大好きLv3】 (@Gogono_Gocha) September 1, 2022
キャラクター生成自動化
5秒に1枚の速度でAIが、VTuberのデザインを考えてくれる #StableDiffusion pic.twitter.com/viF9CoBLUo
— まじかる☆しげぽん@VRoid (@m_sigepon) September 2, 2022
CEO詰め合わせ
マークザッカーバーグ、ビルゲイツ、ジェフベゾス、イーロンマスクの掛け合わせですね。Redditでも1位になって、Twitterでも伸びてます。
"Jeflon Zuckergates"#StableDiffusion #AIArt #AIArtwork #DreamStudio @StableDiffusion pic.twitter.com/OdEg0LKEAd
— Stable Diffusion Pics & DreamStudio (@DiffusionPics) September 2, 2022
深度マップ生成 + stable diffusion + AfterEffects ディスプレイスメントマップ
Generated a depth map of a #stablediffusion image with a colab and used that with a displacement map in After Effects to do a rack focus and small camera move—#aiart #ai #aiArtist #generativeart #MachineLearning #deeplearning #aiartcommunity pic.twitter.com/mUhPIOfByr
— CoffeeVectors (@CoffeeVectors) September 3, 2022
この深度マップを求めるcolab notebookです。
思想・ムーブメント
DiscordでEmadに大質問会が夜中にありました。
気づいたら始まってて本当に少ししか参加できなかったので..日刊発行者としてはミスりましたね。超大型画像生成モデルの噂、Stabler、Stablest Diffusionの噂など、あと間違って聞いてしまってたらすみません。このようなことも言われてました。「今年はボトルネックになりそうですが、来年には緩和され、再来年には10億人がこのソフトを使うようになるので、一気に普及するでしょうね。」「複雑さの限界まで圧縮すると、何ができるようになるのか、非常に驚くことになるでしょう。そして今はまだほとんど最適化されていません。できることはたくさんあるのに、私たちはそれをやっていません。コミュニティ全体に協力してもらい、何千人もの素晴らしい開発者がこの問題に取り組んでくれています。」と話されてました。
録画とかもし見つけたら次の号で書きます。
Come attend an AMA in the Developer's Lounge Discord server with @EMostaque and @AnjneyMidha!
— Stable Diffusion 🎨 - News, Art, Updates (@StableDiffusion) September 2, 2022
Ask about all things stable diffusion, img2img, discord apps and more!
Happening in 20 min!!
Discord event link → https://t.co/vsExWkcq0s
あと、今日もあります。みんなチェックだー。
Everyone, we have another AMA with @EMostaque, happening on our Discord server! 🙌
— Stable Diffusion 🎨 - News, Art, Updates (@StableDiffusion) September 3, 2022
Load up your questions! Can't wait to see you there!
Time: Today, Sept 3rd at 12pm PDT
Discord invite link → https://t.co/LpogCDxA0M
人類に残される最後の仕事
人類に残される最後の仕事は、「方向性を宣言する」「大きな物語を作る」「横断的な人々を巻き込む」「責任を取る」あたりではないかと思う。
— 深津 貴之 / THE GUILD / note.com (@fladdict) September 2, 2022
最後に
今日も特に開発の視点では大きな進歩はありませんでしたが、個人の研究や考察、表現の開発がまた進んでいます。
(この辺り情報足りてないとかありましたら、指摘してください。その部分も追って入れておきます)
Twitterに、毎日製作したアートや、最新情報、検証を載せているのでよかったらフォローしてね
https://twitter.com/Yamkaz
いいなと思ったら応援しよう!
サポートいただけると喜びます。本を読むのが好きなので、いただいたものはそこに使わせていただきます