Stable Diffusion メモ(2): 絵の描けない人がimg2imgでいろいろやる
昨日の続き。
やはり構図を決めるにはimg2imgや、と思い立つ
promptとキャンバス縦横比とかで構図のコントロールに挑戦したけど、いやこりゃ無理だわやっぱ構図を自分で決めるならimg2imgでいろいろ指定してやらないといかんのだろな、ということでimg2imgを導入する。
導入
導入方法は各所で上がっていますが、自分は↓のコードをコピペして、
↓ のコードを参考に実行をしました。
Hな方々は↓を(トラバ含めて)参照し、safety_checkerを切りましょう。変更箇所はStableDiffusionPipelineとほとんど同じです。
絵が描けないので
img2img(1): 全身立ち絵
絵を用意しよう、なんだけどどう用意するか。
まず思いついたのはポーズ集。
こちらのサイトからお借りしました。
これを食わせればこのポーズにあった絵が出るようになるのかな? 実行してみましょう(以下すべて、promptは前回記事と同じ)
結果
いやなんか思ってたんと違うなぁ…
strength=0.8なので元の絵を結構無視するのはいいとしても、これは元絵が素描と近いので素描っぽいもんが出力されたということなんかな
うーむ、これはこれでおもしろいんだけど求めているのはコレではないぞ、ウーム困った…
白いのがダメなんだろか、そしたら色を塗ってみるとまた違うかな?
素材集のポーズ画像に色を塗って
とりあえずmspaintで塗りまして…
ってこれ、使わせてもらったものにこんな適当さで大変申し訳ありません…
さてコレで strength=0.8で実行すると…
結果
おおっこれ意外と結構いけるんじゃないの
strength=0.8なので元絵の構図から大きく変わることがあるものの、さっきの無色のときにくらべたらまだ元絵に合わせてくれてる方だと思う
顔が崩れる絵が多くなるのはどうもキャンバスの面積に比べて顔の面積が小さい場合は崩れやすいらしく、twitter等で報告多数。うーん、じゃあ今度は顔が大きめの画像でやってみましょうか
img2img(2): クローズアップ
今度はこちらのサイトからお借りしました。
また色を塗りまして…
…素材をまったく生かせず大変申し訳ありません… で実行をします
結果
おおっこれもなかなか
一部その発想はなかった的なものもありますが、手がなくなりがちということを除けば顔の傾きを含めてわりと元絵を尊重いただいております。顔の崩れはそこそこあるものの、やはり元絵の顔が大きいと破綻を来すような大きな崩れは少なくなってくる様子。
元絵なしでやる
txt2img->img2img(1)
しかし自分のほしい構図がいつも素材集にあるとは限らないし、そもそもどんな構図がグッとくるのか自分でもよくわからないことがある。その場合はいっぺんpromptのみを指定してtxt2imgで実行、出力結果を眺めてグッと来たものをブラッシュアップすればよいのではと思い立つ。
前回の記事で出力した横長の画像の中からこれがグッと来たとして、
ちょっと左肘の出っ張りはいらないなぁということでまたmspaintで消して、
コレを元絵としてimg2imgを実行すると(prompt は元絵と同じ(前回記事参照)、strength=0.5)
結果
strength=0.5だとどれも元絵の構図に合わせてきますね。サムネイルだとパッと見で見分けがつかない程度に…
気に入る絵が出るまでガチャしまくれば、納品前の修正依頼が多すぎる発注者もニッコリだったりするんですかね……
しかし背景含めて全体が変わってしまうのは不都合が出できそう、画像の指定箇所のみ再度描き直すなんてことができるとたいへん便利になりますなぁ… Photoshopとかで切り抜いてやればうまくいったりするんだろうか?
txt2img->img2img(2)
出力した結果ちょっとクローズアップしたい/引きたい場合も
これを
こうして
それでimg2imgにかけると(prompt は元絵と同じ、strength=0.5)
結果
元絵も同じpromptで出力しているからか、ほとんど崩れないですねぇ… 安心して当たり画像が出るまで300連ガチャとかできます(?)
img2img->img2img
そしたら素材集からimg2imgで生成した画像も再度img2imgをかけると…
小さい顔の場合でも当たりが出るまでウン百連とガチャを回せばいいのが出るかもしれないけど、まぁ現実的ではないでしょうな… 現時点では自分で顔の部分だけでも手直しするのが手っ取り早いのでしょう、だがしかし、それが無理だから自分はこうやってこねくり回しているわけですけれども……
続き
