ControlNet、Latent Couple extensionなどなどチェックしておきたい最近の動向

やることが…やることが多すぎる…（画像略）

ここ一週間で、WebUIで使えるEXTENSIONやら新技術やら色々と出てきました。

マージモデルやLORAもドンドン新しいものが出てくるので、なかなか追い切れませんね。

CONVもまだキャッチアップできていないのですが、このへんは近いうちに試したいと思っているものをいくつか紹介してみます。

▼ControlNet

sd-webui-controlnet をインストールしてみた話

↑　追記：試してみました！これは良いですね。

入力画像の構造などを維持したまま画像を生成できるというものです。

「このポーズを取らせたい」という時に指定ポーズを作り、キャラクターがそのポーズを取った状態の画像を生成できます。

https://github.com/lllyasviel/ControlNet

これのためにクリスタやBlendarを使って3Dモデルを作っているという方も見かけました。勉強することが多すぎます…。

だだぱんさんの解説記事。

https://note.com/ddpn08/n/n7fce838499e7

こちらも入門的な解説記事。

https://self-development.info/pix2pix%e3%81%ab%e3%82%88%e3%82%8b%e7%94%bb%e5%83%8f%e7%94%9f%e6%88%90%e3%81%8c%e3%81%a7%e3%81%8d%e3%82%8bcontrolnet%e3%81%ae%e3%82%a4%e3%83%b3%e3%82%b9%e3%83%88%e3%83%bc%e3%83%ab/

こういう技術、いつかは来るだろうと思っていたのですが、予想より早かったですね。2/10に ControlNetの論文が発表された後、その3日後にはWebUIで使えるようになってしまったというスピード感。早すぎる…。

更にこういう形でマージモデルにすることもできるとか（未検証）

BlenderからControlNet向けのポーズ画像を出力できるアドオンをリリースしました
複数アーマチュア出力やアニメーションのための連番出力なども可能ですhttps://t.co/ClqQxdJvPA https://t.co/0lY5GwCMpk #b3d #blender #stablediffusion #aiart pic.twitter.com/7KhpOXZ2DG
— トニモノ (@toni_nimono) February 14, 2023

Blendarを併用してこんな事をやっている方もいらっしゃいました。

にゃは！

lllyasviel氏のcontrol_sd15の5.71GBから
extract_controlnet.pyで"control_model."部分だけ
抜いた結果のextracted modelshttps://t.co/V6k2Y4PzMu

これを好きな1.5系モデルとmergeするとControlNetのマージモデルが作れるｗ
tool_transfer_control.pyだと毎回5.71GB+SD15読み込んで重い pic.twitter.com/4sU1DdbSwS
— forasteran (@forasteran) February 15, 2023

▼Latent Couple extension (two shot diffusion port)

1つの画像に複数のキャラを登場させる際、キャラの要素を混ぜずにそれぞれ描画することができます。（今までは、複数キャラを同時出現させる際に髪色や服装などの要素が互いに影響しあってしまう問題があり、試行錯誤する方が多かったのです）

https://github.com/opparco/stable-diffusion-webui-two-shot

Latent Couple extension (two shot diffusion port)https://t.co/Ly2TI5ZE6L
置きました
two shot diffusion port for AUTOMATIC1111 WebUI…になってるはず#StableDiffusion
— ぱるた (@parco_opaai) February 11, 2023

以下は試した方の記事

https://hcanadli12345.fanbox.cc/posts/5289610