ちょっと出遅れているうちに導入が簡単になったらしいので、まずはインストールしてみることにしました。
導入過程を記録してみたのですが、結論としてはだだぱんさんのnoteを見ればそれで良いです。
https://note.com/ddpn08/n/n7fce838499e7
一応自分の導入過程も下記で紹介します。まだまだ手探りですが、適宜追記していきます。
https://github.com/Mikubill/sd-webui-controlnet
まず上記URLのExtensionをいつも通りインストールします。
その上で、Githubに記載されている説明を見ながら指定フォルダにモデルを入れましょう。
https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
以下をダウンロードして入れます。
ここまでやってWebUIをリロード。
すると、↓こんな項目が表示されているので、まずEnableに✔を入れます。
（Controlnetを使わない時はこのチェックを外します。）
そして「Preprocessor」と「Model」を選択して、元画像とPROMPTを入れると使えます。
▼Openposeの実践
平面的なポーズ（普通に立っている絵や、足を開いているだけなど）はOpenposeで対応可能です。（腕を組んでいるなど、立体的なポーズをとらせたい場合はOpenpose以外にDepthやScribbleなども活用します）
PreprocessorがOpenposeだと、入力した画像を棒人間データにしてくれます。（もともと棒人間に変換済みのデータがある場合、PreprocessorはNoneにします。）
そしてモデルもOpenposeだと、変換された棒人間データから新しいイラストを作成します。
ちなみに最初から棒人間データを読み込ませる場合は、PreprocessorをOpenposeにはせずnoneにすると良いようです。
こちらを元絵にしてみます。
今回は髪の色をピンクにしてみます。
実行結果が下記。
なるほど、確かにキャラクターの体勢は同じになりました。
でもちょっとわかりづらい作例になったので、扱いやすいデータを用意してもう一回やり直します。
その結果が下記。
2枚生成＋棒人間データが1枚できました。
一番左の方がポーズの再現度は高かったのですが、このサイトではお見せできないイラストになってしまったので…、PIXIVの方で御覧ください。
次は、今できた棒人間データを直接読み込ませてみます。
1回目スカートでやってここに貼れなくなってしまったので、ジーンズに衣装変更してからもう一回やりました。
その結果がこちら。
ポーズの再現はいい感じですね。（たまに前を向くケースもあります）
比較用にもう一回元画像を置いておきます。
せっかくなので、先程ダウンロードしたLORAも併用してみます。（原神の心海のLORAを使用）
ちなみにこういう↓やり方もあるらしいので、Blendarなどが使えなくても対応はできそうです。
Controlnetを使えば、3Dモデルのアニメ動画化も従来よりは楽になりそうです。でももうちょっと待てばもっと手軽にできるようになりそう…。
以下FANBOX内での関連記事（こちらはLoraメイン）です。
【AIイラスト作成法】LORAやControlnetなど最近使い始めた技術や使用PROMPT紹介
https://infoconv.fanbox.cc/posts/5310578
【追記】
ControlNETを同時に複数使えるようになりました。
Openposeで構図を調整しながら、手指部分の描写は別途指定するということも可能です。
【最新情報】
↓現在の活動媒体まとめ
支援者向けページ（Discord）にもイラストをアップしています。よろしければぜひご覧ください。
📚 FANZAで新作出ました！
→新着イラスト集の情報
📙Discord(参加無料/有料コースあり)
Discord詳細 https://convvv.com/1529
→支援者向けイラスト更新情報
🐤X(Twitter)
https://twitter.com/infoconv
