「AIは同じキャラが出せない」はおしまい！新機能Reference-onlyなら学習なしでも画像だけで差分作成からアイコラも出来ちゃうぞ！！【Stable Diffusion】
0🐸本動画は、画像生成AI『Stable Diffusion webUI AUTOMATIC1111』(ローカル版)の拡張機能『Control-Net』の更新版であるver1.1に搭載されている機能のうち「Reference only」について紹介した動画です。23年5月時点での仕様に基づいて作っています。
🐸本動画は技術研究目的で作成しています。またソフトウェアの使用方法の例を紹介した動画であってその使用を推奨するものではありません。
This video is edited for technical research purposes.
It only explains how to install the software and its features, and is NOT intended as a recommendation to use itself.
🟠AUTOMATIC1111って何？って方は↓
🟠Stable Diffusion webUI AUTOMATIC1111のインストール方法
https://youtu.be/8QIJMGW_-LM
↑この動画のとおりに操作していけばインストールできます。
🐸🐸🐸動画の補足🐸🐸🐸
🟢作者のページ
✅本家イリヤスフィール氏のGithub
https://github.com/lllyasviel/ControlNet-v1-1-nightly
✅上記をA1111の拡張機能化したミクビル氏のGithub
https://github.com/Mikubill/sd-webui-controlnet
✅Reference onlyの紹介ページ
https://github.com/Mikubill/sd-webui-controlnet/issues/1237
✅トラブルシューティング
https://github.com/Mikubill/sd-webui-controlnet/issues
✅ディスカッションスレ
https://github.com/Mikubill/sd-webui-controlnet/discussions/1236
✅WD1.4Tagger
https://github.com/toriato/stable-diffusion-webui-wd14-tagger
🟢インストール方法
Reference-OnlyはA1111の拡張機能「Control-net」の23年5月13日付ver.1.1.153以降で実装されています。Control-Netのインストール方法は下記ControlNetv1.1の紹介動画をご覧ください。
Control-Netバージョン1.1きちゃああああ！Shuffle機能がしゅごおおおおいぞ！【Stable Diffusion】
https://youtu.be/kretczRz9qc
※なお、sd-webui-controlnetは更新頻度が高いため、環境とバージョンによっては不具合が発生する場合があります。前記issueで同様の不具合報告がないか検索してください。
※v1.1.171からさらに
reference_adain
reference_adain＋attn
の2種が追加になっています
※adain：Adaptive Instance Normalization
※attn：Attention Layer（=reference only）
※reference_adain＋attnはadainとonlyのセット。
AdainAttnは最も拘束力が強力。ただし顔に対して使う場合は少し強すぎ感ある。
Adainは背景に余計なものが出現しにくい(草生えにくい)。ただし色の継承が弱く、よりランダム性を持たせたい場合の機能な感じ。
拘束力：強い AdainAttn ＞ Only ＞ Adain 弱い（といっても十分強いが…）
生首コスプレで使うなら生首にOnly、カラダにOnlyまたはAdainAttn、3枚目にオープンポーズ・ラインアートが無難だと思う。背景はスクリプトで除去すればいいし。服のカラーリングにランダム性を持たせたいならカラダにAdainもアリ。
🟢使い方
コントロールネットに入力画像を放り込んで、プリプロセッサにReferenceOnlyを選択するだけ。
🟢使ってみた感じ
入力画像の要素を強烈に継承して画像を生成することが出来ます。プロンプト指定なしでも首から上の要素は優先度が高いのか極めて強力にトレースしてきます。WD1.4Taggerなどを用いてプロンプトを添えてやるとガッチリ誘導してきます。(※Taggerの検出が甘い場合はタグ検出時のスレッショルドを下げてください)。誇張抜きでコントロールネット史上Most Powerful Toolと言ってよいでしょう。オリジナルキャラクターの差分作成やコスチュームデザイン考案の大きな手助けとなると思います。いわゆるアイコラみたいなものも出来てしまうのでご利用は自己責任で。
※動画中で複数のリファレンスオンリーを用いて着せ替えを行っていますが、3枚目に「2枚目と同じ首なし画像」を読み込ませる場合は、オープンポーズよりもキャニーやラインアートの方が良いと思います。
※他にScribbleやDepthと併用も◎
🐸🐸🐸以下管理用スペース🐸🐸🐸
Timestamp
00:00 はじめに
00:48 使い方（要Control-NetV1.1.153以降）
01:09 Reference-OnlyをShuffleと比較
01:52 Ref-OnlyとTaggerが合わさると最強に見える
03:12 ダブルリファレンスで簡単お着換え
使用BGM
"Unleash", "Sugary", "Girlish" written by SHUNTA
#StableDiffusion #Controlnet #画像生成ai #AIイラスト #StableDiffusiontutorial #generativeai #Aiart