IP-Adapterを使って画像をプロンプトとして利用していく（Stable Diffusion web UIで画像生成）
203本日はControlNetの一つであるIP Adapterを用いて、画像生成を行っていこうと思います。
このIP Adapterですが、入力として渡した画像をプロンプト的に解釈させて画像生成が可能です。
そのため、例えば『真珠の耳飾りの少女』という有名な絵がありますが、あの絵の女の子にサングラスを掛けさせるなども可能です。
色々と活用しがいのある機能のため、この動画をご覧いただき、ぜひ皆さんも活用してみてください！
生成環境：Stable Diffusion web UI v1.6.0 (AUTOMATIC1111）
■IP-Adapterのモデルダウンロード方法
IP-Adapterのモデルのダウンロード方法はコメント欄に記載しています
■IP-Adapterを利用する上での注意⚠️
コメントで教えていただきましたが、NegPiPという拡張機能を入れている場合、裏で競合してしまい正常に機能しないようです。
利用されている方は外した状態で利用してみてください。
■目次
0:00 - IP-Adapterについて
0:46 - IP-Adapterの概要
2:43 - IP-Adapterの使い方
4:27 - IP-Adapterを実際に利用してみる
7:12 - まとめ
■関連リンク
ControlNetのIP AdapterとInpaint Onlyを組み合わせて髪型の指定（TDSさんのX投稿）
https://twitter.com/TDS_95514874/status/1699914944245018643
IP-Adapter
https://github.com/tencent-ailab/IP-Adapter
IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
https://arxiv.org/abs/2308.06721
FF5のセイレーンを実写化してみた
https://www.chichi-pui.com/posts/4b362268-7257-4125-a2ba-b6e07c723534/
FF5のフォルツァを実写化してみた
https://www.chichi-pui.com/posts/8a043018-1f3b-4710-b779-11c4e3ad9ad4/
chilled_remix v2の紹介動画
https://youtu.be/c5N1zq6cSNE?si=cIMv9HiPa01-CoGe
Google Colabを利用している方向けに、様々なモデルが簡単に利用できるColabノートブックを作成しました。
勿論、今回紹介しているIP-Adapterも導入しています。利用する際はControlNetにチェックを入れた上でコマンドを実行してください。
https://gist.github.com/safa-dayo/b25f3737675c7667fefb51498dbf7212
サムネイルの女の子について
サムネイルの女の子は『真珠の耳飾りの少女』を入力にしてControl Weight: 0.3で生成しています
https://twitter.com/safa_dayo/status/1700786426189922364
■サファのX
https://twitter.com/safa_dayo
■サファのちちぷい
https://www.chichi-pui.com/users/safa/
#stablediffusion #ipadapter #controlnet