ComfyUI - 1 képes LoRA! IP Adapter segédlet a Stable Diffusion képgeneráláshoz
14ComfyUI - 1 képes LoRA! Adott stílusú kép generálása a mesterséges intelligencia segítségével mindössze egyetlen kép felhasználásával.
Ma valami nagyon szuper dologról szeretnék beszélni, ami megjelent. Lehetővé teszi, hogy képeket kombináljunk. Olyan mint egy egylépéses LORA. Azt hiszem, ez az egyik olyan eszköz, amit még jó pár hónapig fogunk vizsgálni, mert rengetegféleképpen beilleszthető a munkafolyamatokba.
Megmutatom hogyan lehet 2 vagy 3 képet másik képpé kombinálni. De fogunk csinálni vele néhány más dolgot is, például ControlNetet is használunk, hogy segítsük az irányítást.
Kíváncsi lennék, hogy ti mit alkottok vele. Ez egy újabb kreatív eszköz és annyi képet kombinálhatunk, amennyit csak akarunk. De nem használjuk a képet a legtöbbjükben hanem a kontextusukat használjuk. Szóval ez olyan, mintha a kép lenne az ösztönző. Tehát ezt hívják képi prompt adapternek. Az IP-Adapterekkel fogunk ma foglalkozni.
Az IP-Adapterek nagyon hatékony modellek a kép-kép kondicionáláshoz. Adott egy referenciakép, és ezzel lehet csinálni variációkat bővített szöveges prompt, controlnet és maszkok. Gondolj rá úgy, mint egy 1 képből álló lora.
LORA:
Ez egy képzési technika a Stable Diffusion modellek finomhangolására. A LoRA modellek olyan kis Stable Diffusion modellek, amelyek apró változtatásokat alkalmaznak a standard ellenőrzőpontos modellekre.
*** Videók ***
ComfyUI a Stable Diffusion-hoz: Útmutató kezdőknek:
https://www.youtube.com/watch?v=XOooCXcAOU4
ComfyUI Mesterműhely: Légy profi képkészítő a csomópont alapú felhasználói felület kezelésében:
https://www.youtube.com/watch?v=t_cUqattxEI
1. Elrendezzük a Default csomópontokat, hogy látható legyen
2. Megnyitjuk a Managert
Manager telepítése
cd custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
Restart ComfyUI
3. Filter installed (itt látni amiket már feltelepítettem, ezekből fogjuk használni a következőket)
- ComfyUI_IPAdapter_plus
- ComfyUI_SDXL-EmptyLatentImage
- ComfyUI's ControlNet Auxiliary Preprocessors
4. IPAdapterhez letöltjük a modelleket amik kellenek:
https://github.com/cubiq/ComfyUI_IPAdapter_plus
5. Pozitív prompt töröl
6. SDXL_Empty_Latent_image
832x1216 (2:3)kb
SDXL üres látens kép. Ez pedig azt fogja tenni, hogy megadja nekünk az összes olyan felbontást, amely biztonságos az SDXL számára. Ez alatt azt értem, hogy az SDXL ezeken a felbontásokon és négyzetben működik. Ezeket használd, ha a lehető legjobb eredményt szeretnéd.
8. Apply IPAdapter
8.1 Modellel összeköt
8.2 Checkpoint modell kimenet KSampler modell bemenet
9. Negatív becsuk jelenleg nem kell.
text, watermark, ugly, worst quality, low quality, jpeg artifacts, bad anatomy, bad proportions, mutation, extra fingers, mutated hands, poorly drawn hands
10. Load IPAdapter Model
vit-h több tokennel rendelkezik tehát jobb
rákötjük az IPAdapter nodera
ip-adapter-sdxl-vit-h
11. Load Clip Vision
VIt-h esetén itt is azt kell választani
rákötjük az IPAdapter nodera
CLIP-ViT-H-14-laion2B-s32B-b79
https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K/tree/main
12. Load Image
rákötjük az IPAdapter nodera
13. KSampler beállítások
control_after_generate: fix (azonos seed number, hogy lássuk a változásokat és ne egy teljesen más képet kapjunk)
steps: 35
sampler_name: euler
scheduler: normal
--- Generálás ---
15. Load Image 2 (ALT gomb)
16. Batch Images 1
Összekötjük a két képet.
--- Generálás ---
17. Load Image 3 (ALT gomb)
Adjunk hozzá még egy képet
18. Batch Images 2
--- Generálás ---
19. ControlNetApply
Pozitív promptból a conditioning-et belehúzzuk ebbe majd ebből a kimenet megy a KSampler pozitív bemenetbe
20. ControlNetLoader
Canny (sdxl-hez erre figyeljünk)
21. Canny Edge Preprocessor
Első kép összeköt
Apply Controlnet bemenetére ráköt
Felbontás legyen 1024
22. Apply Controlnet
Állítsuk az erősséget 0.8-ra.
--- Generálás ---
23. Adjunk hozzá pozitív promptot
a female model
Appl IPAdapter weight: 0.7
--- Generálás ---
24. Controlnet töröl
25. Load Image
színvilág csak
26. Apply Controlnet
Állítsuk az erősséget 0.2-re.
--- Generálás ---
*** DISCORD***
Mp3Pintyo szerver: https://discord.gg/NBgUuVDURG
*** Támogatás ***
Patreon: https://www.patreon.com/mp3pintyo
*** BUYING MY ARTS ***
► https://www.etsy.com/shop/mp3pintyo
► https://stock.adobe.com/contributor/211260791/zsolt
*** STAY ACTIVE FOR A FOLLOW ***
►TWITTER: https://twitter.com/Mp3Pintyo
►INSTAGRAM: https://www.instagram.com/mp3pintyo/
►PINTEREST: https://www.pinterest.com/mp3pintyo/
►SOUNDCLOUD: https://soundcloud.com/mp3pintyo