HiDiffusion: akár 4096x4096 pixel felbontású képek generálása a saját gépünkön bármelyik SD modellel
12Nincs szükség képzésre, és csak egy sor kód szükséges az SD-vel generált képek felbontásának és sebességének javításához.
Támogatja a képgenerálás felbontásának 4096×4096-ra növelését, miközben a képgenerálás sebességét 1,5-6-szorosára növeli.
Támogatja az összes SD-modellt, és támogatja az SD-modellek későbbi modelljeit is, mint például a Playground.
Részletes bemutató:
A kutatási anyag a "HiDiffusion" nevű technológia fejlesztését és hatékonyságát mutatja be, ami a diffúziós modellek képalkotási teljesítményét hivatott javítani nagy felbontású képek generálására. A diffúziós modellek alapvetően arra használatosak, hogy adott bemeneti adatok (például szöveges leírások) alapján képeket hozzanak létre. Ezek a modellek viszont korábban korlátozottak voltak a nagyobb felbontású képek gyors és hatékony előállítására.
Mi a probléma a meglévő modellekkel?
A nagy felbontású képek közvetlen generálása a modellekkel problémás lehet, mert az objektumok megkettőződhetnek, és az időigény is jelentősen megnőhet. Ennek két fő oka van:
Objektum megkettőződése: Ez a jelenség a U-Net architektúrában található mély rétegekben megismétlődő jellemzők miatt következik be.
Hatékonysági problémák: Ahogy a képfelbontás növekszik, a generálás ideje exponenciálisan nő, ami a modellek alkalmazhatóságát korlátozza.
Hogyan javítja a HiDiffusion ezeket a problémákat?
A HiDiffusion két fő komponensből áll:
Resolution-Aware U-Net (RAU-Net): Ez a komponens dinamikusan állítja be a jellemző térképek méretét, hogy megoldja az objektum megkettőződési problémáját. Alapvetően, ez a rendszer a kép részleteinek megőrzése mellett csökkenti a méretet, hogy illeszkedjen az eredeti képfeldolgozási blokkokhoz.
Modified Shifted Window Multi-head Self-Attention (MSW-MSA): Ez a módszer optimalizált ablakos figyelemmel csökkenti a számítási igényt, ami jelentősen felgyorsítja a képgenerálási folyamatot anélkül, hogy az képminőség romlana.
Eredmények
A HiDiffusion tesztjei során különböző nagy felbontású képek generálása mellett (akár 4096×4096 pixelig) jelentős sebességnövekedést értek el (1,5-6-szor gyorsabb, mint a korábbi módszerek), miközben a képminőség megőrzése is kiemelkedő maradt. A technológia különösen jól teljesített objektumok megkettőződésének minimalizálásában és finom részletek megőrzésében.
A HiDiffusion lehetővé teszi a diffúziós modellek számára, hogy nagy felbontású képeket gyorsan és hatékonyan hozzanak létre, miközben javítja a képminőséget és csökkenti a generálási időt. Ez a fejlesztés új lehetőségeket nyit meg a képgenerálás területén, különösen olyan alkalmazásokban, ahol a kép részleteinek és minőségének megőrzése kritikus fontosságú.
* Legyél Te is Tagja az Mp3Pintyo csatornának *
https://www.youtube.com/channel/UC-3YkVvPQbZiApqrRXEOaPg/join
*** DISCORD***
Mp3Pintyo szerver: https://discord.gg/NBgUuVDURG
*** Támogatás ***
Patreon: https://www.patreon.com/mp3pintyo
*** Linkek ***
Projekt HiDiffusion: https://hidiffusion.github.io/
Kutatási anyag: https://arxiv.org/pdf/2311.17528
Google Colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=drive_link
GitHub: https://github.com/megvii-research/HiDiffusion
GitHub ComfyUI jank HiDiffusion: https://github.com/blepping/comfyui_jankhidiffusion?tab=readme-ov-file
GitHub ComfyUI-HiDiffusion: https://github.com/florestefano1975/ComfyUI-HiDiffusion
GitHub DemoFusion: https://github.com/PRIS-CV/DemoFusion?tab=readme-ov-file
Google Colab DemoFusion: https://colab.research.google.com/github/camenduru/DemoFusion-colab/blob/main/DemoFusion_colab.ipynb
ComfyUI telepítés: https://youtu.be/XOooCXcAOU4
*** BUYING MY ARTS ***
► https://www.etsy.com/shop/mp3pintyo
► https://stock.adobe.com/contributor/211260791/zsolt
*** STAY ACTIVE FOR A FOLLOW ***
►TWITTER: https://twitter.com/Mp3Pintyo
►INSTAGRAM: https://www.instagram.com/mp3pintyo/
►PINTEREST: https://www.pinterest.com/mp3pintyo/
►SOUNDCLOUD: https://soundcloud.com/mp3pintyo