ELLA: Javított szövegértés a Stable Diffusion 1.5 modellekhez. Ingyenes képgenerálás saját gépen

Channel:

Zsolt Pinter

Subscribers:

3,300

Published on April 22, 2024 5:21:55 PM ● Video Link: https://www.youtube.com/watch?v=_6YznuEyNno

Duration: 38:55

290 views

11

A diffúziós modellek figyelemre méltó teljesítményt mutatnak a szöveg-kép generálás területén. E modellek többsége azonban még mindig a CLIP-et használja szövegkódolóként ami korlátozza a sűrű, több objektumot, részletes attribútumokat, összetett kapcsolatokat, hosszú szövegek összehangolását tartalmazó kérések megértésének képességét. Ebben a tanulmányban bemutatnak egy hatékony nagy nyelvi modelladaptert, amelyet ELLA-nak neveznek, amely a szöveg-kép diffúziós modelleket nagy teljesítményű nagy nyelvi modellekkel (LLM) látja el.
A CLIP egy gépi tanulási modell, amelyet az OpenAI fejlesztett ki. A modell összehasonlítja a generált képeket a célként megadott szöveges leírással, és azokat a változatokat részesíti előnyben, amelyek a leíráshoz a legjobban illeszkednek. Ez a megközelítés lehetővé teszi, hogy a képgenerálás sokkal relevánsabb és pontosabb legyen a kívánt témára vonatkozóan.

Az ELLA még a kutatás korai szakaszában van, és még nem végeztünk átfogó tesztelést az ELLA minden lehetséges alkalmazásával kapcsolatban. Szívesen fogadjuk a közösség konstruktív és baráti javaslatait.

* Legyél Te is Tagja az Mp3Pintyo csatornának *
https://www.youtube.com/channel/UC-3YkVvPQbZiApqrRXEOaPg/join

*** DISCORD***
Mp3Pintyo szerver: https://discord.gg/NBgUuVDURG

*** Támogatás ***
Patreon: https://www.patreon.com/mp3pintyo

*** Linkek ***
ELLA: https://ella-diffusion.github.io/
Kutatási anyag: https://arxiv.org/pdf/2403.05135.pdf
GitHub ELLA: https://github.com/TencentQQGYLab/ELLA
GitHub ExponentialML ComfyUI_ELLA: https://github.com/ExponentialML/ComfyUI_ELLA
GitHub kijai ComfyUI-ELLA-wrapper: https://github.com/kijai/ComfyUI-ELLA-wrapper
GitHub Tencent ComfyUI-ELLA: https://github.com/TencentQQGYLab/ComfyUI-ELLA
Modellek: https://huggingface.co/QQGYLab/ELLA/tree/main
Qwen-72B-Chat: https://huggingface.co/spaces/Qwen/Qwen-72B-Chat-Demo
git: https://git-scm.com/downloads
AWPainting: https://civitai.com/models/84476/awpainting

*** BUYING MY ARTS ***
► https://www.etsy.com/shop/mp3pintyo
► https://stock.adobe.com/contributor/211260791/zsolt
*** STAY ACTIVE FOR A FOLLOW ***
►TWITTER: https://twitter.com/Mp3Pintyo
►INSTAGRAM: https://www.instagram.com/mp3pintyo/
►PINTEREST: https://www.pinterest.com/mp3pintyo/
►SOUNDCLOUD: https://soundcloud.com/mp3pintyo