Duplázd meg a képgenerálási sebességet: TensorRT és Automatic1111 telepítése és használata
11Csatlakozz hozzánk a TensorRT és Automatic1111 felfedezésében, és ismerd meg, hogyan duplázhatod meg a renderelési sebességet, miközben drasztikusan csökkented a VRAM használatot! Az útmutató során feltárjuk a telepítés, hibaelhárítás és technikai részletek lépéseit, miközben elmélyedünk a mesterséges intelligencia gyorsításának rejtelmeiben!
Figyelmeztetések:1. Az egyes checkpointokat optimalizálnod kell ahhoz, hogy a sebesség előnyeit élvezhesd.2. Az optimalizált checkpointokat csak a saját rendszerarchitektúrádra jellemzőek, és nem oszthatók meg másokkal.3. A checkpointok optimalizálása sok helyet foglal - az eredeti alapmodell méretének kétszeresét. Tehát egy 2 GB-os alapmodell optimalizálása további 4 GB helyigénybe kerül, ami összesen 6 GB optimalizált modellméretet jelent.4. Ez a technológia a legmodernebb technológia, és nem vállalok felelősséget az ebben az útmutatóban található tanácsok követése miatt felmerülő problémákért.
Előfeltételek:
GPU NVIDIA RTX GPUs with 8GB of VRAMRAM 16GB RAMConnection Internet connectivity during installationDriver NVIDIA Studio Driver 537.58, Game Ready Driver 537.58, NVIDIA RTX Enterprise Driver 537.58, and above
CUDNN fájlok:
https://developer.nvidia.com/rdp/cudnn-downloadcudNN 8.9.4.25 for 11.x or higher 11.x version installed in \venv\Lib\site-packages\torch\lib download the zip from that website, then put the contents of the /bin/ and /lib/x64/ folders (all of the individual files) into: \stable-diffusion-webui\venv\Lib\site-packages\torch\libCUDA verzió lekérdezése:nvcc --version
Telepítés:1. extensions mappa parancssori ablak nyitása2. git clone https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT3. Elindítjuk az Automatic1111-et webui-user.bat3.5 Az első indítás nagyon lassú lesz mivel letölt egy csomó mindentA TensorRT bővítmény install.py szkriptje az első futtatáskor a venv mappába telepíti a dolgokat,Ha felugrik egy ablak hibajelzéssel akkor a CUDNN fájlokat be kell másolni a megfelelő helyreIde: d:\AI\Automatic1111\stable-diffusion-webui\venv\Lib\site-packages\nvidia\cudnn\bin\4. Go to Settings → User Interface → Quick Settings List, add sd_unet. Apply these settings, then reload the UI.5. Újraindítod a felületet. Lesz egy új füled TensorRT néven és egy legördülő menü SD Unet néven.6. Kiválasztod a checkpointot amit szeretnél optimalizálni7. Előbeállítás kiválasztása - ez határozza meg, hogy milyen felbontás kerül optimalizálásra.A statikus motorok csak egyetlen felbontásra és tételméretre konfigurálhatók. A statikus motorok a legjobb teljesítményt a rugalmasság rovására biztosítják. A statikus motorok használják a legkevesebb VRAM-ot.Javasolom az 512x512 -768x768 választását az SD1.5 checkpiontokhoz szükséges felbontások tartományának létrehozásához.- Ha szeretnél hiresfixet használni akkor az Advanced Settingsben ezt állítsd át:Max height, max width- A Dynamic Engines különböző magasságú és szélességű felbontásokhoz, valamint különböző tételméretekhez konfigurálható. A dinamikus motorok általában valamivel kisebb teljesítményt nyújtanak, mint a statikus motorok, de sokkal nagyobb rugalmasságot tesznek lehetővé azáltal, hogy egyetlen motorral a kimeneti beállítások szélesebb skáláját teszik lehetővé. A nagyobb tartományok több VRAM-ot használnak.- Felbontás: A képek generálásakor a felbontásnak 64 többszörösének kell lennie. Ez vonatkozik a hires.fix-re is, ami megköveteli, hogy az alacsony és a magas felbontás 64-gyel osztható legyen.8. Kattints az "Export Engine" gombra - figyeld a terminált, és várj, amíg a modellt létrehozza és optimalizálja a GPU-ra.9. A folyamat befejezése után az optimalizált UNet és onnx fájlok a stable-diffusion-webui/models/Unet-trt és a stable-diffusion-webui/models/Unet-onnx mappába kerülnek.10. Most kiválaszthatod az optimalizált SD Unet modellt
Hibák1. Indítási beállítások:medvram, lowvram, api--opt-sdp-no-mem-attention optimilaziáció esetén hibára futott használd helyette az xformers-t 2. A TensorRT-tel használt lora használatát MINDEN ellenőrzőponttal együtt kell feldolgozni, amellyel együtt használják.3. Változtatja a magot (megváltoztatja a kimenetet, hasonlóan más optimalizációkhoz, azonos verziójú determinisztikus).4. Korlátozott kompatibilitás további eszközökkel és modellekkel (Még mindig teszteli, hogy mi működik és mi nem megfelelően).5. Colored python könyvtár hiánya:- venv\Scripts\activate.bat- pip install colored
*** Linkek ***
https://developer.nvidia.com/rdp/cudnn-downloadhttps://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
*** DISCORD***
Mp3Pintyo szerver: https://discord.gg/NBgUuVDURG
*** Támogatás ***
Patreon: https://www.patreon.com/mp3pintyo
*** BUYING MY ARTS ***
► https://www.etsy.com/shop/mp3pintyo
► https://stock.adobe.com/contributor/211260791/zsolt
*** STAY ACTIVE FOR A FOLLOW ***
►TWITTER: https://twitter.com/Mp3Pintyo
►PINTEREST: https://www.pinterest.com/mp3pintyo/
►SOUNDCLOUD: https://soundcloud.com/mp3pintyo