Stable Diffusion

Hvad er Stable Diffusion?

Stable Diffusion er en open source AI-model der genererer billeder fra tekstbeskrivelser. Det der gør den unik er at den er frit tilgængelig: du kan downloade modellen, køre den på din egen computer og tilpasse den til dine behov, uden at betale per billede eller sende data til en cloud-tjeneste.

Stable Diffusion blev lanceret i august 2022 af Stability AI i samarbejde med forskere fra LMU München og Runway. Den var den første højkvalitets billedgenereringsmodel der blev gjort bredt tilgængelig som open source, og den udløste en eksplosion af kreativitet og innovation i AI-billedgenerering.

Hvordan fungerer Stable Diffusion?

Stable Diffusion er baseret på en diffusionsmodel (en type generativ AI der fungerer ved at lære at fjerne støj):

1. Forward diffusion. Under træning tilføjes gradvist tilfældig støj til billeder indtil de er ren støj. Modellen lærer denne proces.
2. Reverse diffusion. Ved generering starter modellen med tilfældig støj og fjerner gradvist støj i en styret proces (styret af din tekstbeskrivelse) indtil et sammenhængende billede fremkommer.
3. Latent space. Stable Diffusion arbejder i et komprimeret “latent space” i stedet for direkte med pixels. Det gør den markant hurtigere og mere hukommelseseffektiv end tidligere diffusionsmodeller.
4. Text encoder. Din prompt konverteres til en numerisk repræsentation via CLIP (Contrastive Language-Image Pre-training), der guider diffusionsprocessen.

Stable Diffusion-versioner

1. SD 1.4 / 1.5 (2022). De første bredt tilgængelige versioner. 512x512 pixel output. Satte standarden og skabte økosystemet.
2. SD 2.0 / 2.1 (november 2022). Forbedret kvalitet, 768x768 pixels. Kontroversiel fordi den filtrerede visse typer indhold fra træningsdata.
3. SDXL (juli 2023). Markant kvalitetsspring. 1024x1024 pixels. To-trins arkitektur med base-model og refiner. Konkurrencedygtig med kommercielle alternativer.
4. SD 3 / SD 3.5 (2024). Ny arkitektur baseret på “Multimodal Diffusion Transformer” (MMDiT). Bedre tekstgenerering i billeder og forbedret prompt-følgning.
5. FLUX (Black Forest Labs, 2024). Skabt af flere af de oprindelige Stable Diffusion-forskere. Teknisk en efterfølger med markant forbedret kvalitet.

Hvorfor er open source vigtigt?

1. Privatliv. Dine billeder og prompts forbliver på din computer. Ingen data sendes til eksterne servere.
2. Ingen censur. Du bestemmer selv hvad du genererer. Ingen platform der afviser dine prompts. Med dette følger naturligvis et ansvar.
3. Tilpasning. Du kan finjustere modellen med dine egne billeder for at generere specifikke stilarter, karakterer eller produkter.
4. Gratis. Ingen per-billede omkostning. Når du har hardwaren, kan du generere ubegrænset.
5. Innovation. Open source-fællesskabet har skabt tusindvis af udvidelser, interfaces og specialiserede modeller der langt overgår hvad Stability AI alene kunne bygge.

Stable Diffusion i praksis

1. Lokalt på egen PC. Med en moderne GPU (8+ GB VRAM) kan du køre Stable Diffusion via brugervenlige interfaces som Automatic1111, ComfyUI eller Forge.
2. Community-modeller. Tusindvis af finjusterede modeller på Civitai og Hugging Face: anime-stilarter, fotorealisme, specifikke kunstnerstilarter, produktfoto og meget mere.
3. LoRA og embeddings. Letvægts-tilpasninger der lader dig tilføje specifikke stilarter, karakterer eller koncepter til din generering uden at ændre hele modellen.
4. ControlNet. Udvidelse der giver præcis kontrol over billedkomposition via skitser, dybdekort, positurer og kanter.
5. Inpainting/outpainting. Redigér specifikke dele af et billede eller udvid det ud over sine oprindelige kanter.
6. Img2img. Brug et eksisterende billede som udgangspunkt og transformer det baseret på en ny prompt.

Økosystemet

Stable Diffusions open source-natur har skabt et enormt økosystem:

1. Automatic1111 (AUTOMATIC1111). Det mest populære web-interface med hundredvis af extensions.
2. ComfyUI. Node-baseret workflow-editor der giver fuld kontrol over genereringsprocessen.
3. Civitai. Platform med tusindvis af community-modeller, LoRAs og embeddings du kan downloade gratis.
4. Hugging Face. Hosting og distribution af modeller og pipelines.
5. Cloud-tjenester. RunPod, Vast.ai og andre tilbyder GPU-adgang til at køre Stable Diffusion uden egen hardware.

Stable Diffusion vs. konkurrenter

1. SD vs. DALL-E. DALL-E er nemmere at bruge (integreret i ChatGPT) og bedre til tekst i billeder. SD giver fuld kontrol, gratis generering og mulighed for finjustering.
2. SD vs. Midjourney. Midjourney producerer konsistent smukke resultater med minimal indsats. SD kræver mere opsætning men giver ubegrænset kontrol og tilpasning.
3. SD vs. Imagen (Google). Imagen er lukket og integreret i Google-produkter. SD er åben og kan køres overalt.

Kontrovers og debat

1. Copyright. Stable Diffusion er trænet på billeder fra internettet, inklusive kunstneres værker. Det har udløst retssager og debat om ophavsret.
2. Deepfakes. Open source betyder at der ingen filter er. Det muliggør misbrug til deepfakes og uønsket indhold.
3. Stability AI. Virksomheden bag Stable Diffusion har oplevet turbulens: ledelsesskift, finansielle udfordringer og tab af nøglemedarbejdere. Men open source-modellen lever videre uafhængigt af virksomheden.