Diffusion model

Hvad er en diffusion model?

En diffusion model er en type generativ AI der skaber billeder (og i stigende grad lyd og video) ved gradvist at fjerne støj fra tilfældig data. Det er teknologien bag Midjourney, DALL-E, Stable Diffusion og Flux.

Idéen er overraskende elegant: tag et billede, tilføj gradvist støj indtil det er ren statisk, og træn derefter et neuralt netværk til at reversere processen. At genskabe billedet fra støj. Når modellen har lært dette, kan den starte fra ren tilfældig støj og “denoize” den til et helt nyt billede der aldrig har eksisteret.

Navnet “diffusion” refererer til den fysiske proces diffusion, hvor partikler spreder sig fra høj koncentration til lav. Ligesom en dråbe blæk der opløses i vand. I modellen “diffunderer” information i billedet væk som støj tilføjes, og modellen lærer at samle den igen.

Diffusion models overtog tronen fra GAN’er (Generative Adversarial Networks) omkring 2021-2022 som den foretrukne teknik til billedgenerering, primært fordi de producerer billeder af højere kvalitet og er mere stabile at træne.

Hvordan fungerer diffusion models?

Processen har to faser:

1. Forward-processen (tilføj støj). Under træning tager modellen et rigtigt billede og tilføjer gradvist gaussisk støj i mange små trin (typisk 1000). Hvert trin ødelægger billedet en lille smule. Efter alle trin er billedet ren tilfældig støj uden nogen synlig struktur.
2. Reverse-processen (fjern støj). Modellen trænes til at forudsige og fjerne den støj der blev tilføjet i hvert trin. Den lærer at gå fra ren støj tilbage til et klart billede, ét trin ad gangen. Det er denne reverse-proces der bruges til at generere nye billeder.

Når du beder Midjourney om at lave “en kat der sidder på månen”, sker følgende: modellen starter med ren tilfældig støj og fjerner gradvist støj, styret af din tekstbeskrivelse, indtil et billede af en kat på månen tager form. Tekstbeskrivelsen fungerer som en guide der fortæller modellen hvilken retning den skal denoize i.

Nøglekomponenter

1. U-Net. Det neurale netværk der udfører selve denoizingen. Det får et støjfyldt billede og forudsiger den støj der skal fjernes. Navnet U-Net kommer fra dets U-formede arkitektur.
2. Text encoder. Konverterer din tekstprompt til en matematisk repræsentation modellen kan forstå. De fleste diffusion models bruger CLIP (fra OpenAI) som text encoder.
3. Latent space. Mange moderne diffusion models (som Stable Diffusion) arbejder i et komprimeret “latent” rum i stedet for direkte med pixels. Det gør beregningerne langt hurtigere og kræver mindre hukommelse, men producerer stadig billeder i høj opløsning.
4. Scheduler. Styrer tempoet for denoizingsprocessen: hvor mange trin der bruges, og hvor meget støj der fjernes per trin. Forskellige schedulers giver forskellige resultater.

De vigtigste diffusion models

1. Midjourney. Den mest populære billedgeneringsmodel. Kendt for kunstnerisk kvalitet og æstetisk output. Closed source, tilgængelig via web og mobilapp.
2. DALL-E / GPT-4o (OpenAI). Billedgenerering integreret i ChatGPT via GPT-4o (erstattede DALL-E 3 i 2025). Stærk til at følge detaljerede tekstbeskrivelser og generere tekst i billeder. Closed source.
3. Stable Diffusion (Stability AI). Open source-alternativ der kan køres lokalt. Har et stort community der laver udvidelser, fine-tuned modeller og specialiserede versioner.
4. Flux (Black Forest Labs). Nyere open source-model med høj kvalitet. Grundlagt af flere af de originale Stable Diffusion-forskere.
5. Imagen (Google). Googles billedgenereringsmodel med fokus på fotorealisme og tekstforståelse.

Diffusion models i praksis

1. Kunst og design. Konceptkunst, illustrationer, logoer og visuel brainstorming. Designere bruger diffusion models til hurtig prototyping og idéudvikling.
2. Marketing. Produktbilleder, sociale medier-grafik og reklamevisualer. Virksomheder kan generere hundredvis af variationer på sekunder.
3. Arkitektur. Visualisering af bygningskoncepter, interiørdesign og landskabsplanlægning fra tekstbeskrivelser.
4. Mode. Generering af tøjdesigns, mønstervariationer og lookbook-billeder. Modeller kan vise tøj på forskellige kropstyper og i forskellige miljøer.
5. Videogenerering. Sora (OpenAI), Runway, Kling og Veo (Google) bruger diffusion-baserede teknikker til at generere video. En naturlig forlængelse af billedgenerering til den tidsmæssige dimension.

Begrænsninger

1. Hastighed. Diffusion models kræver mange trin for at generere et billede (typisk 20-50 trin), hvilket gør dem langsommere end GAN’er. Forskning i “few-step” diffusion reducerer dette, men det er stadig en udfordring.
2. Hænder og tekst. Diffusion models har historisk haft problemer med at generere realistiske hænder og læsbar tekst i billeder, selvom nyere modeller har forbedret dette markant.
3. Konsistens. Det er svært at generere den samme karakter eller objekt konsekvent på tværs af flere billeder. Hvert billede er et nyt tilfældigt udgangspunkt.
4. Copyright og etik. Modellerne er trænet på billeder skabt af mennesker, og spørgsmålet om copyright og kompensation til kunstnere er stadig uafklaret og juridisk omstridt.