Autoencoder

Hvad er en autoencoder?

En autoencoder er et neuralt netværk med en speciel opgave: at lære at kopiere sit input til sit output. Det lyder umiddelbart meningsløst. Hvorfor bruge et neuralt netværk til at kopiere data? Tricket er at netværket tvinges til at gøre det gennem en flaskehals (en komprimeret mellemrepræsentation) som tvinger det til at lære de vigtigste features i dataene.

Tænk på det som at bede nogen om at tegne Mona Lisa, men de må kun bruge 10 streger. De 10 streger (den komprimerede version) fanger essensen af billedet. Autoencoderen lærer automatisk hvilke 10 streger der bedst beskriver billedet.

Autoencoders blev introduceret i 1980’erne, men har fået fornyet relevans i moderne AI. De bruges som komponenter i diffusion models (Stable Diffusion bruger en autoencoder til at komprimere billeder til et latent space), til anomali-detection i cybersikkerhed og industri, og som fundamentet for variational autoencoders (VAE’er) der kan generere nye data.

Hvordan fungerer en autoencoder?

En autoencoder har tre dele:

1. Encoder. Komprimerer input-data til en mindre repræsentation. Et billede på 256x256 pixels (196.608 tal) komprimeres måske til en vektor med 256 tal. Encoderen lærer at beholde den vigtigste information og smide resten væk.
2. Latent space (bottleneck). Den komprimerede repræsentation, også kaldet latent repræsentation eller kode. Denne flaskehals er det der tvinger netværket til at lære meningsfulde features. Hvert tal i det latente rum repræsenterer en lært egenskab ved dataene.
3. Decoder. Rekonstruerer det originale input fra den komprimerede repræsentation. Den forsøger at genskabe de 196.608 tal fra de 256. Jo bedre autoencoderen er, jo mere ligner rekonstruktionen det originale input.

Træningen er enkel: vis autoencoderen et input, lad den producere et output, og mål forskellen (fejlen) mellem input og output. Juster derefter netværkets vægte for at reducere fejlen. Gentag millioner af gange.

Typer af autoencoders

1. Vanilla autoencoder. Den simpleste version med et enkelt skjult lag. God til grundlæggende dimensionsreduktion men begrænset i kapabilitet.
2. Deep autoencoder. Bruger mange lag i både encoder og decoder. Kan fange mere komplekse mønstre i data og producere bedre rekonstruktioner.
3. Variational Autoencoder (VAE). Den vigtigste variant. I stedet for at kode input til et enkelt punkt i latent space, koder en VAE til en sandsynlighedsfordeling. Det gør det muligt at sample nye punkter fra det latente rum og dermed generere nye data. VAE’er er fundamentet for dele af moderne generativ AI.
4. Denoising autoencoder. Trænet til at rekonstruere rene input fra bevidst beskadigede (støjfyldte) versioner. Denne idé er direkte forfader til diffusion models.
5. Sparse autoencoder. Tvinger det latente rum til at være “sparsomt”: de fleste neuroner er inaktive for et givet input. Det producerer mere fortolkelige repræsentationer og er blevet populært i AI-sikkerhedsforskning til at forstå hvad der sker inde i sprogmodeller.

Autoencoders i praksis

1. Dimensionsreduktion. Komprimering af højdimensionel data til færre dimensioner for visualisering eller videre analyse. Alternativ til traditionelle metoder som PCA, men kan fange ikke-lineære sammenhænge.
2. Anomali-detection. Træn en autoencoder på “normal” data. Når den møder unormale data (svindel, defekte produkter, cyberangreb), vil rekonstruktionsfejlen være høj, fordi den aldrig har set den type data. Den høje fejl fungerer som en alarm.
3. Billedkomprimering. Lær at komprimere billeder mere effektivt end traditionelle metoder (JPEG, PNG) ved at udnytte mønstre specifikt i den type billeder man arbejder med.
4. Datarensning. Denoising autoencoders kan fjerne støj fra billeder, lyd eller andre data. De har lært hvad “ren” data ser ud og kan filtrere støjen fra.
5. Komponent i større systemer. Stable Diffusion bruger en VAE-autoencoder til at komprimere billeder fra pixel-rum til latent rum, hvilket gør diffusion-processen langt hurtigere og mere hukommelseseffektiv.

Begrænsninger

1. Slørede rekonstruktioner. Autoencoders (især VAE’er) tenderer mod at producere lidt slørede output fordi de optimerer for gennemsnitlig lighed med inputtet i stedet for skarpe detaljer.
2. Begrænset generativ kapabilitet. Sammenlignet med diffusion models og GAN’er producerer autoencoders typisk output af lavere kvalitet når de bruges til at generere nye data.
3. Latent space-struktur. Det er ikke altid klart hvad de lærte repræsentationer i det latente rum betyder, hvilket kan gøre det svært at kontrollere outputtet.