Dimensionality reduction

Hvad er dimensionality reduction?

Dimensionality reduction er at forenkle kompleks data ved at reducere antallet af tal der beskriver den. Uden at miste det vigtigste.

Forestil dig at du skal beskrive en person. Du kunne måle hundredvis af ting: højde, vægt, skostørrelse, hårfarve, antal fregner, længden af hvert fingernagel. Men de fleste af disse mål er enten redundante (højde og skostørrelse korrelerer) eller irrelevante. I praksis kan du beskrive de vigtigste forskelle mellem mennesker med langt færre mål.

Det er præcis hvad dimensionality reduction gør med data. En embedding fra en AI-model kan have 1.536 dimensioner (1.536 tal). Dimensionality reduction kan komprimere den til 256 dimensioner og stadig bevare det meste af den meningsfulde information. Resultatet er data der er hurtigere at arbejde med, billigere at gemme og lettere at visualisere.

Hvorfor er det vigtigt?

1. Beregningseffektivitet. Færre dimensioner = hurtigere beregninger. At søge i 256-dimensionelle vektorer er markant hurtigere end 3.072-dimensionelle. For systemer der håndterer millioner af vektorer er dette afgørende.
2. Lagerplads. Færre dimensioner = mindre hukommelse og disk. En vector database med 10 millioner vektorer à 1.536 dimensioner bruger ~60GB. Reduceret til 384 dimensioner bruger den ~15GB.
3. Curse of dimensionality. I meget højdimensionelle rum bliver afstandsmål (som cosine similarity) mindre meningsfulde. Alle punkter tenderer mod at have næsten samme afstand til hinanden. Dimensionality reduction modvirker dette.
4. Støjreduktion. Ikke alle dimensioner indeholder nyttig information. Nogle fanger støj. Ved at fjerne disse forbedres signalet.
5. Visualisering. Mennesker kan kun se i 2D og 3D. Dimensionality reduction gør det muligt at visualisere data der oprindeligt lever i hundredvis af dimensioner.

Metoder

PCA (Principal Component Analysis)

Den klassiske metode, og stadig en af de mest brugte:

1. Hvad den gør. Finder de retninger i data der indeholder mest variation (information) og projicerer data ned på disse retninger.
2. Analogi. Forestil dig en sky af punkter i 3D-rum. PCA finder det 2D-plan der fanger mest af punkternes spredning. Som at finde den bedste vinkel at tage et foto fra.
3. Styrker. Hurtig, matematisk veldefineret, deterministisk (giver altid samme resultat).
4. Svagheder. Fanger kun lineære sammenhænge. Kan misse komplekse strukturer i data.
5. Brug i AI. Reducer embedding-dimensioner, preprocessing af data til maskinlæring, fjern korrelerede features.

t-SNE (t-Distributed Stochastic Neighbor Embedding)

Specialiseret til visualisering:

1. Hvad den gør. Projicerer højdimensionel data til 2D eller 3D mens den bevarer lokale strukturer. Punkter der er tæt i det originale rum forbliver tæt i det reducerede rum.
2. Styrker. Meget effektiv til at visualisere klynger og mønstre i data. Producerer intuitive, visuelt klare plots.
3. Svagheder. Langsom på store datasæt. Ikke-deterministisk (giver lidt forskellige resultater hver gang). Afstande i plottet er ikke direkte tolkbare.
4. Brug i AI. Visualiser embedding-rum (se hvordan dokumenter, billeder eller ord klynger sig), forstå modellers interne repræsentationer, præsenter resultater visuelt.

UMAP (Uniform Manifold Approximation and Projection)

Den moderne standard for visualisering:

1. Hvad den gør. Lignende mål som t-SNE men med bedre bevarelse af global struktur og markant hurtigere.
2. Styrker. Hurtigere end t-SNE, bevarer både lokale og globale strukturer bedre, skalerer til millioner af punkter.
3. Svagheder. Stadig ikke-deterministisk. Kræver tuning af hyperparametre (n_neighbors, min_dist).
4. Brug i AI. Den foretrukne metode til at visualisere embeddings, klynger og datafordelinger. Bruges også som preprocessing-trin.

Autoencoders

Neurale netværk til non-lineær dimensionality reduction:

1. Hvad de gør. Et neuralt netværk der først komprimerer data til en mindre repræsentation (encoder) og derefter forsøger at rekonstruere den originale data (decoder). Den komprimerede repræsentation er den reducerede dimension.
2. Styrker. Fanger komplekse, non-lineære sammenhænge. Kan lære domænespecifikke kompressioner.
3. Svagheder. Kræver træning. Mere kompleks at implementere end PCA.
4. Brug i AI. Billed-kompression, anomali-detektion (fejl i rekonstruktion = anomali), feature learning.

Random Projection

Den hurtige og simple metode:

1. Hvad den gør. Projekterer data til et lavere-dimensionelt rum via en tilfældig matrix. Overraskende effektiv på grund af Johnson-Lindenstrauss lemmaet der garanterer at afstande bevares med høj sandsynlighed.
2. Styrker. Ekstremt hurtig. Ingen træning nødvendig. Skalerer til enorme datasæt.
3. Svagheder. Mindre præcis end PCA for specifikke opgaver.
4. Brug i AI. Hurtig preprocessing, approximation af afstande i store datasæt.

Dimensionality reduction i AI-praksis

Optimering af embedding-søgning

1. Problemet. En virksomhed har 5 millioner dokumenter gemt som 1.536-dimensionelle embeddings. Søgning er langsom og lagring er dyr.
2. Løsningen. PCA reducerer embeddings til 512 dimensioner. Søgetiden halveres og lagring reduceres med 66%.
3. Resultatet. Minimal kvalitetstab i søgeresultater, de fjernede dimensioner indeholdt primært støj og redundant information.

Visualisering af dokumentklynger

1. Problemet. En virksomhed vil forstå temaerne i 50.000 kundehenvendelser.
2. Løsningen. Henvendelserne konverteres til embeddings og UMAP reducerer dem til 2D. Et scatterplot viser tydelige klynger.
3. Resultatet. Klynger svarer til naturlige temaer: leveringsproblemer, produktspørgsmål, returneringer, klager. Virksomheden kan se hvilke temaer der fylder mest og handle derefter.

Anomali-detektion i produktion

1. Problemet. En fabrik vil detektere defekte produkter baseret på sensormålinger (hundredvis af sensorer).
2. Løsningen. PCA reducerer sensordata til de vigtigste 10 dimensioner. Defekte produkter afviger synligt fra det normale mønster i det reducerede rum.
3. Resultatet. Automatisk kvalitetskontrol der fanger defekter i realtid.

OpenAIs embedding-dimensioner

OpenAIs nyere embedding-modeller understøtter native dimensionality reduction:

1. text-embedding-3-small kan levere embeddings i 512 eller 1.536 dimensioner.
2. text-embedding-3-large kan levere embeddings fra 256 op til 3.072 dimensioner.
3. Du vælger selv hvor mange dimensioner du har brug for. En direkte afvejning mellem kvalitet og effektivitet.

Hvornår bruge dimensionality reduction?

Brug det når:

1. Søgning er for langsom. Reducer embedding-dimensioner for hurtigere vector database-søgning.
2. Lagring er for dyr. Halvér dimensionerne og reducer lagringsomkostningen tilsvarende.
3. Du vil visualisere. UMAP eller t-SNE til 2D-visualisering af embeddings og datadistributioner.
4. Du har redundante features. Mange features korrelerer. PCA fjerner redundansen.
5. Modellen overfitter. Færre dimensioner kan fungere som regularisering og reducere overfitting.

Undgå det når:

1. Du har få dimensioner i forvejen. Reducering af 10 dimensioner til 5 giver sjældent stor gevinst.
2. Hver dimension er vigtig. Hvis data er veldesignet og hver feature er meningsfuld, kan reduktion fjerne vigtig information.
3. Fortolkelighed er kritisk. Reducerede dimensioner kan være svære at tolke. Hvad betyder “dimension 3”?

Afvejningen: dimensioner vs. kvalitet

Dimensionality reduction er altid en afvejning:

1. Flere dimensioner = mere information bevaret = højere kvalitet men langsommere og dyrere.
2. Færre dimensioner = hurtigere og billigere men potentielt tab af nuancer.
3. Sweet spot afhænger af din use case. For de fleste embedding-baserede søgesystemer giver en reduktion til 50-75% af de originale dimensioner minimal kvalitetstab.

Du kan måle kvalitetstabet ved at sammenligne søgeresultater (precision/recall) før og efter reduktion på et test-datasæt.