Underfitting

Hvad er underfitting?

Underfitting er når en AI-model er for simpel til at forstå de mønstre der findes i data. Modellen præsterer dårligt på alt, både træningsdata og nye data, fordi den simpelthen ikke har kapaciteten til at fange sammenhængene.

Forestil dig at du skal beskrive forholdet mellem en bils alder og dens pris. Priserne falder hurtigt i starten og derefter langsomt: en kurve. Hvis du forsøger at beskrive dette med en ret linje (lineær model), rammer du aldrig rigtigt. Linjen er for simpel til at fange kurvens form. Det er underfitting.

Hvor overfitting er en model der memorerer for meget (for kompleks), er underfitting en model der forstår for lidt (for simpel). Begge er problemer, men underfitting er typisk nemmere at løse.

Underfitting vs. overfitting

Den vigtigste forskel: ved underfitting er modellen dårlig på alt. Ved overfitting er modellen god på træningsdata men dårlig på nye data. Det er en vigtig diagnostisk forskel.

Hvornår sker underfitting?

For simpel model

1. En lineær model til et non-lineært problem. Forsøger du at fange en kompleks kurve med en ret linje, underfitter du.
2. Et neuralt netværk med for få lag eller neuroner. Modellen har simpelthen ikke nok kapacitet til at repræsentere de nødvendige mønstre.
3. En decision tree med for lav dybde. Træet kan ikke lave nok opdelinger til at fange dataens struktur.

For få eller forkerte features

1. Vigtige input-variable mangler. Forsøger du at forudsige boligpriser kun ud fra antal værelser (uden areal, beliggenhed eller stand) underfitter modellen fordi den mangler vigtig information.
2. Features er for rå. Tekst der bare repræsenteres som ordtælling i stedet for som embeddings mister semantisk information.

Utilstrækkelig træning

1. For få epoker. Modellen har ikke haft nok tid til at lære.
2. Learning rate for høj. Modellen bouncer rundt i stedet for at konvergere mod et godt minimum.
3. Dårlig initialisering. Modellen starter et ugunstigt sted i parameterrummet.

For meget regularisering

1. For aggressiv weight decay, dropout eller L1/L2-regularisering. Regularisering forhindrer overfitting, men for meget af det forhindrer modellen i at lære overhovedet.
2. Early stopping for tidligt. Modellen stoppes før den har lært de grundlæggende mønstre.

Sådan opdager du underfitting

Høj trænings-loss

Det klareste tegn. Hvis modellen ikke engang performer godt på træningsdata, underfitter den. En model der overfitter har lav trænings-loss; en model der underfitter har høj trænings-loss.

Flad loss-kurve

Loss falder i starten men flader hurtigt ud på et højt niveau. Modellen har nået sin kapacitetsgrænse og kan ikke lære mere med den nuværende arkitektur.

Lav accuracy på alle datasæt

1. Trænings-accuracy: 65%.
2. Validerings-accuracy: 63%.
3. Lille gap mellem de to (ingen overfitting), men begge er for lave.

Sammenlign med baseline

Hvis din model ikke er markant bedre end en simpel baseline (tilfældig gætning, gennemsnitsværdi, simpel regel), underfitter den sandsynligvis.

Sådan løser du underfitting

1. Brug en mere kapabel model

Den mest direkte løsning. Giv modellen mere kapacitet:

1. Flere lag. Tilføj flere skjulte lag til netværket. Dybere modeller kan lære mere komplekse mønstre.
2. Flere neuroner. Bredere lag giver mere repræsentationskapacitet.
3. Anden arkitektur. Skift fra lineær regression til et neuralt netværk, fra et simpelt netværk til en transformer.
4. Pretrained model. Brug en foundation model (BERT, GPT) der allerede har lært grundlæggende mønstre fra enorme datamængder.

2. Tilføj bedre features

Giv modellen mere information at arbejde med:

1. Feature engineering. Skab nye features fra eksisterende data. Kombinér alder og stand til en “samlet tilstand”-feature for boligpriser.
2. Embeddings. Brug embeddings i stedet for simple repræsentationer. Tekst som embeddings indeholder langt mere information end bag-of-words.
3. Flere datapunkter. Tilføj flere input-variable der er relevante for opgaven.

3. Træn længere

1. Flere epoker. Giv modellen mere tid til at lære.
2. Bedre learning rate. Eksperimenter med lavere learning rate og learning rate schedules.
3. Bedre optimizer. Skift fra SGD til Adam eller AdamW der typisk konvergerer hurtigere.

4. Reducer regularisering

Hvis du har for aggressiv regularisering:

1. Sænk weight decay. Giv modellen mere frihed til at tilpasse sig.
2. Reducer dropout. Sluk færre neuroner under træning.
3. Fjern L1/L2-straf. Eller reducer styrken.
4. Forlæng early stopping patience. Lad modellen træne længere før du stopper.

5. Bedre datapreprocessing

1. Normaliser data. Skaler input-features til sammenlignelige intervaller.
2. Håndter manglende data. Fjern eller imputér manglende værdier korrekt.
3. Fjern irrelevante features. Støjende features kan forvirre modellen.

Underfitting i praksis

Eksempel: sentimentanalyse

1. Opgave. Klassificér kundeanmeldelser som positive eller negative.
2. Underfitting. En simpel model der kun tæller positive og negative ord. “Filmen var ikke dårlig” klassificeres som negativ fordi “dårlig” er et negativt ord. Modellen forstår ikke negation.
3. Symptom. 62% accuracy på både træning og test. Ikke bedre end en simpel baseline.
4. Løsning. Brug en sprogmodel (BERT, en fine-tuned LLM) der forstår kontekst og negation. Accuracy springer til 92%.

Eksempel: billedgenkendelse

1. Opgave. Genkend om et billede indeholder en hund eller en kat.
2. Underfitting. Et netværk med ét skjult lag og 10 neuroner. For lille til at lære de komplekse visuelle mønstre.
3. Symptom. 58% accuracy (knap bedre end tilfældig gætning på 50%).
4. Løsning. Brug en pretrained model (ResNet, Vision Transformer) og fine-tune den. Accuracy springer til 97%.

Eksempel: tidsserieforudsigelse

1. Opgave. Forudsig morgendagens strømforbrug.
2. Underfitting. En lineær model der kun ser på gennemsnittet af de seneste 7 dage. Fanger ikke dag/nat-cykler, ugedagsmønstre eller sæsonvariation.
3. Symptom. Høj fejl på alle dage. Modellen forudsiger næsten det samme tal hver dag.
4. Løsning. Tilføj features for time, ugedag og sæson. Brug en LSTM eller transformer-model der kan fange tidsmæssige mønstre.

Bias-variance perspektivet

Underfitting er et high-bias problem:

1. Høj bias. Modellen har for stærke forudindtagede antagelser. En lineær model antager at alle sammenhænge er lineære. Det er en stærk (og ofte forkert) antagelse.
2. Lav variance. Modellen ændrer sig ikke meget med forskellige træningsdata. Den er konsistent: konsistent forkert.
3. Løsning. Reducer bias ved at bruge en mere fleksibel model der kan tilpasse sig dataens faktiske mønstre.

Underfitting i æraen af store modeller

Med moderne foundation models er underfitting blevet et sjældnere problem for mange opgaver:

1. Pretrained modeller. BERT, GPT og lignende har allerede lært generelle mønstre fra enorme datamængder. Fine-tuning på specifikke opgaver starter fra et stærkt udgangspunkt.
2. Overparameterisering. Moderne modeller har typisk langt flere parametre end nødvendigt. Underfitting er sjældent et kapacitetsproblem.
3. Hvor det stadig sker. Underfitting er stadig relevant ved: meget specialiserede domæner (sjældne sprog, niche-fagområder), ekstremt lille data, bevidst valg af simple modeller for hastighed/forklarbarhed, og forkert konfigurerede hyperparametre.