Supervised learning

Hvad er supervised learning?

Supervised learning (overvåget læring på dansk) er den mest udbredte form for maskinlæring. Modellen trænes på data hvor det korrekte svar er kendt på forhånd. Det er som at lære ved hjælp af en facitliste: for hvert eksempel ved modellen hvad svaret burde være, og den justerer sig selv for at komme tættere på det rigtige svar.

Navnet “supervised” (overvåget) refererer til at modellen har en “supervisor”: de mærkede data der fortæller den hvad der er rigtigt og forkert. Modellen får eksempler som “dette billede er en kat”, “denne email er spam” eller “denne bolig koster 3,2 millioner” og lærer sammenhængene.

Det er supervised learning du bruger når du træner et spamfilter, bygger en prisforudsigelse, eller finjusterer en sprogmodel på specifikke eksempler. Langt det meste maskinlæring i produktionssystemer er supervised learning.

Hvordan fungerer supervised learning?

Processen følger en klar struktur:

1. Mærkede data. Man starter med et datasæt hvor hvert eksempel har et input og et kendt output (label). For billedgenkendelse: tusindvis af billeder, hvert mærket med hvad der er på billedet. For spam-detection: tusindvis af emails, hver mærket som “spam” eller “ikke spam”.
2. Træning. Modellen ser eksemplerne, giver sit gæt og sammenligner med det korrekte svar. Fejlen beregnes med en loss function, og modellens parametre justeres for at reducere fejlen. Denne proces gentages tusindvis eller millionvis af gange.
3. Validering. Modellen testes på data den ikke har set under træning for at sikre at den generaliserer: at den har lært de underliggende mønstre i stedet for bare at huske træningseksemplerne.
4. Forudsigelse. Den trænede model bruges på nye, usete data. Spamfilteret vurderer nye emails. Prismodellen estimerer nye boliger.

De to hovedtyper

Supervised learning deles i to kategorier baseret på outputtypen:

1. Klassifikation. Outputtet er en kategori. “Er dette billede en kat eller en hund?” “Er denne email spam eller ej?” “Har patienten diabetes?” Modellen vælger mellem foruddefinerede klasser.
2. Regression. Outputtet er et tal. “Hvad vil denne bolig koste?” “Hvor mange varer sælger vi næste måned?” “Hvad er patientens blodtryk om en uge?” Modellen forudsiger en kontinuerlig værdi.

Populære algoritmer

1. Lineær regression. Den simpleste regression-model. Finder den rette linje der bedst beskriver sammenhængen mellem input og output. God til simple, lineære sammenhænge.
2. Logistisk regression. Trods navnet er det en klassifikationsalgoritme. Beregner sandsynligheden for at et eksempel tilhører en bestemt klasse. Simpel, fortolkelig og stadig bredt brugt.
3. Decision trees og Random Forests. Træffer beslutninger via en serie ja/nej-spørgsmål. Random Forests kombinerer mange træer for bedre resultater. Populære fordi de er lette at forstå og forklare.
4. Support Vector Machines (SVM). Finder den optimale grænse mellem klasser. Effektive på mindre datasæt og i høje dimensioner.
5. Neurale netværk og deep learning. Den mest kraftfulde tilgang for store, komplekse datasæt. CNN’er til billeder, transformers til tekst. Kræver mest data og beregningskraft men giver typisk de bedste resultater.

Supervised learning i praksis

1. Spamfiltrering. Gmail og Outlook bruger supervised learning til at klassificere emails som spam eller ej, trænet på millioner af mærkede emails.
2. Medicinsk diagnostik. Modeller trænet på røntgenbilleder mærket af radiologer kan identificere kræft, frakturer og andre tilstande.
3. Prisforudsigelse. Boligpriser, aktiekurser og produktefterspørgsel forudsiges baseret på historiske data med kendte priser.
4. Ansigtsgenkendelse. iPhone’s Face ID er trænet supervised på millioner af ansigter med kendte identiteter.
5. Oversættelse. Neurale oversættelsesmodeller er trænet på millioner af sætningspar: en sætning på ét sprog parret med dens oversættelse.

Begrænsninger

1. Kræver mærkede data. Den største begrænsning. Mærkning er tidskrævende, dyrt og kræver ofte domæneeksperter. Et medicinsk datasæt kræver at læger mærker hvert billede.
2. Bias i labels. Hvis de mærkede data er biased, arver modellen denne bias. Et ansættelses-scoringssystem trænet på historiske beslutninger kan videreføre diskrimination.
3. Overfitting. Modellen kan lære træningsdataene udenad i stedet for at lære de generelle mønstre. Den præsterer perfekt på træningsdata men dårligt på nye data.
4. Stationaritet. Modellen antager at fremtiden ligner fortiden. Hvis verden ændrer sig (nye typer spam, ændret kundeopførsel), skal modellen gen-trænes.