Deep learning

Hvad er deep learning?

Deep learning (dyb læring på dansk) er en avanceret form for maskinlæring der bruger kunstige neurale netværk med mange lag til at lære mønstre i data. Navnet “deep” refererer til de mange lag i netværket, ikke til en dybere forståelse.

Hvor traditionel maskinlæring ofte kræver at en person manuelt udvælger hvilke egenskaber (features) modellen skal kigge på, kan deep learning selv opdage de relevante features direkte fra rå data. Det er derfor deep learning er så effektivt til opgaver som billedgenkendelse, sprogforståelse og lydgenkendelse. Opgaver hvor det er svært for mennesker at formulere eksplicitte regler.

Deep learning er motoren bag stort set al den AI du bruger i dag. ChatGPT, Claude, Midjourney, Google Translate, Siri, Tesla Autopilot. Alt sammen drives af dybe neurale netværk.

Hvordan fungerer deep learning?

Et deep learning-netværk består af lag af kunstige neuroner, inspireret af den menneskelige hjerne (men meget forenklet i forhold til den):

1. Input-lag. Det første lag modtager rå data. F.eks. pixels fra et billede, tegn fra en tekst eller lydbølger fra tale.
2. Skjulte lag. Data passerer igennem mange mellemliggende lag. Hvert lag transformerer dataene og opfanger stadig mere abstrakte mønstre. I et billednetværk lærer det første skjulte lag kanter, det næste former, det næste ansigtstræk og det sidste hele ansigter.
3. Output-lag. Det sidste lag giver resultatet. F.eks. “dette billede viser en kat med 97% sandsynlighed” eller “det næste ord i sætningen er sandsynligvis ‘intelligens’.”

Træningen sker med en teknik kaldet backpropagation: netværket giver et svar, sammenligner med det korrekte svar, beregner fejlen og justerer sine parametre baglæns igennem alle lag. Denne proces gentages millioner af gange.

Hvad gør deep learning anderledes?

Forskellen mellem deep learning og klassisk maskinlæring er som forskellen mellem at give nogen en lup og et mikroskop:

1. Feature-læring. Klassisk ML kræver at du fortæller modellen hvad den skal kigge efter. Deep learning finder selv de vigtige features. For billedgenkendelse behøver du ikke fortælle netværket at det skal kigge efter kanter, farver og former. Det opdager dem automatisk.
2. Skalerbarhed. Deep learning-modeller bliver typisk bedre jo mere data og beregningskraft de får. Traditionelle ML-modeller rammer ofte et loft. Det er dette skaleringsegenskab der har drevet udviklingen af stadig større sprogmodeller.
3. Rå data. Deep learning kan arbejde direkte med rå data (billeder, tekst, lyd) uden forbehandling. Klassisk ML kræver ofte at data er omhyggeligt forberedt og struktureret først.

Vigtige deep learning-arkitekturer

Over årene har forskere udviklet specialiserede netværkstyper til forskellige opgaver:

1. CNN (Convolutional Neural Networks). Designet til billeder. De bruger filtre der glider hen over billedet for at fange lokale mønstre. Bruges i alt fra ansigts-genkendelse til medicinsk billedanalyse.
2. RNN (Recurrent Neural Networks). Designet til sekventielle data som tekst og tale. De har en form for hukommelse der lader dem bruge information fra tidligere i sekvensen. Var standarden for sprogmodeller før transformers.
3. Transformers. Den arkitektur der revolutionerede AI fra 2017. I stedet for at behandle data sekventielt, bruger transformers en “attention”-mekanisme der lader modellen se hele inputtet på én gang. GPT, Claude, BERT og alle moderne sprogmodeller er transformers.
4. Diffusion models. Bruges til billedgenerering (Midjourney, Stable Diffusion, DALL-E). De lærer at fjerne støj fra billeder trin for trin, og kan dermed generere nye billeder fra ren støj.

Eksempler i praksis

1. Sprogmodeller. Store sprogmodeller som GPT har hundredvis af milliarder parametre fordelt over mange lag. Når du stiller ChatGPT et spørgsmål, passerer din tekst igennem alle disse lag og transformeres til et svar.
2. Billedgenkendelse. Når Google Photos genkender ansigter eller din telefon kan søge efter “hund” i dine billeder, bruger den et dybt CNN.
3. Selvkørende biler. Tesla og Waymo bruger dybe neurale netværk til at fortolke kameradata, genkende fodgængere, læse skilte og planlægge ruter. Alt i realtid.
4. Medicinsk diagnostik. Deep learning-modeller kan analysere røntgenbilleder og MR-scanninger med en præcision der matcher erfarne radiologer. De bruges i dag som støtteværktøj i hospitaler verden over.