Neurale netværk

Hvad er et neuralt netværk?

Et neuralt netværk (også kaldet et kunstigt neuralt netværk, ANN) er en beregningsmodel der er løst inspireret af den menneskelige hjernes struktur. Det består af kunstige neuroner organiseret i lag, som kan lære at genkende mønstre og sammenhænge i data.

Idéen er enkel: ligesom hjernens neuroner sender signaler til hinanden, sender kunstige neuroner tal videre fra lag til lag. Hvert neuron modtager input, beregner noget, og sender resultatet videre. Når netværket trænes, justeres forbindelserne mellem neuronerne, så det bliver bedre til sin opgave.

Neurale netværk er den grundlæggende byggeblok i al moderne AI. Hver gang du bruger ChatGPT, får en anbefaling på Netflix eller låser din telefon op med dit ansigt, er der et neuralt netværk i arbejde.

Hvordan fungerer et neuralt netværk?

Et neuralt netværk har tre typer lag:

1. Input-lag. Modtager rå data. Hvert neuron i input-laget repræsenterer én feature: f.eks. én pixel i et billede, ét tegn i en tekst eller én måling fra en sensor.
2. Skjulte lag. Her sker selve beregningen. Data passerer igennem ét eller flere skjulte lag, hvor hvert neuron kombinerer input fra det forrige lag, vægter dem og sender resultatet videre. Jo flere skjulte lag, jo mere komplekse mønstre kan netværket fange. Og det er her “deep” i deep learning kommer fra.
3. Output-lag. Giver det endelige resultat. For en klassifikationsopgave kan output-laget have ét neuron per kategori (f.eks. “kat”, “hund”, “fugl”) hvor det neuron med højest aktivering er svaret.

Hvert neuron udfører tre operationer: det modtager input fra forrige lag, multiplicerer hvert input med en vægt (et tal der afgør hvor vigtigt inputtet er), lægger resultaterne sammen, og sender summen igennem en aktiveringsfunktion der afgør om neuronet “fyrer”. Altså sender et signal videre.

Træning af neurale netværk

Træning handler om at finde de rigtige vægte for alle forbindelser i netværket:

1. Forward pass. Data sendes igennem netværket fra input til output. Netværket giver et svar. I starten nærmest tilfældigt.
2. Beregn fejl. Svaret sammenlignes med det korrekte svar via en loss function (tabsfunktion). Stor fejl = dårlig model.
3. Backpropagation. Fejlen sendes baglæns igennem netværket. For hvert neuron beregnes hvor meget det bidrog til fejlen.
4. Opdater vægte. Vægtene justeres en lille smule i den retning der reducerer fejlen. Denne justering styres af en learning rate. For stor, og modellen overskydes. For lille, og træningen tager evigheder.
5. Gentag. Denne proces gentages tusindvis eller millionvis af gange med forskellige eksempler fra træningsdataene. Over tid konvergerer vægtene mod værdier der giver gode resultater.

Typer af neurale netværk

Forskere har udviklet specialiserede arkitekturer til forskellige typer data:

1. Feedforward-netværk. Den simpleste type. Data flyder kun i én retning, fra input til output. Bruges til simple klassifikations- og regressionsproblemer.
2. CNN (Convolutional Neural Networks). Specialiseret til billeder og gitterformede data. Bruger filtre der glider hen over data for at fange lokale mønstre som kanter, teksturer og former.
3. RNN (Recurrent Neural Networks). Designet til sekventiel data som tekst og tidsserier. Har forbindelser der løber tilbage, så netværket har en form for hukommelse af hvad det har set tidligere.
4. Transformers. Den dominerende arkitektur i dag. Bruger en attention-mekanisme i stedet for sekventiel behandling, hvilket gør dem hurtigere at træne og bedre til at fange langdistance-afhængigheder. Alle moderne sprogmodeller (GPT, Claude, Gemini) er transformers.
5. GAN (Generative Adversarial Networks). To netværk der konkurrerer: ét genererer data (f.eks. billeder), ét vurderer om data er ægte eller genereret. Konkurrencen gør begge bedre.

Eksempler i praksis

1. Sprogmodeller. Claude og GPT er neurale netværk med hundredvis af milliarder parametre (vægte). Når du stiller et spørgsmål, passerer din tekst igennem tusindvis af lag med milliardvis af beregninger. Alt på under et sekund.
2. Billedgenkendelse. Et CNN til billedgenkendelse kan have 50-150 lag. De første lag lærer simple kanter og farver, mellemlagene lærer former og teksturer, og de dybeste lag lærer hele objekter som ansigter eller biler.
3. Talegenkendelse. Når du taler til Siri eller Google Assistant, konverterer et neuralt netværk dine lydbølger til tekst. Det er trænet på tusindvis af timers tale fra mange forskellige stemmer, accenter og sprog.
4. AlphaFold. Googles AlphaFold bruger et neuralt netværk til at forudsige proteiners 3D-struktur. Et problem der havde udfordret biologer i 50 år. Det vandt CASP14-konkurrencen i 2020 med en præcision der chokerede forskerverdenen.