GPU (Graphics Processing Unit)

Hvad er en GPU?

En GPU, Graphics Processing Unit, er en specialiseret processor designet til at udføre tusindvis af beregninger parallelt. Den blev oprindeligt udviklet til at rendere grafik i computerspil, men det viste sig at den samme type parallel beregningskraft er præcis hvad AI-modeller har brug for.

Hvor en CPU (Central Processing Unit) er som en enkelt brilliant matematiker der løser komplekse opgaver sekventielt, er en GPU som tusindvis af simple regnemaskiner der løser mange opgaver samtidig. AI-træning kræver milliarder af simple matrixberegninger, og det er præcis hvad GPU’er excellerer i.

GPU’en er den fysiske hardware der gør moderne AI mulig. Uden GPU’er ville træning af store sprogmodeller tage årtier i stedet for måneder.

Hvorfor er GPU’er afgørende for AI?

1. Parallel processering. Neurale netværk består af millioner af simple beregninger der kan udføres samtidig. En moderne GPU har tusindvis af kerner der arbejder parallelt.
2. Matrixberegninger. AI er fundamentalt matrixmultiplikation. Den matematiske operation GPU’er er optimeret til.
3. Hukommelsesbåndbredde. GPU’er har høj hukommelsesbåndbredde der kan flytte enorme mængder data hurtigt. Afgørende når modeller med milliarder af parametre skal processeres.
4. Skalerbarhed. Flere GPU’er kan kobles sammen til at træne større modeller. De største AI-modeller trænes på tusindvis af GPU’er simultant.

GPU vs. CPU

NVIDIA, GPU-giganten

NVIDIA dominerer AI-GPU markedet med over 80% markedsandel. Det skyldes ikke kun hardwaren men hele softwareøkosystemet:

1. CUDA. NVIDIAs programmeringsplatform for GPU-computing. Næsten al AI-software er optimeret til CUDA, hvilket skaber en stærk lock-in effekt.
2. cuDNN. Optimeret bibliotek til neurale netværk der accelererer deep learning-beregninger.
3. TensorRT. Framework til optimeret AI-inference med lavere latency og højere throughput.
4. Økosystem. Årtiers investering i software, drivere, værktøjer og partnerskaber.

NVIDIAs AI-GPU’er

1. H100 (Hopper). Den nuværende industri-standard til AI-træning. Transformer Engine optimeret til AI-beregninger. Koster ~$30.000-40.000 per enhed.
2. A100 (Ampere). Den forrige generation. Stadig bredt brugt og mere overkommelig.
3. H200. Opgraderet H100 med mere hukommelse (141 GB HBM3e).
4. B200 / GB200 (Blackwell). Den nyeste generation med markant højere performance. I volumenproduktion fra 2026.
5. RTX 4090 / 5090. Consumer-GPU’er der kan bruges til at køre (men typisk ikke træne) AI-modeller lokalt.

GPU’er i AI-praksis

1. Træning. Store modeller trænes på tusindvis af GPU’er i klynger (clusters) over uger til måneder. Det koster hundredvis af millioner dollars.
2. Inference. Når modellen er færdigtrænet, kører den inference (genererer svar) på GPU’er. Kræver færre GPU’er end træning men stadig markant compute.
3. Lokal AI. Med en consumer GPU (RTX 3060 eller bedre) kan du køre open source-modeller som Llama og Stable Diffusion lokalt.
4. Cloud GPU. Tjenester som AWS, Google Cloud, Azure og specialiserede udbydere (Lambda, CoreWeave) lejer GPU-tid ud, så du ikke behøver købe hardware.
5. Finjustering. Fine-tuning af modeller kræver GPU-power, men teknikker som LoRA og QLoRA har reduceret kravene markant.

GPU-manglen

AI-boomet har skabt en global GPU-mangel:

1. Efterspørgsel overstiger udbud. Alle tech-giganter kappes om at bygge massive GPU-klynger til AI-træning.
2. Geopolitik. USAs eksportrestriktioner begrænser salg af avancerede AI-GPU’er til Kina, hvilket påvirker den globale forsyningskæde.
3. Pris-inflation. H100 GPU’er handles til over listeprisen, og ventetider kan være måneder.
4. Strømforbrug. Store GPU-klynger bruger enorme mængder strøm, hvilket skaber udfordringer for datacentre og energiinfrastruktur.

Alternativer til NVIDIA GPU’er

1. Google TPU. Googles custom AI-chip. Stærk til Google-specifikke workloads og tilgængelig via Google Cloud.
2. AMD MI300X. AMDs konkurrent til H100. Vokser i adoption men mangler NVIDIAs software-økosystem.
3. Intel Gaudi. Intels AI-accelerator. Niche men voksende.
4. Custom chips. Amazon (Trainium/Inferentia), Microsoft (Maia) og Meta bygger egne AI-chips for at reducere NVIDIA-afhængighed.
5. Apple Silicon. M-serien chips med unified memory er overraskende kapable til lokal AI-inference, særligt for macOS-brugere.