TPU (Tensor Processing Unit)

Hvad er en TPU?

En TPU (Tensor Processing Unit) er en specialdesignet chip bygget af Google udelukkende til AI-beregninger. Hvor en GPU er en generel parallel processor der kan bruges til både grafik og AI, er en TPU en ASIC (Application-Specific Integrated Circuit) designet fra bunden til én ting: at multiplicere tensorer. Tensorer er de matematiske strukturer der udgør kernen af neurale netværk.

Google annoncerede den første TPU i 2016 og bruger dem internt til at drive sine AI-tjenester: Google Search, Google Translate, Gmail, YouTube-anbefalinger og Gemini-modellerne. TPU’er er også tilgængelige eksternt via Google Cloud.

Hvad er en tensor?

En tensor er en flerdimensionel datastruktur, en generalisering af vektorer og matricer. I AI er tensorer den grundlæggende datarepræsentation:

1. Skalar (0D tensor): et enkelt tal. F.eks. temperaturen: 42.
2. Vektor (1D tensor): en liste af tal. F.eks. en word embedding: [0.2, -0.5, 0.8, …].
3. Matrix (2D tensor): et gitter af tal. F.eks. et billede i gråtoner.
4. 3D+ tensor: flerdimensionelle strukturer. F.eks. et farve-billede (højde × bredde × farvekanaler) eller en batch af billeder.

Al AI-beregning er fundamentalt operationer på tensorer, og TPU’er er designet til at udføre disse operationer med maksimal effektivitet.

TPU-generationer

1. TPU v1 (2016). Den første generation. Kun inference, ingen træning. Brugt internt hos Google til at accelerere eksisterende modeller.
2. TPU v2 (2017). Tilføjede træningssupport. 45 TFLOPS. Den første TPU tilgængelig eksternt via Google Cloud.
3. TPU v3 (2018). Dobbelt ydeevne af v2. 123 TFLOPS. Væskekøling for at håndtere det øgede strømforbrug.
4. TPU v4 (2021). Markant spring i ydeevne. Brugt til at træne PaLM og andre af Googles store modeller.
5. TPU v5e (2023). Optimeret til cost-effektiv inference. Googles svar på den voksende efterspørgsel efter inference-compute.
6. TPU v6e (Trillium, 2024). Markant forbedret ydeevne per watt. Over 4x bedre end v5e.
7. TPU v7 (Ironwood, 2025). Nyeste generation med 4,6 petaFLOPS per chip. Skalerer op til 9.216 chips i en pod. Bruges af både Google og Anthropic.

TPU vs. GPU

Fordele ved TPU’er

1. Optimeret til AI. Fordi TPU’er kun er designet til tensor-beregninger, kan de udføre disse mere effektivt end GPU’er der skal håndtere mange typer opgaver.
2. Energieffektivitet. Mere beregning per watt end GPU’er til AI-workloads. Vigtigt i datacentre med strømbegrænsninger.
3. Skalerbarhed. TPU’er kan kobles sammen i “pods” med tusindvis af chips via højhastigheds-interconnects. Google har bygget pods med over 4.000 TPU’er.
4. Integration med Google Cloud. Sømløs integration med Googles AI-frameworks og cloud-tjenester.
5. Cost-effektivitet. For visse workloads er TPU’er billigere per beregning end GPU’er i Google Cloud.

Ulemper ved TPU’er

1. Kun Google Cloud. TPU’er kan ikke købes. De er kun tilgængelige som cloud-tjeneste via Google Cloud Platform.
2. Software-begrænsning. TPU’er fungerer bedst med JAX og TensorFlow. PyTorch-support er forbedret men ikke på niveau med GPU’ens native support.
3. Mindre fleksibilitet. GPU’er kan bruges til alt fra gaming til videnskabelig computing til AI. TPU’er kan kun bruges til AI/ML.
4. Mindre community. NVIDIAs CUDA-økosystem er massivt større end TPU-økosystemet. Mere dokumentation, tutorials og community-support for GPU’er.

TPU’er i praksis

1. Google Search. TPU’er driver AI-modellerne bag Google Search, inklusive de AI-genererede oversigter (AI Overviews).
2. Gemini. Googles Gemini-modeller er trænet på TPU’er.
3. Google Translate. Realtidsoversættelse drevet af neurale netværk kørende på TPU’er.
4. YouTube. Anbefalingsalgoritmer og indholdsmoderationmodeller kører på TPU-infrastruktur.
5. Ekstern brug. Forskere og virksomheder bruger TPU’er via Google Cloud til at træne egne modeller, ofte med Google’s TPU Research Cloud der giver gratis adgang til forskningsprojekter.

Det bredere landskab af AI-chips

TPU’er er del af en trend hvor tech-giganter bygger egne AI-chips:

1. Google TPU. Den mest modne custom AI-chip.
2. Amazon Trainium / Inferentia. AWS’s egne AI-chips til træning og inference.
3. Microsoft Maia. Microsofts custom AI-accelerator til Azure. Maia 200 lanceret januar 2026.
4. Meta MTIA. Metas egne AI-chips til inference af anbefalingsmodeller.
5. Tesla Dojo/AI6. Tesla lukkede Dojo-projektet i august 2025 og fokuserer nu på AI5/AI6-chips til selvkørende biler og Optimus-robotter.

Motivationen er den samme: reducere afhængighed af NVIDIA, optimere til specifikke workloads og kontrollere omkostninger.