Latency

Hvad er latency?

Latency (forsinkelse) er den tid der går fra du sender en forespørgsel til en AI-model til du modtager det første svar. Det er ventetiden. Når du trykker Enter i ChatGPT og der går et par sekunder før teksten begynder at dukke op. Det er latency.

I AI-sammenhæng skelner man typisk mellem to typer latency:

1. Time to First Token (TTFT). Tiden fra forespørgsel til det første token i svaret genereres. Det er den ventetid brugeren oplever før “noget sker.”
2. Total latency. Tiden fra forespørgsel til hele svaret er færdigt. For lange svar kan dette være mange sekunder.

Latency er afgørende for brugeroplevelsen. Studier viser at brugere begynder at miste tålmodighed efter 2-3 sekunder. I interaktive AI-applikationer er lav latency forskellen mellem en app der føles hurtig og en der føles langsom.

Hvad påvirker latency?

1. Modelstørrelse. Større modeller har flere parametre der skal beregnes for hvert token. GPT-4 er langsommere end GPT-4o mini fordi den er markant større.
2. Input-længde. Længere prompts kræver mere processering i prefill-fasen (den fase hvor modellen læser dit input). En prompt med 100.000 tokens tager længere at processere end en med 100.
3. Output-længde. Hvert output-token genereres sekventielt. Længere svar = mere tid. Et svar på 1.000 tokens tager ca. 10x længere end et på 100.
4. Hardware. Hurtigere GPU’er og mere GPU-hukommelse reducerer latency. En H100 er markant hurtigere end en A100.
5. Netværk. Afstanden mellem din computer og API-serveren tilføjer netværkslatency. Typisk 10-100ms afhængigt af geografi.
6. Belastning. Når mange brugere bruger tjenesten samtidig, kan køer opstå. Det er derfor ChatGPT kan føles langsommere i spidsbelastningsperioder.
7. Quantization. Kvantiserede modeller (lavere præcision) kører hurtigere og har lavere latency end full-precision modeller.

Latency i tal

Typiske latency-værdier for AI-modeller:

1. Hurtige modeller (Claude Haiku, GPT-4o mini). TTFT: 200-500ms. Generering: 50-100 tokens/sekund.
2. Standard modeller (Claude Sonnet, GPT-4o). TTFT: 500ms-2s. Generering: 30-70 tokens/sekund.
3. Store modeller (Claude Opus, GPT-4). TTFT: 1-5s. Generering: 15-40 tokens/sekund.
4. Billedgenerering (DALL-E, Midjourney). 5-30 sekunder per billede.
5. Lokal inference (Ollama + Llama). Varierer enormt med hardware. GPU: 20-80 tokens/sekund. CPU: 2-10 tokens/sekund.

Hvorfor er latency vigtigt?

1. Brugeroplevelse. I chatbots og assistenter er lav latency afgørende. Brugere forventer svar inden for 1-2 sekunder. Høj latency føles som om systemet er langsomt eller gået ned.
2. Realtidsapplikationer. Stemmeassistenter, live-oversættelse og interaktiv kodning kræver latency under 500ms for at føles naturligt.
3. Agentic AI. AI-agenter der udfører mange sekventielle handlinger akkumulerer latency. Hvis hvert trin tager 3 sekunder og der er 20 trin, er det et minuts ventetid.
4. Produktivitet. I kodningsværktøjer som Copilot og Claude Code er lav latency afgørende: forslag skal dukke op mens du stadig tænker over linjen, ikke efter du er gået videre.

Optimering af latency

1. Streaming. Send tokens til brugeren efterhånden som de genereres i stedet for at vente på hele svaret. Reducerer ikke total latency men den oplevede ventetid drastisk.
2. Smaller models. Brug den mindste model der er god nok til opgaven. Haiku til simple spørgsmål, Opus kun til komplekse opgaver.
3. Quantization. Kvantisér modellen til lavere præcision. 4-bit modeller er markant hurtigere end 16-bit med minimal kvalitetstab for de fleste opgaver.
4. Prompt-optimering. Kortere prompts = lavere latency. Fjern unødvendig kontekst og hold system prompts koncise.
5. Caching. Cache svar for gentagne forespørgsler. Prompt caching genbruger prefill-beregninger for identiske prompt-prefixes.
6. Edge deployment. Kør modellen tættere på brugeren, eller direkte på enheden, for at eliminere netværkslatency.
7. Bedre hardware. Hurtigere GPU’er, mere VRAM og hurtigere interconnects reducerer alle latency.

Latency vs. throughput

Latency og throughput er relaterede men forskellige:

1. Latency. Hvor lang tid tager én forespørgsel? (Brugerens perspektiv)
2. Throughput. Hvor mange forespørgsler kan håndteres per sekund? (Systemets perspektiv)

Du kan have høj throughput med høj latency (mange brugere processeres men alle venter) eller lav latency med lav throughput (én bruger betjenes hurtigt men kun én ad gangen). God infrastruktur optimerer begge.