Completion

Hvad er en completion?

En completion er det svar eller output en AI-model genererer baseret på dit input. Når du sender et prompt til ChatGPT, Claude eller en anden AI-model, er modellens svar (alt fra et kort svar til en lang artikel) dens completion.

Begrebet stammer fra at sprogmodellers grundlæggende opgave er “text completion”: at fuldføre en tekst. Du giver modellen en begyndelse (“Hovedstaden i Danmark er…”), og den genererer en fuldførelse (“København”). Alt en sprogmodel gør, er i bund og grund at generere completions.

I API-sammenhæng er “completion” det tekniske begreb for modellens output. OpenAI’s API har endpoints der hedder “completions” og “chat completions.” Anthropic bruger “messages.” Men konceptet er det samme: du sender input, du får en completion tilbage.

Hvordan genereres en completion?

1. Token for token. Modellen genererer sin completion ét token ad gangen, fra venstre mod højre. Den forudsiger det mest sandsynlige næste token baseret på alt der kom før.
2. Autoregressive. Hvert nyt token afhænger af alle tidligere tokens. Både dit prompt og de tokens modellen allerede har genereret. Det er derfor processen kaldes “autoregressive generation.”
3. Sandsynlighedsbaseret. For hvert token beregner modellen en sandsynlighedsfordeling over hele sit ordforråd og vælger et token baseret på denne fordeling (styret af temperature og sampling-parametre).
4. Stop-kriterier. Genereringen stopper når modellen producerer et specielt stop-token, når en angivet maks-længde nås, eller når et defineret stop-ord eller stop-sekvens forekommer.

Completion-parametre

Når du kalder en AI-API, kan du styre din completion med disse parametre:

1. max_tokens. Maksimalt antal tokens i completion. Begrænser svarets længde.
2. temperature. Styrer kreativitet vs. forudsigelighed. Lav = fokuseret, høj = kreativ.
3. top_p. Alternativ til temperature for at styre variation.
4. stop. Stop-sekvenser der afslutter genereringen. F.eks. stop ved “###” eller en tom linje.
5. stream. Om completion skal sendes token for token (streaming) eller som ét samlet svar.

Completion i praksis

1. Chat completions. Moderne API’er bruger “chat completion” formatet: du sender en liste af beskeder (system, user, assistant), og modellen genererer en ny assistant-besked som completion.
2. Tekst-completions (legacy). Ældre API’er brugte simpel tekst-completion: du sendte en rå tekst, og modellen fortsatte den. Denne tilgang er stort set erstattet af chat-formatet.
3. Streaming. I de fleste brugervendte applikationer streames completion token for token, så brugeren ser svaret blive skrevet i realtid i stedet for at vente på hele svaret.
4. Batching. I produktionssystemer sendes ofte mange completion-forespørgsler parallelt for at øge throughput.

Completion og pris

API-pris beregnes separat for input-tokens (dit prompt) og output-tokens (completion). Output-tokens er typisk dyrere end input-tokens. Ofte 2-4x dyrere. Det betyder at lange completions koster mere, og max_tokens-parametren er et vigtigt værktøj til omkostningskontrol.