Inference

Hvad er inference?

Inference er det øjeblik hvor en AI-model bruges. Det er processen hvor en færdigtrænet model modtager nyt input (en prompt, et billede, en lydoptagelse) og genererer et output baseret på det den har lært under træning.

Når du skriver en besked til ChatGPT og den svarer, er det inference. Når Midjourney genererer et billede fra din prompt, er det inference. Når Whisper transskriberer din tale, er det inference. Al brug af AI-modeller er inference.

Inference er modsætningen til træning: under træning lærer modellen fra data. Under inference anvender modellen det den har lært.

Træning vs. inference

Hvorfor er inference vigtigt?

1. Det er den løbende omkostning. Træning er en engangsinvestering. Inference er den omkostning der kører 24/7 hver gang nogen bruger modellen. For store tjenester som ChatGPT med hundredvis af millioner brugere er inference-omkostningen astronomisk.
2. Brugeroplevelsen. Inference-hastighed afgør om din AI-applikation føles hurtig eller langsom. Ingen vil vente 30 sekunder på et svar.
3. Skalerbarhed. En model kan trænes én gang, men inference skal skalere til millioner af samtidige brugere.
4. Edge deployment. Inference på enheder (smartphones, biler, IoT) kræver modeller der kan køre med begrænsede ressourcer.

Inference-processen for en LLM

Når du sender en prompt til en sprogmodel:

1. Tokenisering. Din tekst konverteres til tokens. Tal som modellen forstår.
2. Prefill. Modellen processerer alle input-tokens parallelt og opbygger en intern repræsentation (KV-cache).
3. Autoregresiv generering. Modellen genererer output ét token ad gangen. Hvert nyt token afhænger af alle tidligere tokens.
4. Detokenisering. Output-tokens konverteres tilbage til læsbar tekst.
5. Streaming. Tokens sendes til brugeren efterhånden som de genereres. Det er derfor du ser teksten dukke op ord for ord.

Trin 3 er flaskehalsen: modellen kan kun generere ét token ad gangen sekventielt. Det er grunden til at lange svar tager tid.

Inference-optimering

Fordi inference er den løbende omkostning, investeres der enormt i at gøre den hurtigere og billigere:

1. Quantization. Reducer præcisionen af modellens tal (f.eks. fra 16-bit til 4-bit). Hurtigere og billigere med minimal kvalitetstab.
2. Batching. Processér flere forespørgsler simultant i stedet for én ad gangen. Udnytter GPU’ens parallelisme bedre.
3. KV-cache. Gem mellemresultater så modellen ikke behøver genberegne hele konteksten for hvert nyt token.
4. Speculative decoding. En lille hurtig model foreslår tokens, den store model verificerer dem. Hurtigere end at den store model gør alt selv.
5. Model distillation. Træn en mindre, hurtigere model til at efterligne den stores adfærd.
6. Hardware-optimering. Specialiserede chips (NVIDIA TensorRT, Google TPU) og optimerede biblioteker (vLLM, TGI).
7. Context caching. Gem og genbrug processeringen af system prompts og anden statisk kontekst.

Inference i praksis

1. Cloud API. Når du bruger ChatGPT, Claude eller Gemini, kører inference på udbyderens GPU-klynger. Du betaler per token.
2. Self-hosted. Virksomheder kører inference på egen infrastruktur med open source-modeller via frameworks som vLLM, TGI eller Ollama.
3. Edge inference. AI der kører direkte på enheden: Siri på iPhone, autocomplete på din tastatur, ansigtsgenkendelse i kameraet.
4. Batch inference. Processering af store datamængder offline: klassificering af millioner af emails, analyse af kundefeedback, generering af produktbeskrivelser.

Inference-omkostninger

Inference er en enorm industri:

1. Token-prissætning. API-udbydere fakturerer per token. Input-tokens er billigere end output-tokens fordi output genereres sekventielt.
2. GPU-tid. Self-hosted inference faktureres typisk per GPU-time. En H100 koster $2-4 per time i cloud.
3. Skala. OpenAI bruger anslået hundredtusindvis af GPU’er alene til inference. Det er en milliardforretning.
4. Optimering betaler sig. En 2x forbedring i inference-effektivitet halverer omkostningerne. Ved Googles og OpenAIs skala er det milliarder af dollars.

Inference-tid compute

En nyere trend er at bruge mere compute under inference for at forbedre kvaliteten:

1. Extended thinking. Modeller som Claude og o1 bruger ekstra “tænketid” under inference til at ræsonnere grundigere.
2. Chain-of-thought. Modellen genererer mellemliggende ræsonneringstrin der forbedrer det endelige svar.
3. Best-of-N. Generér flere svar og vælg det bedste. Dyrere men højere kvalitet.

Denne tilgang bytter inference-compute for bedre kvalitet. Det modsatte af den traditionelle tilgang der fokuserer på at minimere inference-omkostninger.