AI Ordbog
In-context learning
LLM'ers evne til at lære nye opgaver direkte fra prompten uden ekstra træning.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 3. oktober 2026Indhold
Hvad er in-context learning?
In-context learning (ICL) er en sprogmodels evne til at lære nye opgaver direkte fra instruktioner og eksempler i prompten, uden at modellens parametre ændres. Modellen “lærer” i det øjeblik den læser din prompt og anvender den lærdom i sit svar.
Det adskiller sig fundamentalt fra traditionel maskinlæring, hvor læring kræver at modellens parametre opdateres gennem træning. Ved in-context learning forbliver modellen uændret. Den bruger bare den information den får i prompten til at tilpasse sit svar.
Begrebet blev populariseret af GPT-3-papiret i 2020, hvor OpenAI demonstrerede at en stor nok sprogmodel kunne lære nye opgaver bare ved at se eksempler i prompten. Det var et overraskende resultat: modellen var ikke designet til at lære på den måde, men evnen opstod som en emergent egenskab af skala.
Hvordan fungerer in-context learning?
Processen er simpel fra brugerens perspektiv:
- Giv kontekst. Inkludér instruktioner og/eller eksempler i din prompt der demonstrerer den opgave du vil have løst.
- Modellen tilpasser sig. Baseret på konteksten i prompten justerer modellen sin adfærd for dette specifikke svar. Den genererer output der matcher mønsteret den ser i prompten.
- Ingen permanent ændring. Når samtalen er slut, er modellen uændret. Den har ikke “lært” noget permanent. Den tilpassede sig kun til konteksten i den specifikke prompt.
In-context learning inkluderer
- Zero-shot learning. Instruktioner alene: “Oversæt til fransk: Hello world.” Modellen forstår opgaven uden eksempler.
- One-shot learning. Ét eksempel: “cat → kat. dog → ?” Modellen forstår mønsteret fra ét eksempel.
- Few-shot learning. Flere eksempler der demonstrerer mønsteret mere tydeligt.
- Instruktionsfølgning. Modellen følger komplekse, flerleddede instruktioner i system- og brugerprompten.
Hvorfor er in-context learning bemærkelsesværdigt?
- Ingen gradient-opdatering. Traditionel læring kræver at modellens parametre justeres via backpropagation. In-context learning sker helt inden for et enkelt forward pass. Modellen “lærer” uden at ændre sig.
- Emergent evne. Mindre modeller kan ikke lave in-context learning effektivt. Det opstår først når modeller når en vis størrelse. Typisk milliarder af parametre.
- Universalitet. Med in-context learning kan én model løse næsten enhver opgave (klassifikation, oversættelse, programmering, ræsonnering) blot ved at ændre prompten.
- Hastighed. Ingen træningstid, ingen GPU-klynger, ingen datasæt-forberedelse. Du skriver en prompt, og modellen tilpasser sig øjeblikkeligt.
In-context learning i praksis
- Prompt engineering. Hele feltet prompt engineering handler i bund og grund om at optimere in-context learning: at give modellen den bedste kontekst til at løse din opgave.
- System prompts. Når du giver en AI-assistent en systemprompt (“Du er en venlig kundeservice-medarbejder”), bruger du in-context learning til at definere modellens adfærd.
- RAG. Retrieval-Augmented Generation bruger in-context learning ved at indsætte relevante dokumenter i prompten, så modellen kan besvare spørgsmål baseret på specifik viden.
- Kode-generering. Vis modellen din eksisterende kode og bed den skrive mere i samme stil. Modellen tilpasser sig din kodebase via in-context learning.
Forstår modellen virkelig? Det er et åbent forskningsspørgsmål hvordan in-context learning fungerer internt. Nogle forskere har vist at transformers implicit implementerer gradient descent-lignende beregninger under in-context learning. De “simulerer” træning internt. Andre argumenterer for at modellen bare genkender mønstre den har set under præ-træning. Sandheden er sandsynligvis et sted imellem, og forskningen er stadig aktiv.
FAQ
Hvad er in-context learning?
In-context learning er en sprogmodels evne til at lære nye opgaver direkte fra eksempler og instruktioner i prompten, uden at modellens parametre ændres. Det er grunden til at du kan bede ChatGPT om næsten enhver opgave og få et relevant svar. Modellen tilpasser sig konteksten i din prompt.
Hvad er forskellen på in-context learning og fine-tuning?
In-context learning sker i prompten og ændrer ikke modellen. Det er midlertidigt og forsvinder når samtalen er slut. Fine-tuning ændrer modellens parametre permanent og kræver et træningsdatasæt og beregningskraft. In-context learning er hurtigere og nemmere, fine-tuning giver mere varige og konsistente resultater.
Har in-context learning begrænsninger?
Ja. Det er begrænset af kontekstvinduets størrelse. Du kan kun give modellen så mange eksempler og instruktioner som der er plads til. Det er også mindre pålideligt end fine-tuning for konsistent, specialiseret adfærd. Og det koster tokens (og dermed penge) at inkludere eksempler i hver prompt.