AI Ordbog
Evals (AI-evaluering)
Faste test der måler om en AI-løsning gør det, den skal, også efter en ændring.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 16. oktober 2026Indhold
Hvad er evals?
Evals er faste test af en AI-løsning. Du giver løsningen en række opgaver. Du ser på svarene. Du bedømmer dem efter faste regler. Så kører du de samme test igen, hver gang noget ændrer sig.
Ordet er en forkortelse af det engelske evaluations. På dansk kan man sige AI-evaluering.
Almindelig software giver det samme svar hver gang. En sprogmodel gør ikke. Den kan svare lidt forskelligt på det samme spørgsmål. OpenAI skriver i sin vejledning, at klassiske testmetoder derfor ikke er nok. Evals er OpenAI’s svar på det.
Hvordan virker det?
En eval har tre dele:
- Opgaver. Realistiske input, gerne fra rigtig brug. Et sæt af den slags kaldes et golden dataset.
- Svar. Det, AI-løsningen giver tilbage.
- Bedømmelse. Kode, der tjekker et fast svar. En anden model, der bedømmer efter kriterier. Eller et menneske.
Anthropic skelner mellem to typer i en artikel fra januar 2026. Kapacitets-evals måler hvad løsningen kan. De starter med en lav score og giver noget at arbejde hen imod. Regressions-evals tjekker at løsningen stadig kan det, den kunne. De bør ligge tæt på 100 procent.
Anthropic anbefaler også en referenceløsning til hver opgave: et svar, man ved er rigtigt. Så kan man se, om opgaven og bedømmelsen virker.
Hvilke værktøjer findes?
Google har Gen AI evaluation service i Vertex AI. Microsoft har indbyggede evaluatorer i Microsoft Foundry. OpenAI har en vejledning i evaluering og har haft en Evals-platform. Den platform lukker ifølge OpenAI: den bliver skrivebeskyttet 31. oktober 2026 og lukker 30. november 2026. Der findes også open source-værktøjer. Et regneark med opgaver og bedømmelser er en fin start.
Et eksempel
En tænkt ejendomsadministration med 25-35 ansatte har en AI-assistent, der laver udkast til svar på lejernes mails. Ledelsen vil skifte til en nyere model.
Før skiftet samler de et par dusin rigtige mails fra det seneste halve år. Til hver skriver en medarbejder, hvad et godt svar skal indeholde. De kører begge modeller på alle mails og sammenligner. Den nye model er bedre til de fleste. Men den lover en gang imellem en frist, som firmaet ikke kan holde. Det fanger de, før kunderne gør.
Det skal du passe på
For få eller for pæne opgaver. Testopgaver, man selv har fundet på, er ofte lettere end virkeligheden. Tag dem fra rigtige sager.
Én score siger lidt. Se på de enkelte fejl. Et gennemsnit kan skjule en alvorlig fejl.
Ukalibreret AI-dommer. Bruger du en model til at bedømme, så tjek den mod et menneskes vurdering.
Glemte evals. Evals hjælper kun, hvis de køres ved hver ændring af prompt, model eller data.
Kilder
Kontrolleret 16. oktober 2026.
- Anthropic: Demystifying evals for AI agents (9. januar 2026)
- OpenAI: Evaluation best practices
- OpenAI: Deprecations (Evals-platformen, annonceret 3. juni 2026)
- Google Cloud: Gen AI evaluation service overview
- Microsoft Learn: Built-in evaluators i Microsoft Foundry
FAQ
Hvad er forskellen på evals og benchmarks?
Et benchmark er en offentlig test, der sammenligner modeller på de samme opgaver. Evals er dine egne test af din egen løsning, med dine egne data og dine egne krav. En model kan score højt på et benchmark og stadig fejle på jeres opgaver.
Hvor mange testopgaver skal man have?
Anthropic skriver, at 20 til 50 enkle opgaver taget fra rigtige fejl er en god start. Man skal ikke vente, til man har hundredvis. Sættet vokser, efterhånden som man finder nye fejl.
Hvem bedømmer svarene i en eval?
Tre muligheder: kode, der tjekker et fast svar; en anden sprogmodel, der bedømmer efter et bedømmelsesskema (på engelsk rubric), kaldet LLM-as-a-judge; eller et menneske. De fleste bruger en blanding.