AI Ordbog
pass@k
Et mål for, hvor tit en AI løser en opgave mindst én gang ud af k forsøg. Søsteren pass^k måler, om den løser den hver gang.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 23. oktober 2026Indhold
Hvad er pass@k?
pass@k er et mål for, hvor tit en AI løser en opgave mindst én gang, når den får k forsøg. Udtales “pass at k”. Målet blev udbredt i 2021 med HumanEval, en test af kodning fra OpenAI. Kilde: Chen m.fl., 2021.
Lad AI’en løse en opgave tre gange. Er mindst én løsning rigtig, består opgaven efter pass@3. pass@1 er det mest brugte tal. Det er andelen af opgaver, der løses i første forsøg.
pass^k: hver gang
Anthropic bruger også pass^k. Det er sandsynligheden for, at alle k forsøg lykkes. Det er et mål for pålidelighed. Kilde: Anthropic.
De to mål trækker hver sin vej. Et eksempel fra Anthropic: En agent lykkes i 75 procent af forsøgene. Med tre forsøg er sandsynligheden for, at alle tre lykkes, 0,75 × 0,75 × 0,75, altså omkring 42 procent. Med ti forsøg nærmer pass@k sig 100 procent, mens pass^k nærmer sig 0.
| Forsøg (k) | pass@k | pass^k |
|---|---|---|
| 1 | 75 % | 75 % |
| 3 | ca. 98 % | ca. 42 % |
| 10 | næsten 100 % | ca. 6 % |
Tallene i tabellen er regnet ud fra 75 procent pr. forsøg.
Hvorfor betyder det noget?
Når en leverandør skriver “løser 80 procent af opgaverne”, så spørg, hvilket mål tallet bygger på. Det er stor forskel på “lykkes mindst én gang ud af ti” og “lykkes hver gang”.
Et tænkt eksempel: Et forsikringsfirma med 120 ansatte tester en agent, der svarer på spørgsmål om dækning. Den svarer rigtigt i 90 procent af tilfældene. Firmaet stiller hvert spørgsmål fem gange. Kun 59 procent af spørgsmålene får rigtigt svar alle fem gange. Det er det tal, kunderne vil mærke.
Det skal du passe på
- Små testsæt giver usikre tal. Med 20 opgaver flytter én fejl tallet fem procentpoint.
- pass@k forudsætter, at nogen vælger. Et højt pass@10 hjælper kun, hvis nogen kan se, hvilket af de ti svar der er det rigtige.
Kilder
Kilderne er set 23. oktober 2026.
FAQ
Hvad betyder pass@1?
Andelen af opgaver, AI'en løser i første forsøg. Det er det tal, der oftest står i benchmarks for kodning, fordi brugeren typisk kun ser det første svar.
Hvad er forskellen på pass@k og pass^k?
pass@k måler, om mindst ét af k forsøg lykkes. pass^k måler, om alle k forsøg lykkes. Med flere forsøg stiger pass@k, mens pass^k falder.
Hvilket tal skal en virksomhed kigge på?
Det afhænger af opgaven. Kan en medarbejder vælge det bedste af flere forslag, giver pass@k mening. Skal en agent gøre det rigtige hver gang over for kunder, er pass^k det relevante tal.