AI Ordbog
Fejlanalyse (error analysis)
At læse rigtige AI-svar igennem, skrive fejlene ned og tælle, hvilke slags fejl der sker oftest, før du bygger tests.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 23. oktober 2026Indhold
Hvad er fejlanalyse?
Fejlanalyse er en metode til at finde ud af, hvad der faktisk går galt i en AI-løsning. Du læser rigtige svar igennem, skriver fejlene ned og sorterer dem i typer. Så tæller du, hvilke typer der sker oftest.
Metoden er gammel i maskinlæring. Hamel Husain og Shreya Shankar har gjort den kendt for sprogmodeller. De kalder den den vigtigste aktivitet i evals, fordi den afgør, hvilke tests der overhovedet skal bygges. Kilde: Husain og Shankar.
Sådan gør du
- Saml rigtige eksempler. Tag omkring 100 forskellige samtaler eller opgaver fra den rigtige brug. Gerne både lette og svære.
- Læs og skriv noter. Skriv kort og frit, hvad der er galt i hver. Start med den første fejl i hvert forløb.
- Sortér noterne. Saml dem i fejltyper, fx “forkert pris”, “mangler leveringsdato”, “for lang”.
- Tæl. Hvor mange af hver type? Den største type rettes først.
- Byg tests. Lav evals for de fejltyper, der betyder noget.
Husain og Shankar anbefaler ja/nej-vurderinger frem for karakterer. De advarer mod færdige mål som “hjælpsomhed”. Den slags tal giver falsk tryghed.
Et eksempel
Et tænkt eksempel: En vinhandel med 15 ansatte har en AI, der svarer kunder på mail. Indehaveren læser 100 svar fra sidste måned og skriver noter. Fejlene samler sig i fire typer. Den største er “anbefaler vin, der er udsolgt” med 14 tilfælde. Den næste er “forkert leveringstid” med 9. Hun starter med at give AI’en adgang til lagerstatus. Det løser den største type.
Hvorfor ikke bare måle?
Mange starter med at bygge en AI-dommer eller vælge færdige mål. Men uden fejlanalyse ved du ikke, hvad du skal måle. Du risikerer at måle noget, der er let at måle, frem for det, der går galt.
Det skal du passe på
- Læs selv. Fejlanalyse kan ikke overlades helt til en AI. Brug AI til at foreslå typer, når du har læst de første selv.
- Én fagperson har det sidste ord. Ellers bliver vurderingerne uens.
- Gentag. Fejltyperne ændrer sig, når løsningen bliver bedre.
Kilder
Kilderne er set 23. oktober 2026.
FAQ
Hvad er fejlanalyse i AI?
At læse et udvalg af rigtige AI-svar, skrive ned hvad der gik galt, og sortere fejlene i typer. Så kan du se, hvilke fejl der sker oftest, og rette dem først.
Hvor mange svar skal man læse?
Hamel Husain og Shreya Shankar foreslår at arbejde med omkring 100 forskellige eksempler og læse, indtil nye svar ikke giver nye fejltyper. Det er ofte nok til at se mønstret.
Hvem skal lave fejlanalysen?
En person, der kender faget. Husain og Shankar anbefaler, at én fagperson har det sidste ord om kvalitet. Det giver mere ensartede vurderinger end en stor gruppe.