AI Ordbog
Golden dataset
Et fast sæt testopgaver med kendte, godkendte svar, som en AI-løsning måles mod.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 16. oktober 2026Indhold
Hvad er et golden dataset?
Et golden dataset er et fast sæt testopgaver med godkendte svar. Hver opgave har et input og et facit. Et menneske, der kender faget, har kontrolleret facit. Sættet bruges til at teste en AI-løsning.
Ordet golden betyder her, at svarene er dem, man stoler på. Andre kalder det ground truth eller referencesvar. OpenAI bruger i sin vejledning ordet “gold standard” om et referencesvar. Microsoft taler om ground truth. Betydningen er den samme.
Sættet er grundlaget for evals. Uden et facit kan man ikke sige, om en ændring gjorde løsningen bedre eller dårligere.
Hvordan virker det?
En række i et golden dataset har typisk tre felter:
- Input. Spørgsmålet, dokumentet eller mailen, som AI’en skal arbejde med.
- Forventet svar. Det rigtige svar, eller de punkter et godt svar skal indeholde.
- Noter. Hvorfor opgaven er med. For eksempel “kunden spurgte om to ting på én gang”.
Når du ændrer prompt eller model, kører du hele sættet igen. Du sammenligner de nye svar med facit. Det kan gøres med kode, med en AI-dommer (LLM-as-a-judge) eller af et menneske.
Anthropic anbefaler at starte med opgaver fra rigtige fejl. Hver gang en kunde eller kollega finder en fejl, bliver den til en ny opgave i sættet.
Et eksempel
Et tænkt vikarbureau med 50-70 ansatte bruger AI til at finde data i ansøgninger. Navn, skole, kørekort og job.
De vælger et par dusin rigtige ansøgninger. Nogle er pæne pdf’er. Nogle er fotos af håndskrift. Nogle mangler oplysninger. En konsulent udfylder facit for hver. Ansøgningerne bliver anonymiseret, før de lægges i sættet.
Når leverandøren opdaterer modellen, kører bureauet sættet igen. De kan se, at håndskrevne ansøgninger nu går bedre, men at kørekort oftere bliver overset. Det får de rettet i prompten.
Det skal du passe på
Det bliver forældet. Kunder, produkter og regler ændrer sig. Et sæt fra sidste år tester måske noget, der ikke er relevant længere. Gennemgå det jævnligt.
For lette opgaver. Et sæt med kun pæne eksempler giver en for høj score. Tag de svære sager med.
Persondata. Rigtige sager indeholder ofte personoplysninger. Anonymisér dem, eller sørg for at sættet håndteres efter GDPR.
Træning på facit. Hvis eksemplerne også bruges i prompten eller til fine-tuning, måler du ikke længere noget nyt. Hold testsættet adskilt.
Uenighed om facit. To medarbejdere kan være uenige om det rigtige svar. Skriv ned, hvordan I afgør det.
Kilder
Kontrolleret 16. oktober 2026.
FAQ
Hvad er et golden dataset?
Et fast sæt testopgaver, hvor et menneske har godkendt det rigtige svar på hver. Det bruges som facit, når man tester en AI-løsning. Det kaldes også ground truth eller referencesvar.
Hvor stort skal et golden dataset være?
Der er ikke ét tal. Anthropic skriver om evals, at 20 til 50 opgaver taget fra rigtige fejl er en god start. Opgaverne skal ligne den virkelige brug og dække de fejl, I har set.
Kan man lave et golden dataset med AI?
AI kan hjælpe med at finde på varianter af en opgave. Men facit skal godkendes af et menneske, der kender faget. Ellers tester du AI'en mod sig selv.