AI Ordbog
Data contamination
Når testspørgsmålene fra et benchmark er havnet i modellens træningsdata, så scoren viser hukommelse frem for evne.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 24. oktober 2026Indhold
Hvad er data contamination?
Data contamination betyder, at testens spørgsmål er havnet i modellens træningsdata. På dansk kan man sige forurenede data. Begrebet kaldes også benchmark contamination.
Det svarer til en elev, der har set eksamensopgaverne før eksamen. Karakteren bliver høj, men den viser ikke, hvad eleven kan med nye opgaver.
Hvordan sker det?
Store sprogmodeller trænes på enorme mængder tekst fra nettet. Benchmarks ligger ofte offentligt, sammen med løsninger, diskussioner og kopier. Så ender de i træningsdata, også uden at nogen har ment det.
Hvad viser forskningen?
- Forskere fra Scale AI lavede i 2024 GSM1k, en ny test i samme stil som den kendte matematiktest GSM8k. Flere modeller klarede sig op til 8 procent dårligere på de nye opgaver. Det tyder på, at de delvist havde lært den gamle test udenad. Kilde: Zhang m.fl., 2024.
- Chunyuan Deng og kolleger viste i 2023, at nogle kommercielle modeller kunne gætte et skjult, forkert svar i opgaver med flere svarmuligheder. Det tyder på, at de havde set opgaverne før. Kilde: Deng m.fl., 2023.
Hvad betyder det for jer?
Når en leverandør viser en høj score på et benchmark, er det et fingerpeg, ikke en garanti. Modellen kan have set opgaverne. Benchmarket ligner måske heller ikke jeres opgaver.
Et tænkt eksempel: Et regnskabsbureau med 20 ansatte skal vælge mellem to modeller til at læse bilag. Den ene har den højeste score på et offentligt benchmark. Bureauet tester begge på 40 af sine egne bilag, som aldrig har været på nettet. Den anden model klarer sig bedst på netop deres bilag.
Det skal du passe på
- Hold jeres testsæt privat. Lægger I det på nettet, kan det ende i næste models træning.
- Skift opgaver ud. Tilføj nye sager løbende, så testen ikke bliver gammel.
- Kig efter nye tests. Benchmarks med opgaver fra efter modellens træning er sværere at snyde.
Kilder
Kilderne er set 24. oktober 2026.
FAQ
Hvad er data contamination?
At en AI-model har set spørgsmålene fra en test, mens den blev trænet. Så kan den score højt, fordi den husker opgaverne, ikke fordi den kan løse nye.
Hvordan sker det?
Modeller trænes på store mængder tekst fra nettet. Benchmarks og løsninger ligger ofte offentligt. Så kommer de med i træningsdata, selv om ingen har ment det.
Hvad kan en virksomhed gøre ved det?
Test modellen på jeres egne opgaver, som ikke ligger på nettet. Et lille, privat testsæt fra jeres egen hverdag siger mere om jeres brug end en offentlig score.