Fairness

Hvad er fairness i AI?

Fairness (retfærdighed) i AI handler om at sikre, at AI-systemer ikke diskriminerer eller uretfærdigt benadeler bestemte grupper af mennesker. Når en AI træffer beslutninger om mennesker (ansættelse, kreditvurdering, medicinsk diagnose, strafsanktioner) skal den gøre det retfærdigt, uanset personens køn, etnicitet, alder, handicap eller andre beskyttede karakteristika.

Det lyder indlysende, men er overraskende komplekst. “Retfærdighed” kan defineres på mange måder, og disse definitioner er ofte matematisk uforenelige. Man kan ikke opfylde dem alle samtidigt. At gøre AI fair kræver derfor bevidste valg om hvilken type retfærdighed der er vigtigst i en given kontekst.

Hvorfor er fairness svært?

Retfærdighed har mange definitioner

Forestil dig et AI-system der vurderer låneansøgninger. Hvad betyder “fair”?

• Samme godkendelsesrate for alle grupper? (demographic parity)
• Samme fejlrate for alle grupper? (equalized odds)
• Samme præcision i forudsigelserne for alle grupper? (calibration)
• Individuel vurdering udelukkende baseret på relevante faktorer? (individual fairness)

Disse definitioner kan ikke alle opfyldes samtidigt. Det er matematisk bevist (Chouldechova, 2017; Kleinberg et al., 2016). Et system der opnår lige godkendelsesrater på tværs af grupper, vil næsten aldrig samtidig have lige fejlrater. Og omvendt.

Historiske skævheder i data

Selv når et AI-system teknisk opfylder en fairness-metrik, kan det stadig reproducere historiske uretfærdigheder. Hvis kvinder historisk har fået lavere løn end mænd for det samme arbejde, vil en AI der trænes på historiske løndata lære at prissætte kvinders arbejde lavere. Og teknisk set have “korrekte” forudsigelser baseret på data.

Proxy-variabler

Selv når beskyttede karakteristika (køn, etnicitet) fjernes fra modellen, kan andre variabler fungere som proxy. Postnummer korrelerer med etnicitet. Barselsorlov korrelerer med køn. Fornavn korrelerer med alder og kulturel baggrund. Modellen kan “lære” beskyttede karakteristika indirekte.

Definitioner af fairness

Demographic parity (statistisk paritet)

Princip: Alle grupper skal have samme sandsynlighed for et positivt udfald.

Eksempel: Hvis 60% af mandlige ansøgere godkendes til et lån, skal 60% af kvindelige ansøgere også godkendes.

Styrke: Sikrer lige repræsentation i udfaldet. Svaghed: Ignorerer om grupperne faktisk har forskellige risikoprofiler. Kan kræve at kvalificerede ansøgere afvises for at opnå balance.

Equalized odds (lige fejlrater)

Princip: Modellens fejlrater skal være ens på tværs af grupper: både falsk positive (godkender forkert) og falsk negative (afviser forkert).

Eksempel: Hvis modellen fejlagtigt godkender 5% af ikke-kreditværdige mandlige ansøgere, skal den også fejlagtigt godkende 5% af ikke-kreditværdige kvindelige ansøgere.

Styrke: Sikrer at fejl er ligeligt fordelt og ikke rammer én gruppe hårdere. Svaghed: Kan stadig give forskellige godkendelsesrater for grupper med forskellige grundrater.

Calibration (kalibrering)

Princip: Når modellen siger “80% sandsynlighed for tilbagebetaling”, skal det gælde uanset ansøgerens gruppe.

Eksempel: Blandt alle ansøgere modellen giver en score på 0.8, skal ca. 80% faktisk tilbagebetale, uanset om de er mænd eller kvinder.

Styrke: Sikrer at modellens konfidens er meningsfuld for alle grupper. Svaghed: Kan stadig resultere i forskellige afvisningsrater for forskellige grupper.

Individual fairness

Princip: Lignende personer skal behandles lige. To ansøgere med samme kvalifikationer skal have samme udfald, uanset gruppemedlemskab.

Styrke: Intuitiv og fokuserer på individet snarere end gruppen. Svaghed: Svært at definere “lignende”. Kræver en afstandsmetrik der i sig selv kan indeholde bias.

Fairness i praksis

Trin 1: Definer hvad “fair” betyder

Før du kan gøre et AI-system fair, skal du beslutte hvilken definition af fairness der er mest relevant. Det er en etisk og kontekstuel beslutning, ikke en teknisk:

• Ansættelse. Individual fairness er ofte vigtigst: vurder kandidater på kvalifikationer, ikke gruppemedlemskab
• Kreditvurdering. Calibration er ofte vigtigst: modellens risikovurdering skal være præcis for alle grupper
• Sundhedsscreening. Equalized odds er ofte vigtigst: modellen skal have samme detektionsrate for sygdom, uanset patientens baggrund

Trin 2: Mål fairness

Brug disaggregeret evaluering. Mål modellens performance separat for hver relevant gruppe:

• Opdel testdata efter køn, alder, etnicitet og andre relevante dimensioner
• Beregn performance-metrikker (accuracy, precision, recall) for hver gruppe
• Identificer signifikante forskelle mellem grupper
• Beregn de relevante fairness-metrikker

Trin 3: Adressér uretfærdighed

Afhængigt af hvor skævheden opstår, kan forskellige teknikker bruges:

Pre-processing (før træning)

• Balancér datasæt for at sikre lige repræsentation
• Fjern eller transformér korrelerede features
• Generer syntetisk data for underrepræsenterede grupper

In-processing (under træning)

• Tilføj fairness-constraints til modellens optimeringsfunktion
• Brug adversarial debiasing der straffer modellen for at kunne forudsige beskyttede attributter
• Anvend fairness-aware algoritmer

Post-processing (efter træning)

• Justér beslutningstærskler per gruppe for at opnå ønsket fairness-metrik
• Kalibrer modellens output separat for hver gruppe

Trin 4: Monitorer løbende

Fairness er ikke en engangsøvelse. Modeller kan drifte over tid, og nye skævheder kan opstå:

• Overvåg fairness-metrikker i produktion
• Sæt alerts for signifikante ændringer
• Gennemfør regelmæssige fairness-audits

Praktiske eksempler

Eksempel 1: Fair kreditvurdering

En bank implementerer en AI-baseret kreditvurdering og vil sikre fairness:

1. Definerer calibration som den primære fairness-metrik: modellens risikovurdering skal være lige præcis for alle grupper
2. Tester modellen og opdager at den overvurderer risikoen for ansøgere fra bestemte postnumre
3. Identificerer at postnummer fungerer som proxy for etnicitet
4. Reducerer postnummers vægt i modellen og tilføjer fairness-constraints under træning
5. Verificerer at kalibreringen nu er ensartet på tværs af grupper

Eksempel 2: Fair rekruttering

En virksomhed bruger AI til CV-screening:

1. Definerer individual fairness: kandidater med lige kvalifikationer skal vurderes ens
2. Blinder modellen for navn, køn, alder og foto
3. Tester med syntetiske CV’er der kun adskiller sig på beskyttede attributter
4. Opdager at modellen stadig favoriserer kandidater med bestemte universitetsbaggrunde (en proxy for socioøkonomisk status)
5. Justerer modellen til at vægte kompetencer og erfaring højere end uddannelsesinstitution

Eksempel 3: Fair sundhedsscreening

Et hospital bruger AI til at prioritere patienter til videre undersøgelse:

1. Definerer equalized odds: modellen skal have samme detektionsrate for sygdom uanset patientens baggrund
2. Tester og opdager at modellen er dårligere til at opdage sygdom hos kvinder end mænd
3. Identificerer at træningsdata var skævt mod mandlige patienter
4. Indsamler flere data fra kvindelige patienter og re-træner modellen
5. Verificerer at detektionsraten nu er ensartet

Fairness og lovgivning

EU AI Act

Klassificerer AI-systemer der bruges til kreditvurdering, ansættelse, sundhed og retshåndhævelse som højrisiko. Kræver at disse systemer testes for bias og dokumenterer fairness-foranstaltninger.

Ligebehandlingsloven (Danmark)

Forbyder diskrimination baseret på køn, race, hudfarve, religion, politisk overbevisning, seksuel orientering, alder, handicap og national eller etnisk oprindelse. Gælder også for AI-baserede beslutninger.

GDPR Artikel 22

Giver borgere ret til ikke at være underlagt beslutninger baseret udelukkende på automatiseret behandling, der har væsentlig effekt. Kræver mulighed for menneskelig gennemgang og indsigelse.

Kendte fairness-værktøjer

Ofte stillede spørgsmål

Hvad er fairness i AI?

Fairness i AI handler om at sikre at AI-systemer behandler alle grupper af mennesker retfærdigt og uden uretmæssig diskrimination. Det omfatter matematiske definitioner af retfærdighed, metrikker til at måle om et system er fair, og teknikker til at reducere uretfærdighed i AI-baserede beslutninger.

Kan et AI-system være 100% fair?

Nej, i den forstand at der findes flere matematisk uforenelige definitioner af fairness. Man kan ikke opfylde dem alle samtidigt. Men man kan vælge den definition af fairness der er mest relevant for konteksten og optimere systemet mod den. Det vigtigste er at gøre bevidste, dokumenterede valg om retfærdighed.

Hvad er forskellen på bias og fairness i AI?

Bias refererer til systematiske skævheder i AI-systemer. Det er problemet. Fairness refererer til principperne, definitionerne og teknikkerne der bruges til at sikre retfærdig behandling. Det er løsningen. Bias-detektion identificerer skævheder; fairness-metrikker og -teknikker adresserer dem.

Hvem bestemmer hvad der er “fair” i en AI-model?

Det er en etisk og kontekstuel beslutning der bør involvere domæneeksperter, berørte grupper, jurister og tekniske teams. Der er ikke én universel definition af fairness. Den rette definition afhænger af konteksten: sundhed, kreditvurdering, ansættelse og retshåndhævelse kræver hver deres tilgang til retfærdighed.