Explainability (XAI)

Hvad er Explainability (XAI)?

Explainability, eller Explainable AI (XAI), handler om at gøre AI-systemers beslutninger forståelige for mennesker. Når en AI afviser din låneansøgning, diagnosticerer en sygdom eller anbefaler en behandling, skal det være muligt at forstå hvorfor.

De mest kraftfulde AI-modeller i dag (deep learning-netværk med milliarder af parametre) er notorisk svære at fortolke. De fungerer som “sorte bokse” (black boxes): data kommer ind, et resultat kommer ud, men hvad der sker imellem er uigennemskueligt. XAI arbejder på at åbne den sorte boks og gøre beslutningsprocessen gennemsigtig.

Hvorfor er explainability vigtigt?

Tillid

Mennesker stoler mere på systemer de forstår. En læge der forstår hvorfor en AI foreslår en bestemt diagnose, kan bedre vurdere om den er korrekt. En kunde der forstår hvorfor et lån blev afvist, kan handle på det.

Fejlfinding

Når en AI laver fejl, er explainability nødvendig for at finde årsagen. Uden forklaring kan udviklere kun konstatere at modellen fejlede, ikke hvorfor, eller hvordan det kan rettes.

Retfærdighed og bias-detektion

Explainability gør det muligt at opdage diskrimination. Hvis en model konsekvent afviser ansøgere fra bestemte postnumre, afslører forklaringerne at postnummer fungerer som proxy for etnicitet.

Lovkrav

EU AI Act kræver gennemsigtighed for højrisiko AI-systemer. GDPR giver borgere ret til “meningsfuld information om logikken” bag automatiserede beslutninger. Uden explainability kan disse krav ikke opfyldes.

Menneskelig kontrol

Explainability er forudsætningen for meningsfuld menneskelig oversight. En læge, dommer eller sagsbehandler kan kun kvalificeret overprøve en AI-beslutning, hvis de forstår grundlaget for den.

Typer af forklaringer

Globale forklaringer

Beskriver modellens overordnede adfærd: Hvilke features er generelt vigtigst? Hvordan påvirker de modellens beslutninger på tværs af alle cases?

Eksempel: “Kreditvurderingsmodellen lægger mest vægt på betalingshistorik (35%), gældsniveau (30%), kredithistorikkens længde (20%) og indkomst (15%).”

Lokale forklaringer

Forklarer én specifik beslutning: Hvorfor fik netop denne ansøger dette resultat?

Eksempel: “Din låneansøgning blev afvist primært fordi: (1) din gæld-til-indkomst-ratio er 52%, over grænsen på 43%, og (2) du har to forsinkede betalinger inden for de seneste 12 måneder.”

Kontrafaktiske forklaringer

Forklarer hvad der skulle have været anderledes for at få et andet resultat.

Eksempel: “Hvis din gæld-til-indkomst-ratio var under 43%, ville lånet sandsynligvis være blevet godkendt.”

Kontrafaktiske forklaringer er ofte de mest handlingsrettede. De fortæller personen hvad de kan ændre.

Teknikker til Explainability

SHAP (SHapley Additive exPlanations)

Baseret på spilteori. SHAP beregner hver features bidrag til en specifik forudsigelse ved at undersøge alle mulige kombinationer af features og deres effekt.

Styrke: Matematisk velfunderet, konsistent, giver både globale og lokale forklaringer. Svaghed: Beregningstung for store modeller, kan være svær at fortolke for ikke-tekniske brugere.

Eksempel: For en husprisforsigelse viser SHAP at beliggenhed tilføjer 500.000 kr. til den forudsagte pris, mens husets alder trækker 200.000 kr. fra.

LIME (Local Interpretable Model-agnostic Explanations)

Forklarer individuelle beslutninger ved at bygge en simpel, fortolkelig model (f.eks. lineær regression) der tilnærmer den komplekse models adfærd i nærheden af det specifikke datapunkt.

Styrke: Model-agnostisk (virker med enhver model), intuitive forklaringer. Svaghed: Lokale tilnærmelser kan være ustabile. Små ændringer i input kan give meget forskellige forklaringer.

Feature importance

Den simpleste form for explainability: en rangordning af hvilke input-variabler der har størst indflydelse på modellens beslutninger.

Styrke: Let at forstå, hurtig at beregne. Svaghed: Viser kun vigtighed, ikke retning (er høj indkomst positivt eller negativt?), og fanger ikke interaktioner mellem features.

Attention visualization

For transformer-modeller kan attention-vægte visualiseres for at vise hvilke dele af input modellen fokuserer på.

Eksempel: I en tekstklassifikationsmodel kan attention-visualisering vise at modellen fokuserede på ordene “forfærdelig service” og “aldrig igen” da den klassificerede en anmeldelse som negativ.

Svaghed: Attention-vægte er ikke altid en pålidelig indikator for kausal forklaring.

Concept-based forklaringer

I stedet for at forklare med features forklarer med højniveau-koncepter.

Eksempel: “Modellen klassificerede dette billede som ‘hund’ fordi den identificerede koncepterne ‘pels’, ‘snude’ og ‘fire ben’.”

Fortolkelige vs. forklarbare modeller

Der er en vigtig skelnen:

Iboende fortolkelige modeller

Modeller der i sig selv er gennemsigtige:

• Lineær regression. Hvert features bidrag er direkte aflæseligt fra koefficienten
• Decision trees. Beslutningsstien kan følges fra rod til blad
• Regelbaserede systemer. Eksplicitte if-then-regler der kan læses

Disse modeller kræver ikke separate forklaringsværktøjer. Forklaringen er modellen selv.

Post-hoc forklaringer af sorte bokse

Teknikker der forklarer komplekse modeller efter træning:

• SHAP, LIME og feature importance på neurale netværk
• Attention-visualisering i transformere
• Counterfactual analysis

Afvejningen er klassisk: simple, fortolkelige modeller er lettere at forklare men ofte mindre præcise. Komplekse modeller er mere præcise men sværere at forklare.

Praktiske eksempler

Eksempel 1: Forklarbar kreditvurdering

En bank implementerer en AI-baseret kreditvurdering med SHAP-forklaringer. Hver afgørelse ledsages af:

Eksempel 2: Forklarbar medicinsk AI

En AI-model der analyserer hudlæsioner forklarer sine diagnoser visuelt: den markerer de specifikke områder af billedet der bidrog til klassificeringen og angiver hvilke visuelle træk (asymmetri, farvevariationer, uregelmæssige kanter) der var udslagsgivende. Dermatologen kan dermed vurdere om modellen fokuserer på de klinisk relevante træk.

Eksempel 3: Forklarbar tekstklassifikation

Et moderationssystem der flagger potentielt skadeligt indhold forklarer:

Moderatoren kan hurtigt vurdere om flagningen er korrekt baseret på forklaringen.

Udfordringer

Præcision vs. forklarbarhed

De mest præcise modeller (dybe neurale netværk) er de sværeste at forklare. Enklere, mere forklarlige modeller kan være mindre præcise. I kritiske domæner som sundhed kan det være svært at vælge mellem en mere præcis black box og en mindre præcis men forklarlig model.

Forklaringer kan være vildledende

En forklaring der virker tilfredsstillende er ikke nødvendigvis korrekt. Post-hoc forklaringer er tilnærmelser og kan overse vigtige aspekter af modellens faktiske beslutningsproces.

Hvem er forklaringen til?

En datalog, en læge, en kunde og en reguleringsmyndighed har brug for fundamentalt forskellige forklaringer. At designe forklaringer der er relevante og forståelige for den rette målgruppe er en designudfordring.

Forklaringer af LLM’er

Store sprogmodeller med hundredvis af milliarder parametre er særligt udfordrende at forklare. Aktiv forskning (f.eks. Anthropics interpretability-arbejde) forsøger at forstå hvad der foregår inde i disse modeller, men feltet er stadig ungt.

Ofte stillede spørgsmål

Hvad er Explainability (XAI)?

Explainability eller Explainable AI (XAI) er evnen til at forstå og forklare hvordan et AI-system når frem til sine beslutninger. Det omfatter teknikker som SHAP og LIME der gør det muligt at se hvilke faktorer der påvirkede en bestemt beslutning, og hvorfor modellen producerede netop det resultat.

Hvorfor kræver EU AI Act forklarbarhed?

EU AI Act kræver gennemsigtighed for højrisiko AI-systemer fordi mennesker der påvirkes af AI-beslutninger har ret til at forstå grundlaget. Uden forklarbarhed kan man ikke verificere om systemet er retfærdigt, opdage fejl eller meningsfuldt overprøve beslutninger. GDPR giver desuden borgere ret til forklaring af automatiserede beslutninger.

Hvad er forskellen på explainability og interpretability?

Begreberne bruges ofte synonymt, men der er en nuance. Interpretability handler om hvor let det er at forstå en models mekanik, lineær regression er inherent fortolkelig. Explainability handler om at generere forklaringer for modeller der ikke i sig selv er gennemsigtige, for eksempel at bruge SHAP til at forklare et neuralt netværks beslutning.

Kan man altid forklare hvad en AI gør?

I teorien kan man altid generere en forklaring, men kvaliteten og pålideligheden varierer. Enkle modeller som decision trees er fuldt gennemsigtige. Komplekse modeller som store sprogmodeller er stadig meget svære at forklare fuldstændigt. Forskning i mechanistic interpretability forsøger at forstå hvad der foregår inde i disse modeller, men det er et åbent forskningsproblem.