Black box

Hvad er en black box i AI?

En black box (sort boks) er et AI-system hvor man kan se hvad der går ind (input) og hvad der kommer ud (output), men ikke hvad der sker indeni. Beslutningsprocessen er uigennemskuelig. Selv for systemets udviklere.

Begrebet stammer fra ingeniørvidenskaben, hvor en black box er ethvert system der kan observeres udefra men ikke indefra. I AI-sammenhæng bruges det primært om komplekse maskinlæringsmodeller, især dybe neurale netværk, hvor milliarder af parametre interagerer på måder der er praktisk umulige at følge for et menneske.

Forestil dig det sådan: Du giver en black box-model et foto, og den siger “kat” med 97% sikkerhed. Den har ret. Men spørger du hvorfor, kan hverken modellen eller dens udviklere give et præcist svar. De ved at netværkets milliarder af parametre tilsammen producerer svaret, men den specifikke ræsonneringsproces er usynlig.

Hvad gør en model til en black box?

Kompleksitet

Den primære årsag er ren kompleksitet. Et moderne neuralt netværk som GPT eller Claude har hundredvis af milliarder parametre organiseret i hundredvis af lag. Hvert input behandles af millioner af matematiske operationer. Selv med fuld adgang til alle parametre er det praktisk umuligt for et menneske at følge ræsonnementet fra input til output.

Distribueret repræsentation

I et neuralt netværk er viden ikke lagret på et bestemt sted. Den er fordelt over millioner af parametre. Et enkelt koncept som “hund” repræsenteres af et mønster af aktivationer på tværs af tusindvis af neuroner. Der er ikke en enkelt “hund-neuron” man kan pege på.

Ikke-lineære interaktioner

Neurale netværk bruger ikke-lineære aktiveringsfunktioner, hvilket betyder at sammenhængen mellem input og output ikke kan beskrives med simple regler. Små ændringer i input kan give store ændringer i output, og vice versa.

Black box vs. white box-modeller

Grey box: mellemvejen

Mange moderne systemer er reelt “grey box”-modeller: de er ikke fuldt gennemsigtige, men heller ikke fuldstændig uigennemskuelige. Teknikker som attention-visualisering, SHAP og LIME giver delvis indsigt i beslutningsprocessen uden at gøre modellen fuldt fortolkelig.

Hvorfor er black boxes et problem?

Manglende tillid

Mennesker har svært ved at stole på beslutninger de ikke forstår. En læge der ikke kan se hvorfor en AI anbefaler en bestemt behandling, vil, med rette, være tilbageholdende med at følge anbefalingen blindt.

Skjult bias og diskrimination

Uden indsigt i beslutningsprocessen er det svært at opdage diskrimination. En black box-model kan diskriminere baseret på køn, etnicitet eller alder gennem komplekse, skjulte korrelationer, uden at nogen kan se det i modellens “logik.”

Juridiske og regulatoriske problemer

EU AI Act og GDPR kræver gennemsigtighed og forklarbarhed for AI-systemer der påvirker mennesker. En ren black box kan ikke opfylde kravet om “meningsfuld information om logikken” bag automatiserede beslutninger.

Fejlfinding er besværlig

Når en black box-model laver fejl, er det svært at diagnosticere årsagen. Er det dårlig data? En fejl i modellens arkitektur? En edge case der ikke var dækket i træningen? Uden indsigt i den interne proces er debugging som at reparere en motor man ikke kan åbne.

Uforudsigelig adfærd

Black box-modeller kan opføre sig uventet i nye situationer. Fordi vi ikke forstår deres interne logik, kan vi ikke forudsige hvornår de vil fejle. Fejl kan komme pludseligt og alvorligt.

Hvornår er black boxes acceptable?

Black box-modeller er ikke altid problematiske. Acceptabiliteten afhænger af konteksten:

Lav risiko: typisk acceptabelt

• Anbefalingssystemer. Netflix der anbefaler en film. Konsekvensen af en forkert anbefaling er minimal.
• Spamfiltrering. E-mails fejlsorteret som spam kan hentes fra spammappen.
• Billedgenkendelse i underholdning. Ansigtsfiltre i Snapchat kræver ikke forklarbarhed.

Høj risiko: kræver forklarbarhed

• Medicinsk diagnostik. En fejldiagnose kan koste liv.
• Kreditvurdering. Afvisning af et lån har væsentlig indflydelse på en persons liv.
• Retshåndhævelse. Forudsigelse af recidiv kan påvirke strafudmåling.
• Ansættelse. Diskrimination i rekruttering er ulovlig.

EU AI Acts risikoklassificering

EU AI Act formaliserer denne skelnen: AI-systemer klassificeres efter risikoniveau, og højrisikosystemer skal opfylde krav om gennemsigtighed og forklarbarhed, uanset om den underliggende model er en black box.

Hvordan håndteres black box-problemet?

Post-hoc forklaringer

Teknikker som SHAP, LIME og feature importance kan generere forklaringer for black box-modellers beslutninger, uden at ændre selve modellen. Det er den mest udbredte tilgang i praksis.

Interpretability-forskning

Forskere, blandt andet hos Anthropic, arbejder på at forstå hvad der foregår inde i store neurale netværk. “Mechanistic interpretability” forsøger at identificere meningsfulde kredsløb og mønstre i modellens parametre. Feltet er stadig ungt, men har gjort lovende fremskridt.

Fortolkelige alternativer

For nogle opgaver kan enklere, fortolkelige modeller opnå tilstrækkelig præcision. En velkonstrueret decision tree eller lineær model med de rigtige features kan i visse domæner matche et neuralt netværks performance, og være fuldt gennemsigtig.

Hybrid tilgange

Kombinere en black box-model med et fortolkeligt lag:

1. Black box-modellen genererer en forudsigelse
2. Et fortolkeligt system genererer en forklaring
3. Et menneske vurderer om forklaring og forudsigelse giver mening sammen

Chain-of-thought og selvforklaring

Moderne sprogmodeller kan producere “tænkeskridts” der viser deres ræsonnement. Selv om dette ikke fuldt ud forklarer den interne proces (modellen kan rationalisere snarere end at rapportere sin faktiske beslutningsproces), giver det et nyttigt lag af gennemsigtighed.

Praktiske eksempler

Eksempel 1: Sundhed

En AI-model analyserer mammografibilleder og flagger potentielle tumorer. Hospitalet implementerer:

• Modellen fungerer som “second opinion”. En radiolog gennemgår altid billederne
• Attention-heatmaps viser hvilke områder modellen fokuserede på
• Radiologen kan verificere om modellen kiggede på det rigtige sted
• Black box-modellens præcision kombineres med menneskelig forklarbarhed

Eksempel 2: Kreditvurdering

En bank bruger et komplekst ensemble af modeller til kreditvurdering. For at opfylde lovkrav:

• SHAP-analyser genererer lokale forklaringer for hver enkelt afgørelse
• Kunden modtager de tre vigtigste årsager til afgørelsen
• En kontrafaktisk forklaring angiver hvad der kan forbedre chancerne
• Compliance-teamet monitorerer for bias via disaggregeret evaluering

Eksempel 3: Daglig brug af LLM’er

Når du bruger ChatGPT eller Claude, interagerer du med en black box. Du kan ikke se hvorfor modellen genererer netop de ord. Men risikoen håndteres ved at:

• Du som bruger kritisk vurderer outputtet
• Modellen kan bedes om at forklare sit ræsonnement (chain-of-thought)
• Vigtige svar faktatjekkes mod andre kilder
• Modellen bruges som assistent, ikke som endelig beslutningstager

Ofte stillede spørgsmål

Hvad er en black box i AI?

En black box er et AI-system hvis interne beslutningsproces er uigennemskuelig. Data kommer ind, et resultat kommer ud, men det er ikke muligt at se eller forstå præcis hvordan modellen nåede frem til sit svar. Dybe neurale netværk og store sprogmodeller er typiske eksempler på black box-modeller.

Hvorfor er dybe neurale netværk black boxes?

Fordi de indeholder milliarder af parametre organiseret i hundredvis af lag, med komplekse ikke-lineære interaktioner. Viden er distribueret over millioner af parametre, og den samlede beslutningsproces involverer så mange beregninger, at det er praktisk umuligt for et menneske at følge ræsonnementet fra input til output.

Er det ulovligt at bruge black box AI?

Ikke generelt, men EU AI Act og GDPR stiller krav om gennemsigtighed for AI-systemer der træffer beslutninger med væsentlig påvirkning på mennesker. Højrisikosystemer som kreditvurdering, medicinsk diagnostik og rekruttering skal kunne forklare deres beslutninger, hvilket kan være svært med rene black box-modeller.

Kan man gøre en black box-model forklarbar?

Ja, delvist. Teknikker som SHAP og LIME kan generere forklaringer for individuelle beslutninger. Attention-visualisering kan vise hvad modellen fokuserer på. Mechanistic interpretability-forskning arbejder på at forstå neurale netværks interne mekanismer. Disse giver dog tilnærmelser. Ikke fuldt gennemsigtig indsigt i modellens faktiske beslutningsproces.