Model card

Hvad er et model card?

Et model card er et kort, struktureret dokument der følger med en trænet AI-model og beskriver den ærligt: hvad den er lavet til, hvordan den præsterer, hvor den fejler, og hvad den bør og ikke bør bruges til.

Tænk på det som en indlægsseddel eller en varedeklaration for en model. Ligesom en madvare har næringsindhold og en medicin har en indlægsseddel med virkning og bivirkninger, giver et model card en model en ledsagende tekst der gør det muligt at vurdere om den passer til en bestemt opgave, uden at man selv skal grave i teknikken.

Begrebet blev formaliseret i en forskningsartikel fra Google i 2019, “Model Cards for Model Reporting”. Motivationen var enkel: AI-modeller blev taget i brug uden at nogen tydeligt beskrev hvad de var beregnet til, eller hvor de kunne fejle. Model cards skulle gøre den viden synlig og fast.

Hvad indeholder et model card?

Der findes ikke én fast skabelon, men de fleste model cards dækker de samme områder:

1. Tilsigtet anvendelse. Hvad er modellen bygget til, og hvem er den til? Ofte også hvad den udtrykkeligt ikke bør bruges til.
2. Træningsdata. Hvilke data er modellen trænet på, i hovedtræk? Det siger meget om hvor den er stærk, og hvor den kan have blinde vinkler.
3. Ydeevne. Hvordan præsterer modellen, gerne opdelt på forskellige opgaver og forskellige grupper, så man kan se om den virker lige godt for alle.
4. Begrænsninger og risici. Hvor fejler modellen? Hvornår er den upålidelig? En ærlig liste over svagheder er ofte den mest værdifulde del.
5. Etiske overvejelser. Kendte problemer med bias, misbrugspotentiale og andre forhold man bør være opmærksom på.

Kernen er ærlighed. Et godt model card sælger ikke modellen. Det beskriver den, også de steder hvor den kommer til kort.

Hvorfor er model cards vigtige?

1. Gennemsigtighed. En model er en black box for de fleste. Et model card gør det muligt at forstå den udefra uden at være ekspert.
2. Ansvarlighed. Når begrænsninger og risici står skrevet ned, bliver det sværere at bruge en model forkert uden at vide bedre. Det er en hjørnesten i ansvarlig AI.
3. Bedre valg. For den der skal vælge en model, er et model card et af de bedste beslutningsgrundlag. Det viser om modellen passer til opgaven, frem for at man skal gætte.
4. Sammenlignelighed. Når modeller beskrives efter samme skabelon, kan de sammenlignes på et fair grundlag i stedet for på marketing.

Model cards i praksis

Begrebet er gået fra forskningsidé til udbredt praksis:

1. Hugging Face. På den store platform for åbne modeller har stort set hver eneste model et model card. Det er blevet den de facto standard for hvordan en åben model dokumenteres.
2. De store udbydere. Virksomheder som OpenAI, Google og Anthropic udgiver dokumentation for deres modeller, ofte kaldet model cards eller system cards, der beskriver kapaciteter, sikkerhedstest og begrænsninger.
3. Regulering. EU’s AI Act stiller krav om teknisk dokumentation for visse AI-systemer. Model cards og lignende dokumenter er en naturlig måde at leve op til den slags krav på.

Model card vs. beslægtede dokumenter

Model card forveksles nogle gange med andre former for AI-dokumentation:

De supplerer hinanden. Et model card handler om modellen, et datasheet om de data den er trænet på, og et system card om hvordan det hele opfører sig når det sættes i drift.

Hvad det betyder for en mindre virksomhed

Du kommer næppe til at skrive et model card selv. Men du kommer til at vælge AI-værktøjer, og der er model card et undervurderet hjælpemiddel:

1. Læs det før du vælger. Når et værktøj bygger på en kendt model, fortæller dens model card dig hvad den er god og dårlig til. Det er mere ærligt end en salgsside.
2. Kig efter begrænsningerne. Den mest nyttige del er sjældent hvad modellen kan, men hvor den fejler. En udbyder der er åben om svaghederne, er som regel mere til at stole på.
3. Brug det som tjekliste. Hvis en udbyder slet ikke kan fortælle dig hvad deres model er trænet til, eller hvor den ikke bør bruges, er det i sig selv et signal værd at bemærke.