Guardrails

Hvad er guardrails?

Guardrails er de sikkerhedsmekanismer der holder AI-modeller inden for acceptable grænser. De forhindrer modellen i at generere skadeligt, upassende eller uønsket indhold og sikrer at den opfører sig som tilsigtet.

Navnet er en metafor fra autoværn (guardrails) langs en vej: de forhindrer biler i at køre ud over kanten. AI-guardrails forhindrer modeller i at “køre af vejen”: generere farlig kode, afsløre private data, producere diskriminerende indhold eller svare på spørgsmål den ikke bør besvare.

Guardrails er ikke én ting men et helt lag af beskyttelsesmekanismer der tilsammen gør AI-modeller sikre nok til professionel brug. Uden guardrails ville rå AI-modeller være for uforudsigelige til at sætte foran brugere.

Typer af guardrails

1. Input-guardrails. Filtrerer brugerens input før det når modellen. Blokerer prompt injections, skadeligt indhold og forsøg på at manipulere modellen.
2. Output-guardrails. Filtrerer modellens output før det vises til brugeren. Fjerner persondata, skadeligt indhold, kode der kan misbruges, og faktuelt forkert information.
3. Emne-guardrails. Holder modellen inden for et bestemt emne. En kundesupport-bot skal svare på spørgsmål om virksomhedens produkter. Ikke give medicinsk rådgivning.
4. Tone-guardrails. Sikrer at modellen opretholder en passende tone: professionel, venlig, ikke-offensiv.
5. Handlings-guardrails. For AI-agenter: begrænsninger på hvilke handlinger agenten må udføre. En agent må måske læse data men ikke slette det.

Hvordan implementeres guardrails?

1. System prompt. Den mest grundlæggende guardrail. Instruktioner som “Du må ikke give medicinsk rådgivning” eller “Henvis til support for spørgsmål du ikke kan besvare.”
2. RLHF-træning. Modellen er trænet med menneskeligt feedback til at afvise skadelige forespørgsler. Det er derfor ChatGPT og Claude siger nej til visse spørgsmål.
3. Klassifikationsmodeller. Separate AI-modeller der vurderer både input og output for skadeligt indhold før det passerer igennem.
4. Regelbaserede filtre. Hårde regler som “output må ikke indeholde CPR-numre” eller “output må ikke overskride 500 ord.”
5. Guardrails-frameworks. Open source-frameworks som Guardrails AI, NeMo Guardrails (NVIDIA) og Anthropics Constitutional AI der gør det nemmere at implementere robuste guardrails.

Guardrails i praksis

1. ChatGPT og Claude. Alle store AI-assistenter har omfattende guardrails der forhindrer generering af skadeligt indhold, afslører persondata eller giver farlige instruktioner.
2. Enterprise-chatbots. Virksomhedens AI-assistent skal holde sig til virksomhedens emner og ikke give råd om emner den ikke er kvalificeret til.
3. Børnevenlige AI-produkter. Strenge guardrails for alderspassende indhold, sprog og emner.
4. Kodningsassistenter. Guardrails der forhindrer generering af malware, exploits eller usikker kode.
5. Sundhedspleje. AI-assistenter med guardrails der altid anbefaler at kontakte en læge for medicinske spørgsmål.

Guardrails-udfordringer

1. Overfiltrering. For strenge guardrails kan gøre modellen unødigt restriktiv og frustrerende. Brugere der stiller legitime spørgsmål kan få afvisninger.
2. Omgåelse. Kreative brugere finder måder at omgå guardrails via jailbreaking og prompt injection. Det er et vedvarende kat-og-mus-spil.
3. Kontekst. Guardrails har svært ved at forstå kontekst. Et spørgsmål om våben kan være en historisk undersøgelse, en sikkerhedsanalyse eller noget skadeligt. Guardrails skal skelne.
4. Afvejning. Mere sikkerhed = mindre nyttighed. Guardrails-design er en konstant balancegang mellem at beskytte og at være hjælpsom.