Human-in-the-loop (HITL)

Hvad er human-in-the-loop?

Human-in-the-loop (HITL) er et designmønster hvor et menneske er en aktiv del af en AI-styret proces. I stedet for at AI’en kører helt autonomt, er der et eller flere punkter i processen hvor et menneske skal validere, godkende eller korrigere AI’ens output eller beslutninger.

I guiden til hybrid intelligens ser jeg på menneskets rolle, når AI løser en del af opgaven. Et flueben er ikke i sig selv et grundigt review.

Det er det modsatte af fuld automatisering. Med HITL beholder mennesket kontrol over de kritiske beslutninger, mens AI’en håndterer de rutineprægede eller dataintensive dele af opgaven.

HITL er ikke et nyt koncept. Det har eksisteret i årtier inden for industriel automatisering, flyvekontrol og medicinsk diagnostik. Men med fremkomsten af AI-agenter der kan handle selvstændigt, er HITL blevet det primære designmønster til at balancere produktivitet og sikkerhed.

Hvorfor er HITL vigtigt?

1. Fejlhåndtering. AI-modeller laver fejl. De hallucinerer, misforstår kontekst og kan producere overbevisende men forkerte resultater. Et menneske i loopen fanger fejl før de får konsekvenser.
2. Ansvarlighed. Når AI’en træffer beslutninger med reelle konsekvenser (ansættelser, medicinske diagnoser, juridiske vurderinger), kræver etik og ofte lovgivning at et menneske er ansvarlig for den endelige beslutning.
3. Tillid. Brugere og organisationer stoler mere på AI-systemer der har menneskelig oversight. HITL bygger den tillid der er nødvendig for adoption.
4. Læring. Når mennesker korrigerer AI’ens fejl, genereres værdifuld feedback der kan bruges til at forbedre modellen. RLHF (Reinforcement Learning from Human Feedback) er et direkte eksempel på dette.
5. Regulering. EUs AI Act og lignende lovgivning kræver menneskelig oversight for højrisiko-AI-systemer. HITL er ofte den praktiske implementering af dette krav.

Typer af HITL

1. Godkendelse (approval). AI’en foreslår en handling, mennesket godkender eller afviser. Eksempel: Claude Code foreslår at ændre en fil, du trykker “ja” eller “nej.”
2. Korrektion. AI’en producerer et output, mennesket redigerer og forbedrer det. Eksempel: AI genererer et udkast til en email, du retter formuleringer og tilføjer detaljer.
3. Eskalering. AI’en håndterer simple sager selv, men eskalerer komplekse eller usikre sager til et menneske. Eksempel: en kundesupport-bot besvarer ofte stillede spørgsmål men videresender klager til en medarbejder.
4. Overvågning (monitoring). AI’en kører autonomt, men et menneske overvåger og kan gribe ind. Eksempel: en selvkørende bil med en sikkerhedschauffør der kan tage over.
5. Stikprøvekontrol. AI’en kører autonomt, men et menneske gennemgår et tilfældigt udvalg af outputs regelmæssigt. Eksempel: AI-genereret indhold der stikprøvevis reviewes for kvalitet.

HITL i praksis

1. Kodningsagenter. Claude Code er et klassisk HITL-eksempel. Den kan læse filer, analysere kode og foreslå ændringer frit. Men den spørger om lov før den ændrer filer, kører kommandoer eller pusher til git. Du er i loopen som godkender.
2. Medicinsk AI. AI-systemer der analyserer røntgenbilleder eller MR-scanninger producerer forslag, men en læge gennemgår og godkender altid diagnosen. AI’en er et værktøj der øger lægens produktivitet, ikke en erstatning.
3. Indholdsgenerering. AI genererer blogindlæg, produktbeskrivelser eller markedsføringstekst. Et menneske reviewer, redigerer og godkender før publicering.
4. Rekruttering. AI screener CV’er og foreslår kandidater, men en rekrutteringsmedarbejder træffer den endelige beslutning om hvem der inviteres til samtale.
5. Finansiel kontrol. AI-systemer der overvåger transaktioner for svindel flagger mistænkelige transaktioner, men et menneske vurderer og beslutter om kontoen skal blokeres.
6. Kundesupport. AI-chatbots besvarer rutinespørgsmål automatisk men eskalerer til menneskelige agenter ved komplekse problemer, utilfredse kunder eller sager der kræver skøn.

HITL og autonomi

HITL og autonomi er to sider af samme mønt. Mere HITL betyder mindre autonomi og omvendt. Den rette balance afhænger af:

1. Risiko ved fejl. Høj risiko (sundhed, finans, jura) kræver mere HITL. Lav risiko (tekstforslag, søgning) kan have mindre.
2. Opgavens kompleksitet. Simple, veldefinerede opgaver kan automatiseres. Komplekse opgaver med mange edge cases kræver oftere menneskelig involvering.
3. Modellens pålidelighed. Jo mere pålidelig modellen er for en given opgavetype, jo mindre HITL er nødvendigt.
4. Reversibilitet. Handlinger der nemt kan fortrydes (redigere en tekst) kræver mindre HITL end irreversible handlinger (sende en email, slette data).

Udfordringer med HITL

1. Flaskehals. Mennesket kan blive en flaskehals der bremser hele processen. Hvis AI’en kan processere 1000 sager i timen men mennesket kun kan reviewe 50, er der et problem.
2. Automation bias. Mennesker har tendens til at stole blindt på AI’ens forslag og bare godkende uden at tjekke ordentligt. Især under tidspres eller ved rutineopgaver.
3. Skalerbarhed. HITL skalerer ikke lige så godt som fuld automatisering. Flere sager kræver flere mennesker.
4. Træthed. Mennesker der reviewer AI-output hele dagen mister opmærksomhed over tid. Kvaliteten af den menneskelige kontrol falder.
5. Kompetencekrav. Mennesket i loopen skal have kompetence til at vurdere AI’ens output. En ikke-teknisk person kan ikke effektivt reviewe AI-genereret kode.

Design af effektiv HITL

1. Vælg de rette kontrolpunkter. Ikke alt kræver menneskelig godkendelse. Fokuser HITL på høj-risiko beslutninger og lad AI’en handle frit på lav-risiko opgaver.
2. Gør review nemt. Vis AI’ens ræsonnement, fremhæv usikkerheder og giv mennesket den kontekst der er nødvendig for at træffe en informeret beslutning hurtigt.
3. Progressiv autonomi. Start med meget HITL og reducer gradvist efterhånden som tilliden til systemet stiger.
4. Brug feedback-loopen. Saml systematisk data om hvornår mennesket korrigerer AI’en og brug det til at forbedre modellen.