Sådan tjekker du AI'ens arbejde

Du har bedt din AI om at samle priser fra tre leverandører. Den svarer, at oversigten er klar. Der er en pæn tabel og en klar anbefaling. Du kan komme videre med dit tilbud til kunden.

Men er alle tre prislister læst? Er prisen pr. kasse eller pr. styk? Og kan den leverandør, AI’en anbefaler, levere inden den dato, du har lovet kunden?

Det er tre forskellige spørgsmål. Et hurtigt blik på tabellen giver dig ikke svar på dem alle.

Jeg vil gerne kunne bruge det, AI afleverer, uden at lave hele opgaven en gang til. Det kræver, at kontrol er en del af opgaven fra start. AI’en skal aflevere både arbejdet og et grundlag for at vurdere det.

Denne guide viser, hvordan du kan gøre det. Eksemplerne er tænkte hverdagssager fra små virksomheder. Du kan bruge dem som afsæt for din egen proces, uden at installere noget særligt.

Tre spørgsmål, før du bruger svaret

Ordet kontrol kan dække over ret forskellige ting. Her deler jeg det op i tre niveauer:

Du bygger kontrollen op efter opgaven. En liste med idéer kræver sjældent samme kontrol som et tilbud, du skal sende til en kunde. Men du bør altid kunne se, hvad der er lavet, og hvad der mangler.

En fil kan godt være færdig og fuld af fejl. Alle tal kan passe, mens rådet stadig er forkert. Derfor hjælper det at holde de tre spørgsmål adskilt.

Niveau 1: Bed om noget, du kan kontrollere

Begynd med at gøre ordet færdig konkret.

Hvis opgaven er at lave en prisliste, skal du have selve prislisten. Hvis opgaven er at rette en side, skal du kunne se siden og prøve den. Hvis opgaven er at læse tre bilag, skal du kunne se, hvilke tre bilag der indgik.

Skriv kravene, før AI går i gang. Ellers kan du ende med at vurdere det, den valgte at levere, frem for det, du havde brug for.

Hold også kravene faste under arbejdet. Hvis AI ikke kan læse den tredje fil, må den ikke ændre opgaven til kun at omfatte to filer og kalde det færdigt. Gem din bestilling og originalerne, så du kan se, om noget er ændret.

Gør en løs opgave til en klar bestilling

Forestil dig, at en webshop skal samle data om 40 varer fra tre filer. Ejeren vil bruge dem til at opdatere sit katalog.

En løs bestilling er: “Saml varerne i et ark.”

En mere brugbar bestilling ser sådan ud:

Lav ét ark med varenummer, navn, enhed og pris for hver vare. Brug de tre vedhæftede filer. Angiv fil og side ved hver række, så jeg kan finde kilden igen.

Listen med varenumre er facit for, hvilke 40 varer der skal med. Hvis du ikke kan finde data om en vare, skal rækken blive stående med en forklaring. Gæt ikke.

Aflevér arket og en kort status: Hvilke filer kunne du læse? Hvad har du tjekket? Hvad mangler endnu? Du må ikke ændre mit katalog.

Bevar de aftalte krav og de originale filer. Hvis du ikke kan løse en del af opgaven, skal du markere den som uafsluttet. Du må ikke sænke kravene for at få kontrollen til at bestå.

Nu kan du kontrollere noget bestemt. Arket skal kunne åbnes. Alle 40 varenumre skal være med én gang. Det skal være synligt, hvis en af filerne ikke kunne læses.

Et ark med 40 rækker er dog ikke nok i sig selv. Det kan rumme den samme vare to gange og mangle en anden. Kontrollér derfor mod listen med varenumre, ikke kun antallet af rækker.

Lad kontrollen følge med leverancen

Bed om en kort status med det, AI faktisk har udført. Der er forskel på “jeg har skrevet en test” og “jeg har kørt testen, og den bestod”. Der er også forskel på at lave et udkast og at gemme det som en fil.

En brugbar status kunne være:

Du ved nu, hvad du kan bruge, og hvor der stadig er arbejde. Det er langt mere nyttigt end en grøn markering med ordet “færdig”.

Bruger du agenter, som sender opgaver videre til andre agenter, skal den agent, der modtager resultatet, selv køre kontrollen. Den må ikke nøjes med at gentage den andens status.

Den, der bestiller arbejdet, bør også fastlægge testen. En agent må gerne foreslå flere tjek. Men den bør ikke selv kunne ændre den test eller det facit, som afgør, om dens eget arbejde er godkendt.

I en teknisk opsætning kan et digitalt fingeraftryk, en hash, holde styr på den præcise fil. Det viser, om to kontroller handler om samme version. Det siger ikke, om tallene i filen er rigtige.

Niveau 2: Tjek fakta mod kilden

Nu har du en leverance, du kan åbne. Næste opgave er at finde ud af, om indholdet passer.

Det gælder især, når AI flytter data fra ét sted til et andet. En PDF bliver til et ark. En mailtråd bliver til en liste med aftaler. Et katalog bliver til varer i en webshop.

Her ville jeg starte med at finde noget i kilden, resultatet skal stemme med. Det kan være en sum, en liste med varenumre eller et antal sider. Det giver dig et konkret holdepunkt.

En sum fanger nogle fejl

Tag en tænkt følgeseddel med fire varelinjer. Der står 12, 8, 15 og 5 kasser. I alt 40 kasser. Hvis AI læser den tredje linje som 13, giver udtrækket kun 38.

Forskellen peger på en fejl, der skal findes. AI må ikke rette 13 til 15, bare fordi det får summen til at passe. Den skal tilbage til følgesedlen og læse linjen igen.

En korrekt sum er heller ikke nok. Bytter AI rundt på antallet for to varer, kan totalen stadig være 40. Du skal også kontrollere, at hver værdi hører til den rette vare og enhed.

Det samme gælder et referat. At alle seks punkter fra dagsordenen er nævnt, viser ikke, at de seks beslutninger er gengivet korrekt.

Kilden kan også være forkert

En trykt total kan indeholde en regnefejl. Hvis linjerne giver 38, men totalen siger 40, skal du først finde ud af hvorfor. Gem begge tal. Forskellen er et fund, som skal forklares, ikke noget AI skal skjule.

Nogle kilder har slet ingen total eller liste at tjekke mod. Det gælder ofte mails og noter. Her må du kontrollere flere punkter direkte i kilden og selv læse med, før du regner resultatet for tjekket.

Lav to udtræk uden at vise dem til hinanden

Når mange tal eller detaljer skal være præcise, kan du lade to separate AI-samtaler løse samme opgave. Begge får den samme bestilling og de samme originale filer. Ingen af dem får den andens svar.

Det giver dig to resultater at sammenligne. Hvis de er uenige, har du et bestemt sted at undersøge. Du slipper for kun at lede efter fejl med øjnene i ét langt ark.

Brug denne tekst i hver samtale:

Læs den vedhæftede følgeseddel. Skriv varenummer, antal og enhed for hver linje. Angiv side og linje, så hvert tal kan findes igen.

Sammenhold dit udtræk med totalen i kilden. Hvis noget er ulæseligt eller ikke stemmer, skal du skrive det tydeligt. Du må ikke tilføje eller ændre tal for at få summen til at passe.

Du kan køre de to opgaver efter hinanden. Det afgørende er, at den anden ikke får den førstes svar som hjælp. I et system med agenter kan de køre samtidig med hver sin samtalehistorik.

Afgør forskelle ved at læse originalen

Saml derefter de to svar i en tredje samtale sammen med kilden. Bed om en liste med alle forskelle og et opslag i originalen for hver forskel.

Det er ikke en afstemning om, hvilket svar der lyder mest sikkert. Hvis den ene siger 12 og den anden siger 17, er opgaven at læse tallet på følgesedlen. Et gennemsnit på 14,5 er ikke en løsning.

Vælg også på forhånd, hvilke enige svar der skal tjekkes i kilden. Tag alle de punkter, hvor en fejl kan få stor betydning, og et tilfældigt udvalg af resten. To AI-svar kan ramme den samme fejl. Især hvis begge læser det samme slørede scan.

Du kan bruge denne prompt i den tredje samtale. Vedhæft originalen og begge svar. Skriv også, hvilke enige punkter du har valgt til kontrol.

Du får en original kilde og to svar, A og B. Sammenlign alle poster, også dem der kun findes i ét svar. Slå hver forskel op i originalen. Tjek også de enige punkter, jeg har udpeget.

Lav en liste med forskellen, stedet i kilden, din afgørelse og det, der stadig er uklart. Beregn totalen igen, hvis der findes en. Vis både dit resultat og kildens total. Ret aldrig et tal alene for at få dem til at passe.

Aflevér det samlede resultat og listen over dine tjek. Hvis kilden ikke kan afgøre en forskel, skal den stå som uafklaret. Hvis der mangler en total at tjekke mod, skal du sige det.

Kan tallet stadig ikke læses, skal det stå som uafklaret. Så ved du præcis, hvilken side du skal se på, eller hvad du skal bede afsenderen om at sende igen.

Niveau 3: Prøv at vælte konklusionen

Det tredje niveau handler om det, der følger efter fakta. AI har læst materialet og anbefaler nu, at du gør noget.

Her er det ikke nok at kontrollere hvert tal for sig. Du skal undersøge, om rådet holder i den situation, du står i.

Lad os vende tilbage til de tre leverandører. Den ene tager 240 kr. for en vare. En anden tager 265 kr. AI har læst begge priser rigtigt og anbefaler den første.

Men kunden skal bruge varen på fredag. Den første leverandør kan først levere om tre uger. Priserne er korrekte. Valget løser ikke kundens opgave.

Få antagelserne frem

Bed først AI om at gennemgå sin egen anbefaling. Den skal skelne mellem det, kilderne siger, det, den selv har regnet ud, og det, den har antaget.

I eksemplet kunne resultatet være:

Den opdeling gør det muligt at tage fat i den usikre del. Du behøver ikke forkaste hele oversigten, fordi én antagelse mangler belæg.

Skeln også mellem at læse og at prøve. At AI har læst koden til en rabat, viser ikke, at rabatten virker i kurven. Det kræver en test med konkrete varer og et synligt resultat. Ellers er udsagnet om, hvad koden gør, stadig en vurdering.

Men AI kan overse den samme fejl, når den læser sit eget svar igen. Derfor skal der også nye øjne på, når konklusionen har betydning for kunden eller driften.

Giv en ny samtale en konkret grund til at være kritisk

Start en ny samtale med det færdige udkast, den oprindelige opgave og kilderne. Lad tidligere udkast og diskussioner blive i den første samtale.

Du vil have en vurdering af selve arbejdet. En lang forklaring på, hvorfor du og AI valgte netop den løsning, kan skubbe kontrollen i samme retning.

Bed den nye samtale om at se opgaven fra en bestemt rolle. I vores tilbud kunne det være den kollega, der skal sørge for, at kunden får varerne til tiden.

Du skal kontrollere dette tilbud, før vi sender det. Se det fra den kollegas side, som skal stå for indkøb og levering.

Brug kundens krav og de vedhæftede kilder. Find løfter, vi ikke har belæg for. Se især efter antal, enheder, fragt og datoer. Giv højst tre hovedfund, ordnet efter hvad fejlen kan koste kunden eller os. Skriv, hvad du har tjekket, hvor du fandt belæg, og hvad der stadig er uvist.

Du skal ikke omskrive tilbuddet endnu. Hvis du ikke finder en fejl, skal du sige det. Opfind ikke indvendinger for at udfylde en liste.

På en større opgave kan en anden samtale læse fra kundens side. Hvad vil kunden tro, at tilbuddet omfatter? Er der en vigtig forskel mellem det, kunden bad om, og det, teksten lover?

De to roller skal have hver sin samtale. At bede den samme AI om at “spille tre eksperter” i ét svar giver ikke tre uafhængige kontroller.

Tjek også kritikken

En kritisk AI kan tage fejl. Den kan påstå, at der mangler en dato, som allerede står i et bilag. Eller den kan læse “fra 240 kr.” som en fast pris.

Gå derfor tilbage til kilden, før du retter teksten. Markér hver indvending som bekræftet, afvist eller uafklaret. Skriv en kort grund ved siden af.

Gem også de indvendinger, du afviser. Hvis AI mener, at en alvorlig fejl er harmløs, bør en anden gennemgå netop den uenighed. Den, der skrev svaret, skal ikke alene kunne fjerne kritikken af det.

Hvis der er en reel fejl, retter du den. Hvis der er tvivl, bevarer du tvivlen og får den afklaret. En hård tone fra kontrolløren er ikke i sig selv bevis for noget.

Ret så enkelt som muligt. Nogle gange skal du blot fjerne et løfte eller gøre det mere præcist. Få derefter en anden til at tjekke, at rettelsen løser fejlen. Kontrollér også, om den samme fejl findes andre steder i teksten.

Kontrollér den version, der skal bruges

Når du har rettet tilbuddet, skal den færdige version læses igen. Brug en ny samtale, der får tilbuddet og kilderne, men ikke historien om alle rettelserne.

Det er let at komme til at vurdere, hvor meget et udkast er blevet bedre. Kunden ser kun det, der ender i indbakken. Den sidste kontrol skal tage udgangspunkt i samme version.

Stop, når de aftalte krav er kontrolleret, og der ikke er kendte fejl tilbage, som spærrer for brugen. Er en dato stadig uafklaret, må kontrollen ikke gøre den sikker ved at gentage den.

Brug denne prompt til den nye kontrol:

Læs det vedhæftede arbejde og de originale kilder. Vurdér, om modtageren kan bruge resultatet til det aftalte formål. Du får ikke tidligere udkast eller tidligere vurderinger.

Tjek hele resultatet. Giv højst tre hovedfund, ordnet efter deres mulige konsekvens. Angiv det konkrete udsagn, kilden og det tjek, du har udført. En rolle som kritisk kunde eller fagperson gør dig ikke til en faktisk ekspert.

Afslut med én vurdering: Kan bruges som det er, kræver konkrete rettelser eller skal laves om. Angiv, hvad du ikke kunne kontrollere. Hvis du ikke finder en fejl, skal du sige det uden at kalde resultatet fejlfrit.

Aflever den version, der blev tjekket, sammen med kendte åbne punkter. Hvis et nødvendigt tjek ikke kan udføres, skal en person tage stilling til det. Flere runder med AI kan ikke erstatte et manglende svar fra leverandøren.

Sådan bruger du det uden et stort setup

Du kan afprøve metoden i et AI-værktøj med separate samtaler. Giv hver samtale de filer, den skal bruge. Du behøver ikke bygge et system med mange agenter for at komme i gang.

Start med en afsluttet opgave, hvor du kender resultatet. Det kan være et gammelt tilbud eller en oversigt over varer. Så kan du se, hvilke fejl kontrollen finder, før du bruger den på nyt arbejde.

Brug én mappe til originalerne og gem hvert svar for sig. Navngiv filerne, så du kan se, hvilken version der blev kontrolleret. Hvis du ændrer et tal bagefter, gælder den gamle kontrol ikke automatisk for den nye fil.

Vær også opmærksom på fælles hukommelse og delte filer i dit værktøj. En ny samtale kan stadig have adgang til tidligere arbejde. Giv kun kontrolløren den version og de kilder, den skal se. Hold gamle udkast og reviews udenfor.

Der er forskel på at bede AI om ikke at læse en fil og at blokere dens adgang til den. Hvis du ikke kan tjekke, hvad den har adgang til, så sig det. En anden model kan give et andet blik, men gør ikke i sig selv kontrollen uafhængig.

Arbejder du allerede med agenter, kan du gøre kontrollen til en del af hver opgave. Den passer ind i Compound Engineering. Lever, kontrollér, ret og gem det, du lærte om opgaven.

Brug kræfterne der, hvor fejl koster noget

Du behøver ikke sende hver overskrift gennem flere AI-samtaler. Kontrollen skal stå mål med det, du vil bruge resultatet til.

Flere gennemgange bruger tid og kan koste ekstra. Mål derfor på én opgave: Hvilke fejl fandt kontrollen? Hvad måtte du selv undersøge? Hvor meget arbejde var der tilbage bagefter?

Gør opgaven mindre, hvis du drukner i kommentarer. Lad for eksempel én kontrol handle om varedata og en anden om løfter i tilbuddet. “Tjek alt” giver et uklart ansvar og gør det svært at se, hvornår arbejdet er færdigt.

Hold desuden kontrol og handling adskilt. Et tilbud kan godt være klar til din vurdering, uden at AI må sende det. Et ark kan være tjekket, uden at det må ændre dit katalog. Skriv den grænse ind i opgaven.

Et godkendt review betyder, at de udførte tjek ikke fandt en fejl, som spærrer for brugen. Det betyder ikke, at alle fejl er væk. Gallon beskriver selv metoden som udviklet i praksis. Hvor stor en andel af fejlene den finder, er ikke målt.

En kort bestilling til din næste opgave

Sæt denne tekst efter din egen beskrivelse af opgaven. Tilpas kravene til det, du skal bruge:

Aftal først med mig, hvad du skal aflevere, og hvordan vi kan kontrollere det. Vis det konkrete resultat og angiv, hvilke kilder du har brugt. Skriv tydeligt, hvis noget mangler eller ikke kunne kontrolleres.

Skeln mellem fakta fra kilderne, beregninger, vurderinger og antagelser. Hvis du anbefaler en handling, skal du forklare, hvad den bygger på, og hvad der kan ændre anbefalingen.

Foreslå en konkret kontrol af de dele, hvor en fejl har betydning. Du må ikke kalde din egen genlæsning for en uafhængig kontrol. Udfør kun de tjek, du faktisk har adgang til, og fortæl, hvilke der mangler.

Aflevér arbejdet til min vurdering. Send, udgiv eller opdatér ikke noget i andre systemer.

Teksten erstatter ikke de separate samtaler, når du har brug for dem. Den gør kravene synlige fra start og hjælper dig med at få et ærligt svar om, hvad der er kontrolleret.

Begynd med én opgave, du allerede gentager hver uge. Skriv, hvad færdig betyder. Vælg en kontrol, som kan afsløre en konkret fejl. Gem så både resultatet og det, kontrollen viste. Næste gang har du en proces at forbedre.

Inspiration og kredit

Tak til Corey Gallon for modellen med tre niveauer. Han præsenterer den i sit oplæg hos AI Engineer og uddyber den i sin artikel om metoden. Jeg har også brugt hans åbne metodebeskrivelse til at præcisere kontrollen.

Jeg har tilpasset metoden til denne guide med egne eksempler og danske prompts. Det er tænkte sager, som du kan øve dig på. De viser, hvordan du kan gribe arbejdet an. De er ikke en garanti for, at AI finder alle fejl.