Claude på begge sider
En tanke om Dan Shippers regnestykke, og hvorfor standardsvaret bliver gulvet.
Dan Shipper fra Every lukkede deres konference med en talk om menneskeligt arbejde efter automatisering. Den har et regnestykke, jeg godt kan lide.

Han starter med tallene. OpenAI har en benchmark, der hedder GDPval. Eksperter tager rigtige opgaver fra deres eget job. En model løser dem, og det gør et menneske uden AI også. Andre eksperter vælger blindt det bedste svar. I 2024 vandt modellen 12,4 % af gangene. I 2025 var det 47,6 %. I år er det omkring 83 %.
Shipper kalder det den samlede linse. Man samler meget data og trækker en linje. Den linje ser ud, som om den løber hen over os alle sammen.
Han stiller en anden linse ved siden af. Den tætte. Man går helt tæt på ét konkret tilfælde og trækker linjen derfra.
Hans tilfælde er en kundeundersøgelse. Hele holdet fik de samme data og den samme Claude. Shipper så en mulighed for at sælge Every til teams. Yash, der arbejder med vækst, så at nye abonnenter faldt fra efter første måned, fordi de fik for mange mails. Douglas, der leder marketing, så at mange læsere føler sig alene med deres interesse for AI. Jack, der er redaktør, lavede et gameshow med lerfigurer om resultaterne.

Spørger man bare Claude, hvad den ser i data, får man et fornuftigt svar. Det er også det svar, alle andre får. Ingen på holdet afleverede det.
Kunne Claude så have fundet det, Yash fandt? Every har prøvet noget, der ligner. Mike Taylor, der står for deres evals, testede, om Claude kunne forudsige, hvad Shipper ville skrive på Slack. Det kunne den i 93 % af tilfældene. Men kun hvis den måtte give 400 svar på hvert spørgsmål. Når den skulle rangere dem, lå det rigtige svar kun blandt de øverste 10 % cirka 60 % af gangene.
Shipper siger det kort: At generere er billigt. At rangere er svært.
Svaret ligger et sted i bunken. Men man skal vide, hvad man leder efter. Shipper peger på to ting. Dit ansvar, altså den del af verden, du står for, afgør, hvor du kigger. Dit perspektiv afgør, hvad der lyser op, når du kigger.
Det med ansvar og perspektiv har jeg tænkt meget over på det seneste. Vi kan alle generere ting med AI. Alligevel vil vi stadig tale med mennesker og arbejde sammen med mennesker. Det er os, der bruger AI, som folk vil arbejde med. Derfor skal vi have vores egne meninger og ikke bare følge standardprompten og standardsvaret. Vi skal selvfølgelig stadig lære, også af modellen.
Så kommer regnestykket. Den oplagte indvending er, at Claude kan rangere om et år. Det tror Shipper også. Men så sammenligner man Yash fra 2026 med Claude fra 2027. I 2027 har Yash et år mere bag sig, og han bruger Claude fra 2027. Den Claude, han bliver målt mod, har nogen også sat i gang med en prompt.
Så regnestykket ser sådan ud: Yash med Claude 2027 mod en standardprompt med Claude 2027. Claude står på begge sider. Den kan streges ud. Tilbage står Yash mod standardsvaret.
Standardsvaret er gulvet. Gulvet hæver sig hele tiden, men det gør det for alle på én gang. Det, der rykker noget, er det, du skubber modellen hen imod med dit ansvar og dit perspektiv.
Shipper siger også, at den samlede linse må fryse mennesket for at kunne måle. Mennesket i GDPval bruger ikke AI. Den tætte linse viser et menneske, der bruger den nyeste model hver dag.
Jeg kan genkende noget af det fra min note om Jev. Den hurtige model sorterede knap 2.000 ting for 37 cent. Men mine scorer for relevans lagde sig i midten, fordi mine beskrivelser af firmaerne var for vage. Modellen kunne godt rangere. Den vidste bare ikke, hvad der var vigtigt for mig.
I Viden på flaske skrev jeg, at ekspertens fordel ikke kun er at kende de rigtige prompts. Hun ved, hvad hun skal lytte efter. Shipper giver det to ord: ansvar og perspektiv.
Claude står på begge sider. Det, der ikke kan streges ud, er den, der vælger.
