Spring til indhold
Alle noter

Claude på begge sider

En tanke om Dan Shippers regnestykke, og hvorfor standardsvaret bliver gulvet.

Dan Shipper fra Every lukkede deres konference med en talk om menneskeligt arbejde efter automatisering. Den har et regnestykke, jeg godt kan lide.

En kvinde sidder ved et skrivebord foran en stor bunke papirer, der vælter ud over bordet og ned på gulvet. Hun holder ét ark op mod lyset fra vinduet.
Det svære er at vide, hvilket ark man skal tage op.AI-genereret illustration. Ikke en gengivelse af konkrete personer eller virksomheder.

Han starter med tallene. OpenAI har en benchmark, der hedder GDPval. Eksperter tager rigtige opgaver fra deres eget job. En model løser dem, og det gør et menneske uden AI også. Andre eksperter vælger blindt det bedste svar. I 2024 vandt modellen 12,4 % af gangene. I 2025 var det 47,6 %. I år er det omkring 83 %.

Shipper kalder det den samlede linse. Man samler meget data og trækker en linje. Den linje ser ud, som om den løber hen over os alle sammen.

Han stiller en anden linse ved siden af. Den tætte. Man går helt tæt på ét konkret tilfælde og trækker linjen derfra.

Hans tilfælde er en kundeundersøgelse. Hele holdet fik de samme data og den samme Claude. Shipper så en mulighed for at sælge Every til teams. Yash, der arbejder med vækst, så at nye abonnenter faldt fra efter første måned, fordi de fik for mange mails. Douglas, der leder marketing, så at mange læsere føler sig alene med deres interesse for AI. Jack, der er redaktør, lavede et gameshow med lerfigurer om resultaterne.

Fire kolleger sidder om et mødebord med de samme udskrifter og to bærbare. Én sætter ring om en linje, én peger på en skærm, én læner sig tilbage og tænker, og én tegner på en blok.
Samme data og samme model. Hver person på holdet så noget forskelligt.AI-genereret illustration. Ikke en gengivelse af konkrete personer eller virksomheder.

Spørger man bare Claude, hvad den ser i data, får man et fornuftigt svar. Det er også det svar, alle andre får. Ingen på holdet afleverede det.

Kunne Claude så have fundet det, Yash fandt? Every har prøvet noget, der ligner. Mike Taylor, der står for deres evals, testede, om Claude kunne forudsige, hvad Shipper ville skrive på Slack. Det kunne den i 93 % af tilfældene. Men kun hvis den måtte give 400 svar på hvert spørgsmål. Når den skulle rangere dem, lå det rigtige svar kun blandt de øverste 10 % cirka 60 % af gangene.

Shipper siger det kort: At generere er billigt. At rangere er svært.

Svaret ligger et sted i bunken. Men man skal vide, hvad man leder efter. Shipper peger på to ting. Dit ansvar, altså den del af verden, du står for, afgør, hvor du kigger. Dit perspektiv afgør, hvad der lyser op, når du kigger.

Alt, modellenkan generereAnsvar:hvor du kiggerPerspektiv:hvad der lyser opÉt svar, dutager videre
Fra alt, modellen kan generere, til ét svar, du tager videre. Tegnet efter Dan Shippers talk.

Det med ansvar og perspektiv har jeg tænkt meget over på det seneste. Vi kan alle generere ting med AI. Alligevel vil vi stadig tale med mennesker og arbejde sammen med mennesker. Det er os, der bruger AI, som folk vil arbejde med. Derfor skal vi have vores egne meninger og ikke bare følge standardprompten og standardsvaret. Vi skal selvfølgelig stadig lære, også af modellen.

Så kommer regnestykket. Den oplagte indvending er, at Claude kan rangere om et år. Det tror Shipper også. Men så sammenligner man Yash fra 2026 med Claude fra 2027. I 2027 har Yash et år mere bag sig, og han bruger Claude fra 2027. Den Claude, han bliver målt mod, har nogen også sat i gang med en prompt.

Så regnestykket ser sådan ud: Yash med Claude 2027 mod en standardprompt med Claude 2027. Claude står på begge sider. Den kan streges ud. Tilbage står Yash mod standardsvaret.

Yash 2027ansvar og perspektiv+Claude 2027modStandardprompt+Claude 2027Claude står på begge sider og kan streges udYash 2027ansvar og perspektivmodStandardsvaretdet samme for alle
Shippers regnestykke. Når alle har den samme model, står den på begge sider.

Standardsvaret er gulvet. Gulvet hæver sig hele tiden, men det gør det for alle på én gang. Det, der rykker noget, er det, du skubber modellen hen imod med dit ansvar og dit perspektiv.

Shipper siger også, at den samlede linse må fryse mennesket for at kunne måle. Mennesket i GDPval bruger ikke AI. Den tætte linse viser et menneske, der bruger den nyeste model hver dag.

20242025202620272028Dig med modellenansvar og perspektivGulvetstandardsvaret,som alle fårMennesketi benchmarken,uden AI
Gulvet stiger for alle på én gang. Benchmarken måler mod et menneske uden AI. En skitse af Shippers pointe, ikke målte tal.

Jeg kan genkende noget af det fra min note om Jev. Den hurtige model sorterede knap 2.000 ting for 37 cent. Men mine scorer for relevans lagde sig i midten, fordi mine beskrivelser af firmaerne var for vage. Modellen kunne godt rangere. Den vidste bare ikke, hvad der var vigtigt for mig.

I Viden på flaske skrev jeg, at ekspertens fordel ikke kun er at kende de rigtige prompts. Hun ved, hvad hun skal lytte efter. Shipper giver det to ord: ansvar og perspektiv.

Claude står på begge sider. Det, der ikke kan streges ud, er den, der vælger.

Alle noter