Den hurtige og den langsomme model

I september lancerede TypeSafe AI en model, der hedder Jev. Den skriver ikke tekst. Den svarer med valg, scorer og sandsynligheder. TypeSafe kaldte den en System One-model. Den 1. oktober kom Cloudflare med Clef, som har åbne vægte og taler samme API. I et par måneder handlede meget af det, jeg læste, om System 1 og System 2.

Ordene kommer fra Daniel Kahneman. I Thinking, Fast and Slow beskriver han to måder at tænke på. Kig på billedet derovre. Hvilken farve har det? Blå. Det svar kom hurtigt. Det var System 1. Hvorfor er det blåt? Det svar tager længere tid. Det kommer fra System 2.

Ræsonnerende modeller, der tænker et stykke tid, før de svarer, er ofte blevet kaldt System 2. Jev og Clef er det modsatte. De svarer på en brøkdel af et sekund, og et svar koster næsten ingenting. Mange kalder dem også beslutningsmodeller. Men det gamle navn siger noget om, hvordan de tager fejl.

Jeg har brugt Jev i et værktøj, jeg har bygget til mig selv. Det samler artikler, nyhedsbreve og videoer, jeg vil kunne finde igen. Jev svarer på et sæt spørgsmål om hver ting. Hvilket emne? Hvilken type indhold? Hvor meget substans? Er det relevant for mit arbejde?

Første gang gik den knap 2.000 ting igennem. Det kostede 37 cent.

Emne og type ramte fint. Substans gjorde ikke. 1.242 af de 1.986 ting fik “dyb”. Da jeg kiggede efter, fulgte scoren længden. Lange tekster var dybe. Korte var ikke.

Kahneman beskriver den fejl hos mennesker. Når System 1 får et svært spørgsmål, svarer det tit på et lettere i stedet. Han kalder det substitution. “Er det her dybt?” er svært. “Er det her langt?” er let.

Spørgsmålene om relevans havde et andet problem. Ingen ting fik over 0,9 for nogen af mine firmaer. Scorerne lagde sig i midten. Mine beskrivelser af firmaerne var for vage. Et hurtigt svar bliver ikke skarpere end spørgsmålet.

Så nu bruger jeg to modeller til én beslutning. Hver dag vil jeg have højst tre ting, der er værd at læse, se eller høre helt. Jev går det hele igennem og sorterer det fra, der klart ikke er. Det, der er tilbage, får Claude Haiku. Haiku er ikke en stor model, men den kan vurdere de få og skrive én sætning om, hvorfor jeg skal bruge tid på dem. I en prøve på 14 dage sendte Jev 37 videre. Haiku sagde ja til 8, og 3 blev valgt.

Simon Willison peger på det svage punkt ved beslutningsmodeller. Du får et tal, men ikke en grund. Du kan ikke se, hvad i teksten der vippede svaret. Jev kan sige blå. Den kan ikke sige hvorfor. Derfor er det den langsomme model, der skriver begrundelsen. Og det er kun den, jeg læser.

Kahneman afskrev ikke System 1. Det klarer det meste af det, vi gør i løbet af en dag, og det gør det godt. Det ved bare ikke, hvornår det svarer på det forkerte spørgsmål.

Sådan ser jeg modellerne nu. Den hurtige ser alt. Den langsomme ser det, der er tilbage, og forklarer sig. Begge skal have et skarpt spørgsmål.

Jeg har skrevet en længere guide om Jev, hvis du vil prøve den selv.