The Bitter Lesson

Hvad er The Bitter Lesson?

The Bitter Lesson er et kort essay af AI-forskeren Rich Sutton fra 13. marts 2019. Det begynder sådan:

På dansk: 70 års AI-forskning viser, at generelle metoder, der udnytter regnekraft, i sidste ende virker bedst. Og med stor afstand.

Grunden er ifølge Sutton, at regnekraft hele tiden bliver billigere. Et forskningsprojekt regner med den regnekraft, der findes nu. Lidt længere ude er der langt mere af den.

Lektien er bitter, fordi den går imod forskernes eget arbejde. De har brugt år på at bygge deres forståelse ind i systemerne. Så kommer en enklere metode med mere regnekraft og vinder.

Hvad siger Sutton?

Han samler det i fire punkter:

1. AI-forskere har tit prøvet at bygge viden ind i deres agenter.
2. Det hjælper altid på kort sigt, og forskeren bliver tilfreds.
3. På lang sigt flader det ud og holder endda fremskridt tilbage.
4. Gennembruddet kommer til sidst fra den modsatte vej: mere regnekraft gennem søgning og læring.

Søgning betyder, at systemet prøver rigtig mange muligheder af. Læring betyder, at systemet selv finder mønstrene i data i stedet for at få dem forklaret.

Hans kernesætning lyder:

Det virker ikke i længden at bygge vores idé om, hvordan vi tænker, ind i systemet.

Eksemplerne i essayet

Skak. I 1997 slog IBMs Deep Blue verdensmesteren Garri Kasparov. Maskinen vandt på massiv søgning, ikke på stormesterens forståelse af spillet. Mange skakforskere var skuffede. De sagde, at det ikke var sådan, mennesker spiller skak.

Go. Samme mønster, bare 20 år senere. Forskerne brugte meget arbejde på at undgå søgning ved at bygge viden om spillet ind. Det blev ligegyldigt, da søgning og læring ved selvspil kom i stor skala.

Talegenkendelse. I 1970’erne holdt DARPA en konkurrence. Nogle deltagere byggede viden om ord, lyde og menneskets stemme ind. Andre brugte statistik og meget mere regnekraft. Statistikken vandt. Deep learning har siden taget samme vej videre.

Computer vision. De første metoder ledte efter kanter og former, som forskere havde bestemt, at et billede består af. I dag er det droppet. Moderne neurale netværk bygger kun få, generelle idéer ind og klarer sig meget bedre.

Hvilken viden taler Sutton om?

Det er let at læse essayet som: Spring konteksten over, og giv bare modellen mere regnekraft. Det står der ikke.

Den viden, Sutton advarer imod, er metode. Det er stormesterens måde at tænke skak på. Det er håndskrevne regler for sprog. Det er de kanter og former, en forsker har bestemt, at et billede består af. Alt sammen idéer om, hvordan et problem skal løses.

Fakta om din egen situation er noget andet. Dine kunder, priser, procedurer og undtagelser er ikke en måde at tænke på. Det er oplysninger. Modellen kan ikke regne sig frem til, at én bestemt kunde har aftalt 60 dages betaling. Den skal have det at vide.

Sutton skriver ikke om virksomheders egne data. Han slutter med: “We want AI agents that can discover like we can, not which contain what we have discovered.” Men en model kan ikke opdage en aftale, den aldrig har set. Den skal stå i konteksten.

En tommelfingerregel: Siger teksten, hvordan modellen skal tænke? Så kan den blive forældet med næste model. Siger den, hvordan tingene er hos jer? Så er den kontekst, og den skal blive.

Hvad betyder det for AI-agenter?

Sutton skrev om AI-forskning, ikke om agenter. Det følgende er andres læsning af ham.

Anthropic skrev 22. oktober 2026 om, hvornår man skal samle subagenter i én agent. Diane Sarkis skriver: “Each new model lets you move more of the decision-making out of the harness and into the model itself.” Med hver ny model kan flere beslutninger flyttes fra rammen omkring modellen og ind i modellen selv.

Ray Amjad kalder i sin video Anthropics råd et nyt eksempel på The Bitter Lesson. Han skærer ned i sine skills, hver gang en ny model kommer. Hans grund er, at “the crutches we introduced to make a model work better” kan holde en ny model tilbage. Krykkerne, en svagere model havde brug for, kan spænde ben for den næste.

Læst på den måde er faste pipelines, routere, personaer og organisationsdiagrammer af agenter “how we think we think”. Det er menneskets idé om, hvordan arbejdet skal deles og løses. En skill, der siger fakta og regler, er kontekst. Den bliver. Mere om det i guiden Subagenter: hvornår en AI-agent skal dele arbejdet op.

Et eksempel

Eksemplet er konstrueret. En VVS-virksomhed med 40 ansatte bygger en agent, der laver tilbud. Første version har fire led. Én agent læser kundens mail, én finder varer, én regner prisen, og én skriver tilbuddet. Hver har sin egen persona. Med den model, de startede med, var det nødvendigt.

Et år senere kommer en ny model. Den kan lave hele tilbuddet i ét forløb. Nu bremser de fire led. Agenten, der skriver tilbuddet, ser aldrig kundens mail. Den ser kun et resumé.

Virksomheden fjerner leddene og personaerne. Men de beholder skillen med prislisten, rabatreglerne og kunderne med særaftaler. Det er ikke en måde at tænke på. Det er fakta, som ingen model kan gætte.

Det skal du passe på

Det er en iagttagelse, ikke en lov. Sutton ser et mønster over 70 år. Han beviser ikke, at det altid gælder.

Kort sigt tæller også. Sutton skriver selv, at indbygget viden altid hjælper på kort sigt. En fast arbejdsgang kan være det rigtige med den model, du har i dag. Spørgsmålet er, om du fjerner den igen, når den ikke længere hjælper.

Fakta skal ikke ud. Brug ikke essayet som grund til at give modellen mindre at vide om din situation. Det er metoden, der kan blive forældet, ikke oplysningerne.

Kilder

Kontrolleret 26. oktober 2026.

• Rich Sutton: The Bitter Lesson, 13. marts 2019.
• Diane Sarkis, Anthropic: Building agents: When to fold subagents into your main agent loop, 22. oktober 2026.
• Ray Amjad: Anthropic’s New Subagent Rules Will Change How You Build, YouTube, oktober 2026.