Chain-of-thought (CoT)

Hvad er chain-of-thought?

Chain-of-thought (CoT) er en prompting-teknik der får AI-modeller til at “tænke højt” ved at generere mellemliggende ræsonneringstrin før de giver et endeligt svar. I stedet for at springe direkte til konklusionen, gennemgår modellen problemet logisk, trin for trin.

Teknikken blev populariseret af Google Research i 2022 og var et af de største gennembrud inden for prompt engineering. Forskningen viste at blot ved at tilføje “Lad os tænke trin for trin” til et prompt, forbedrede sprogmodellers præstation på matematiske og logiske opgaver med op til 40-60 procentpoint.

Det geniale ved CoT er at det ikke kræver nogen ændring af selve modellen. Det er en ren prompting-teknik. Du ændrer bare hvordan du spørger, ikke hvad modellen kan.

Hvorfor virker chain-of-thought?

Sprogmodeller genererer tekst ét token ad gangen, fra venstre mod højre. Uden CoT forsøger modellen at springe direkte fra spørgsmål til svar i ét hop. For simple opgaver er det fint, men for komplekse opgaver der kræver flere ræsonneringstrin er det som at bede nogen om at løse en ligning i hovedet uden at skrive mellemregninger ned.

CoT virker fordi:

1. Dekomponering. Modellen bryder et komplekst problem op i håndterbare deltrin. Hvert trin er simpelt nok til at modellen kan løse det korrekt.
2. Synlig ræsonnering. Ved at skrive ræsonnementet ud, kan hvert nyt token bygge på de foregående trin, ligesom en studerende der skriver mellemregninger ned.
3. Fejlkorrektion. Når ræsonnementet er synligt, kan modellen (og brugeren) opdage fejl i ræsonnementet.

Typer af chain-of-thought

1. Zero-shot CoT. Tilføj blot “Lad os tænke trin for trin” eller “Tænk grundigt over dette” til dit prompt. Ingen eksempler nødvendige. Overraskende effektivt.
2. Few-shot CoT. Giv eksempler der viser ræsonneringsprocessen. “Spørgsmål: … Tænkning: [trin-for-trin] Svar: …” Modellen følger det demonstrerede mønster.
3. Self-consistency CoT. Generer flere chain-of-thought-svar og vælg det svar der optræder oftest. Reducerer tilfældige fejl markant.
4. Auto-CoT. Lad modellen selv generere CoT-eksempler i stedet for at skrive dem manuelt. Skalerer bedre til mange opgaver.

Chain-of-thought i praksis

1. Matematik og logik. CoT forbedrer drastisk præstationen på matematiske problemer. “Hvis en butik har 30% rabat og du har en kupon på yderligere 10%, hvad er den samlede rabat?” Med CoT gennemgår modellen beregningen korrekt.
2. Kodning. “Tænk over edge cases og potentielle fejl før du skriver koden” giver mere robust kode.
3. Analyse. “Analysér dette argument trin for trin. Identificér præmisser, konklusioner og eventuelle logiske fejl.” CoT producerer grundigere analyse.
4. Planlægning. “Tænk igennem hvilke trin der kræves for at migrere denne database til det nye format” giver mere komplette planer.
5. Beslutninger. “Overvej fordele og ulemper ved hvert alternativ før du giver en anbefaling” giver bedre afvejede svar.

CoT og moderne modeller

Moderne AI-modeller som GPT, Claude og Gemini har CoT-lignende ræsonnering bygget ind. De “tænker” automatisk mere grundigt over komplekse opgaver. Dedikerede reasoning-modeller bruger eksplicit “thinking time” hvor modellen bruger ekstra tokens på intern ræsonnering før den svarer.

Men selv med disse avancerede modeller kan eksplicit CoT-prompting stadig hjælpe. At bede modellen om at “tænke trin for trin” aktiverer en grundigere ræsonneringsmode der kan forbedre svaret.