Temperature

Hvad er temperature?

Temperature er en indstilling der kontrollerer hvor tilfældige eller forudsigelige en AI-models svar er. Det er en tal-værdi (typisk mellem 0 og 2) der justerer hvor “kreativt” modellen opfører sig.

Lav temperature (tæt på 0) giver fokuserede, konsistente og forudsigelige svar. Modellen vælger næsten altid det mest sandsynlige næste ord. Høj temperature (tæt på 1 eller derover) giver mere varierede, overraskende og kreative svar. Modellen har større sandsynlighed for at vælge usædvanlige ord.

Navnet “temperature” kommer fra statistisk mekanik i fysik, hvor temperatur styrer tilfældigheden af molekylers bevægelse. Lav temperatur = ordnet, forudsigelig. Høj temperatur = kaotisk, uforudsigelig.

Hvordan virker temperature teknisk?

Når en AI-model genererer tekst, beregner den en sandsynlighed for hvert muligt næste token. For eksempel efter “Hovedstaden i Danmark er” kunne sandsynlighederne være:

• “København”: 92%
• “en”: 3%
• “KBH”: 2%
• andre tokens: 3%

Temperature justerer disse sandsynligheder:

1. Temperature 0. Modellen vælger altid tokenet med højest sandsynlighed. “København” vælges hver gang. Svaret er deterministisk: du får det samme svar hver gang.
2. Temperature 0.5. Sandsynlighederne udjævnes lidt. “København” er stadig mest sandsynlig, men der er en lille chance for alternativer.
3. Temperature 1.0. Sandsynlighederne bruges som de er. God balance mellem fokus og variation.
4. Temperature 2.0. Sandsynlighederne udjævnes markant. Selv usandsynlige tokens har en reel chance for at blive valgt. Outputtet kan blive kreativt eller usammenhængende.

Hvornår bruger du hvilken temperature?

1. Temperature 0-0.3: Fakta og præcision. Brug lav temperature til opgaver der kræver korrekthed: faktuelle spørgsmål, kodegenerering, matematiske beregninger, dataekstraktion, klassifikation.
2. Temperature 0.5-0.7: Balanceret. En god standardindstilling for de fleste opgaver: email-skrivning, opsummeringer, forretningskommunikation.
3. Temperature 0.8-1.0: Kreativitet. Brug til kreativ skrivning, brainstorming, idégenerering, historiefortælling, marketing-tekst.
4. Temperature >1.0: Eksperimentel. Sjældent nyttigt i praksis. Outputtet bliver hurtigt usammenhængende. Kan bruges til at generere mange varierede idéer der derefter filtreres.

Temperature i praksis

1. API-brug. Alle store AI-API’er (OpenAI, Anthropic, Google) lader dig sætte temperature som parameter. Standard er typisk 0.7-1.0.
2. ChatGPT og Claude. I de direkte chat-interfaces kan du typisk ikke justere temperature. Produktet bruger en fast temperatur optimeret til generel brug.
3. Kodning. De fleste kodningsassistenter bruger lav temperature (0-0.2) for at give konsistent, korrekt kode.
4. A/B-test. Når du bygger AI-produkter, er temperature en af de vigtigste parametre at eksperimentere med. Små ændringer kan have stor indflydelse på brugeroplevelsen.

Temperature vs. top-p

Temperature og top-p (nucleus sampling) er to forskellige metoder til at kontrollere tilfældighed:

1. Temperature justerer sandsynlighederne for alle tokens. Det ændrer fordelingen.
2. Top-p afskærer de mindst sandsynlige tokens helt. Med top-p 0.9 overvejer modellen kun de tokens der tilsammen udgør 90% af sandsynligheden.

De fleste eksperter anbefaler at justere enten temperature eller top-p, ikke begge samtidigt. Vælg den der passer bedst til din opgave.