AI Ordbog
LLM-as-a-judge
Når en sprogmodel bedømmer svarene fra en anden AI-løsning efter faste kriterier.
Skrevet og redigeret af Kristian Primdal · Sidst opdateret 16. oktober 2026Indhold
Hvad er LLM-as-a-judge?
LLM-as-a-judge betyder, at en sprogmodel bruges som dommer. Den læser et svar fra en anden AI-løsning og giver det en bedømmelse. Du fortæller dommeren, hvad et godt svar er. Den gør resten.
Metoden bruges i evals, når svarene er fri tekst. Kode kan tjekke, om et tal er rigtigt. Kode kan ikke tjekke, om en mail er høflig, præcis og svarer på spørgsmålet. Det kan et menneske. Men et menneske er langsomt og dyrt. En AI-dommer kan læse hundrede svar på få minutter.
Hvordan virker det?
Der er tre almindelige former:
- Score efter et bedømmelsesskema (på engelsk rubric). Dommeren får kriterier og giver hvert svar en score, for eksempel fra 1 til 5.
- Sammenligning. Dommeren ser to svar på samme spørgsmål og vælger det bedste.
- Mod et referencesvar. Dommeren sammenligner svaret med et svar, et menneske har skrevet.
Begrebet blev udbredt med artiklen “Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena” af Lianmin Zheng m.fl. fra 2023. De fandt, at stærke modeller som GPT-4 var enige med menneskelige vurderinger i over 80 procent af tilfældene. Det svarer ifølge forfatterne til, hvor enige mennesker er med hinanden.
Store platforme bygger det ind. Microsoft Foundry har AI-assisterede evaluatorer, der kræver en dommermodel. Googles Gen AI evaluation service bruger en sprogmodel som dommer og kan lave et bedømmelsesskema til hvert enkelt spørgsmål.
Et eksempel
En tænkt webshop med 10-20 ansatte bruger en chatbot til kundeservice. Hver uge vil de vide, om svarene stadig er gode. De kan ikke læse tusind samtaler.
De skriver et bedømmelsesskema med fire punkter. Svarer den på spørgsmålet? Er fakta om levering korrekte? Er tonen venlig? Lover den noget, butikken ikke kan holde? En AI-dommer bedømmer et udsnit hver uge. Kundeservicechefen læser selv de samtaler, der får lavest score.
Første måned læser chefen også en stribe tilfældige samtaler og sammenligner med dommeren. De er uenige om løfter om levering. Bedømmelsesskemaet bliver skrevet om.
Det skal du passe på
Position. Zheng m.fl. fandt, at dommere kan foretrække det svar, der står et bestemt sted. Byt om på rækkefølgen og kør igen.
Længde. Dommere kan foretrække lange svar, også når det korte er bedre.
Egne svar. En model kan foretrække svar fra sig selv. Brug gerne en dommer fra en anden leverandør.
Ingen kalibrering. Anthropic skriver, at en AI-dommer bør kalibreres tæt mod menneskelige eksperter. Giv også dommeren lov til at svare “ved ikke”, så den ikke gætter.
Uklare kriterier. “Er svaret godt?” giver tilfældige scorer. Skriv konkrete kriterier.
Kilder
Kontrolleret 16. oktober 2026.
FAQ
Hvad betyder LLM-as-a-judge?
At en sprogmodel bruges som dommer. Den læser et svar fra en AI-løsning og bedømmer det efter kriterier, du har givet den. Det bruges, når svarene er tekst, som ikke kan tjekkes med en simpel regel.
Kan man stole på en AI-dommer?
Kun hvis du har tjekket den. Zheng m.fl. fandt i 2023, at stærke modeller som GPT-4 var enige med mennesker over 80 procent af tiden. De fandt også skævheder. Sammenlign dommerens vurderinger med et menneskes på et udsnit, før du stoler på den.
Hvilke skævheder har en AI-dommer?
Zheng m.fl. nævner tre skævheder: den foretrækker det svar, der står først eller sidst (position), den foretrækker lange svar (længde), og den foretrækker svar fra sig selv (selvforstærkning).