Baseline

Hvad er en baseline?

En baseline er de tal, I starter fra. I måler en proces, før I tager AI i brug. Bagefter måler I det samme igen og sammenligner. Uden en baseline kan ingen sige, om AI har gjort en forskel.

Ordet er engelsk og betyder udgangspunkt. Det bruges også uden for AI, fx når man styrer projekter.

Hvad I skal måle

For en AI-løsning på én proces er der fire tal, der går igen:

• Gennemløbstid. Hvor længe sagen er undervejs fra start til slut.
• Arbejdstid. Hvor meget af tiden nogen faktisk arbejder på den.
• Omgørelser. Hvor tit sagen skal laves om.
• Rigtige svar. Hvor mange der er rigtige mod et facit, se golden dataset.

Mål på rigtige sager, fx 20 til 30. Jo flere sager, jo mindre en forskel kan I se. Sjældne fejl ser I ikke i så få sager. Dem fanger I med stikprøver over tid.

Hvorfor før og ikke efter

Når en løsning er i drift, er det for sent. Folk husker, at det tog længere tid før, men ikke hvor lang tid. Og processen er ofte ændret undervejs.

En baseline gør også noget andet. Den tvinger jer til at aftale, hvad I vil forbedre. Er det tiden, fejlene eller kvaliteten? Det er svært at regne ROI uden det svar.

Et tænkt eksempel

En grossist vil bruge AI til at matche fakturaer med ordrer. I to uger skriver bogholderen tid og omgørelser på hver faktura. Baseline viser 12 minutters arbejdstid pr. faktura og 1 ud af 15, der skal rettes. Efter seks uger med AI måler de igen på samme måde. Arbejdstiden er faldet. Omgørelserne er de samme. Nu ved de, hvor de skal kigge.

Når løsningen kører, stopper I ikke med at måle. I tager stikprøver.