En demo vælger sit eget datasæt
En demo kører på data, du selv har valgt. Produktionen kører på det, der findes, og forskellen kan måles.
Når du bygger en demo, vælger du materialet. Du tager de eksempler, hvor modellen svarer rigtigt, du kører den et par gange, og du viser den kørsel, der gik bedst. Ingen snyder. Du gør bare det naturlige.
Så sætter du den samme model i produktion, hvor materialet er det, der findes, og hvor den skal have ret hver gang uden at du står ved siden af.
Jeg har lige haft den overgang, og jeg skrev tallene ned fra dag et.
Tallene
Auto-bogføringen gik live for nylig. Fra dag nul blev 77 procent af alle bilag bogført automatisk, med konto, moms og bilag på plads. De resterende 23 procent gik videre til klienten, ikke til bogholderen.
På leverandørfakturaer fra leverandører, systemet havde set før, ramte den rigtig konto i 96,6 procent af tilfældene. Det er målt på 1.370 fakturaer.
Betalinger blev matchet på fakturareference i alle tilfælde, uden at nogen skulle sætte regler op.
Og når systemet bogførte selv, blev 96,7 procent konteret rigtigt. Det er 8.368 posteringer fordelt på 37 klienter hos det ene kontor, der kører systemet.
Tal fra én installation er tal fra én installation. Et andet kontor med andre vaner ville give andre procenter. Men de er målt, ikke estimeret, og de kommer fra rigtige bilag i en rigtig måned.
De 3,4 procent er det interessante
Den nemme historie er, at 96,6 procent er godt nok, og at resten er modelfejl, man skal leve med. Da jeg kiggede på afvigelserne, var det ikke dét, der stod.
Afvigelserne var tilfælde, hvor revisoren selv en gang havde bogført en kendt leverandør på en anden konto end normalt. Systemet fulgte mønsteret. Mennesket havde afveget fra det.
Så hvem har ret? Det afhænger af, hvilket mønster du stoler på, og det spørgsmål findes ikke i en demo. I en demo er der et facit. I produktionen er facit det, netop dette kontor plejer at gøre, og det står ingen steder skrevet ned.
Det var den enkelte ting, jeg havde mest brug for at lære, og den kunne ingen demo have lært mig.
Hvad jeg måler nu
Efter det har jeg ændret, hvad jeg overhovedet kigger på.
Andelen der klares uden et menneske, målt fra dag nul og ikke efter en oplæringsperiode. En demo har ingen dag nul; den har kun den dag, du valgte at vise frem.
Hvor afvigelserne kommer fra, delt op i modellen tog fejl og mennesket gjorde noget usædvanligt. De to kræver vidt forskellige svar, og de ligner hinanden fuldstændig i en fejlrapport.
Og hvad der sker med det, systemet ikke kan. De 23 procent er ikke et hul, hvis de lander et sted, hvor nogen kan gøre noget ved dem. De er et hul, hvis de lander i en kø, ingen kigger i.
Fakturaen fra den kendte leverandør, der blev bogført et sted den plejer at ligge, mens revisoren sidste gang havde valgt et andet sted, er det eksempel, jeg bruger nu, når nogen spørger, hvor svært det egentlig er. Modellen havde ret efter sit mønster. Kontoret havde ret efter sit. Det er dér, arbejdet ligger.