Sporet skal være skabt dengang

Der findes et spørgsmål, som kan koste et revisionsfirma en hel uge: kan I dokumentere det?

Spørgsmålet gælder beviset. Kan det vises, at arbejdet blev lavet, med datoer, begrundelser og hvem der gjorde hvad hvornår, fem år tilbage? Og som regel ligger de fem år spredt ud over fire systemer og en indbakke.

For et par dage siden byggede jeg knappen, der samler det. Man vælger klienterne, trykker generér, og ud kommer én fil med hele materialet. Jeg kørte den på en portefølje med over 400 klienter, og den var cirka 23 minutter om det.

Det er ét klik, og så er det 23 minutters maskinarbejde. Jeg siger begge dele, fordi den halve version lyder som magi, og alle, der har prøvet at trække den slags materiale ud i hånden, ved godt, at det ikke er magi. Alternativet er dage, og den forskel er stor nok i sig selv.

Tesen bag knappen

Man kan ikke generere dokumentation bagud.

Er en screening af en reel ejer aldrig lavet, så findes den ikke. Intet system kan opfinde den bagefter, og ingen model kan udlede den af noget andet. Den kan laves i dag med dagens dato, og så er den præcis dét: noget, der blev lavet i dag.

Det lyder banalt, når man skriver det ned. Jeg synes alligevel, det er en af de mest oversete begrænsninger ved AI i drift.

En model kan sammenfatte, omskrive, oversætte og finde mønstre i noget, der findes. Den kan ikke skabe et spor efter en begivenhed, som ingen registrerede, mens den skete. Alt det, folk håber, AI kan rydde op i bagefter, forudsætter, at der er noget at rydde op i.

Betingelsen er, at det ligger ét sted

Her lavede jeg selv en fejl, som jeg har rettet siden.

Første gang jeg formulerede tesen, skrev jeg, at knappen kun kan findes i et system, der har ført tingene løbende hele vejen. Det lyder rigtigt, og det er forkert. Læst af en, der overvejer at skifte system, betyder den sætning "så har du ikke knappen før om fem år", og det er noget vrøvl.

Betingelsen er, at materialet ligger ét sted i struktureret form. Ligger hvidvasken i ét system, signeringen i et andet og korrespondancen i en indbakke, findes den samlede dokumentation ingen steder, og så skal nogen sætte sig ned og lave den i hånden.

Historikken kan sagtens flyttes ind fra et andet system. Sporet skal være skabt dengang, arbejdet skete, og det skal kunne genfindes. Det behøver ikke at være skabt i det system, der viser det frem i dag.

Den skelnen er forskellen mellem "du skal have brugt os i fem år" og "du skal have gjort arbejdet i fem år", og jeg havde skrevet den første.

Hvad det betyder for det, man bygger

Konsekvensen er ret præcis, og den er ubehagelig: vil du kunne stille et spørgsmål til dine egne data om et år, skal du beslutte i dag, at svaret bliver skrevet ned, mens arbejdet foregår, og skrevet ned i en form, en maskine kan læse.

Det er en beslutning, der skal tages, mens arbejdet er i gang.

Jeg tænker over det, hver gang jeg bygger noget nyt nu: efterlader det her et spor, som nogen kan bruge om et år? Det er et kedeligere spørgsmål end det, jeg havde lyst til at stille, nemlig om en model nok kunne regne det ud senere. Det kedelige er også det, der holder.

Min egen erfaring med et par af de mest udbredte systemer på området er, at man skal skrive til leverandøren og bede dem trække materialet for sig. Jeg tror, det skyldes, at sporet blev ført på en måde, hvor det ikke kan samles op igen uden hjælp.

Hvad pakken ikke kan

Forsiden af pakken bærer en liste over det, den ikke indeholder: firmaets egen risikovurdering, dets politikker og dets uddannelsesdokumentation. Det har vi ikke, og så skal vi ikke lade som om.

Den liste er den del, jeg er mest tilfreds med. Et system, der påstår at levere alt, bliver ikke troet af nogen, der kender området, og listen på forsiden er grunden til, at resten kan tages alvorligt.

Og for at sige det helt tydeligt: pakken understøtter et tilsyn. Den garanterer ingenting, og den certificerer ingenting. Der findes ikke et stykke software, der kan gøre det.

Grænsen for, hvad et system kan svare på, ligger som regel i, om nogen skrev tingen ned, mens den skete, og om de skrev den et sted, en maskine kan læse. Det er en kedeligere begrænsning end modellens evner. Det er også den, jeg render ind i oftest.