En virksomhed, der vil bruge AI til at gennemgå store mængder data
En virksomhed, der vil bruge AI til at gennemgå store mængder data, støder hurtigt på et regnestykke, der ikke går op. Hvis hver eneste post skal igennem en kraftfuld sprogmodel, vokser regningen lineært med datamængden. Løsningen, jeg selv har taget i brug hos flere kunder, er ikke at skære i ambitionen, men at dele opgaven i to trin: en billig model sorterer det meste fra, og kun det, der reelt kræver den dyre models dømmekraft, når frem til den.
Problemet: når datamængden er større end budgettet
De fleste virksomheder, der begynder at bruge AI seriøst, oplever det samme mønster. Første prototype virker fint på hundrede eksempler. Så skal den skaleres til ti tusind, eller hundrede tusind, og pludselig er den månedlige regning fra API-udbyderen større end lønnen til en fuldtidsmedarbejder. Problemet er ikke, at modellerne er dårlige. Det er, at man betaler den samme høje pris for at læse en triviel besked som for at analysere en kompleks kontrakt.
De fleste opgaver med store datamængder, uanset om det er kundehenvendelser, produktanmeldelser eller interne dokumenter, har en skæv fordeling. Langt de fleste poster er ligetil, og kun en mindre andel kræver reel nuanceret vurdering. Når man alligevel sender alt gennem den dyreste model, betaler man topprisen for arbejde, der ikke kræver den kvalitet.
Man betaler den samme høje pris for at læse en triviel besked som for at analysere en kompleks kontrakt.
To-trins mønsteret: billig filtrering, dyr syntese
Metoden er enkel i sin grundstruktur. Først kører hele datamængden gennem en lille, billig model, ofte en lokalt hostet eller markant billigere API-model. Denne models eneste opgave er at klassificere: er dette relevant, tvivlsomt eller irrelevant? Kun de poster, der bliver markeret som relevante eller tvivlsomme, sendes videre til den dyre model, som laver den egentlige syntese, vurdering eller sammenfatning.
Prisloftet håndhæves af selve loftet
Det, der gør metoden anvendelig i praksis, er, at man kan sætte et hardt loft for, hvor mange poster der maksimalt må sendes videre til den dyre model per periode. Filtreringsmodellen bliver dermed ikke bare en kvalitetsforbedring, men en direkte budgetmekanisme. Hvis loftet nås, stopper videresendelsen, uanset hvor meget data der stadig venter.
Det lyder simpelt, men det kræver, at man designer systemet sådan fra starten. Loftet skal håndhæves af arkitekturen selv, ikke af manuel overvågning eller efterfølgende fakturakontrol. Jeg anbefaler altid, at loftet er en hård parameter i koden, ikke en anbefaling, man håber medarbejderne husker at tjekke.
Begrænsningen: en klassifikator er ikke en dommer
Her er metodens ærlige svaghed, og den skal ikke pyntes på. Den billige model, der laver filtreringen, er ikke i stand til de samme nuancer som den dyre model. Den træffer et binært eller trevejs valg baseret på simplere mønstre, og det betyder uundgåeligt, at nogle relevante poster bliver frasorteret fejlagtigt, og nogle irrelevante poster slipper igennem.
Dette er ikke en fejl, man kan designe sig helt fri af. Det er en grundlæggende egenskab ved at bruge en billigere model til at træffe et forudgående valg. Jo mere kompleks og nuanceret den underliggende data er, jo større bliver fejlmarginen i filtreringstrinnet. En klassifikator, der skal afgøre om en kundeklage er alvorlig, kan sagtens misforstå ironi, underdrivelse eller branchespecifikt sprog, som den dyre model ville have fanget.
Den billige model, der laver filtreringen, er ikke i stand til de samme nuancer som den dyre model.
Hvornår giver metoden ingen gevinst
Metoden er ikke universel. Hvis datamængden er lille nok til, at den dyre model alligevel er billig at køre på hele mængden, giver et ekstra filtreringstrin kun kompleksitet uden besparelse. Og hvis opgaven i sig selv kræver høj præcision på hver eneste post, for eksempel juridisk gennemgang eller medicinsk vurdering, kan man ikke acceptere den fejlmargin, som filtreringstrinnet uundgåeligt introducerer.
Der er også situationer, hvor selve skellet mellem relevant og irrelevant er så flydende, at en billig model slet ikke kan lære det pålideligt. I de tilfælde er investeringen i at bygge og vedligeholde et filtreringstrin spildt, fordi den billige model reelt ikke reducerer arbejdsbyrden nok til at retfærdiggøre den ekstra fejlrisiko.
Lektien for danske SMV-ledere
Som selvstændig AI-konsulent for små og mellemstore virksomheder arbejder jeg med kunder, der sjældent har budget til at lade den dyreste model køre ubegrænset. For dem er to-trins mønsteret ofte den forskel, der gør AI til et brugbart værktøj i stedet for en ambition, der aldrig kommer i drift.
Mit råd er at starte med at kortlægge, hvor skæv fordelingen reelt er i jeres egen data. Hvis en stor andel af opgaverne er ligetil, er filtrering sandsynligvis pengene værd. Er opgaverne derimod jævnt komplekse, skal man overveje andre veje til at styre omkostningerne, for eksempel at begrænse omfanget eller vælge en billigere model til hele opgaven fra start. Mit mål er at gøre AI brugbar for virksomheder uden et teknisk udgangspunkt, kort og konkret, og her handler det om at vælge den løsning, der passer til den konkrete opgave, ikke den mest avancerede teknik for teknikkens skyld.