AI Benchmark: Score vs.

Et værktøj kan score højt, fordi det klarer sig godt på et bredt gennemsnit af opgavetyper, men samtidig fejle konsekvent på netop de opgaver, en given virksomhed bruger det til hver dag. Totalscoren er et gennemsnit, mens succesraten fortæller noget andet: hvor ofte værktøjet rent faktisk løser opgaven uden at kræve en fuld omgang manuel oprydning bagefter. I AE Eval-testen topper Opus 4.8 med en score på 83 point, men Codex følger tæt efter med 82 point og har en markant højere gennemførelsesrate på 100 procent mod Opus's 58 procent. Det er ikke en modsigelse, men en påmindelse om, at et gennemsnit skjuler variation, og variation er præcis det, en virksomhed betaler for at undgå.

Den vigtigste skelnen i testen er mellem tal, der er estimeret ud fra modellens specifikationer eller tidligere benchmarks, og tal, der stammer fra faktiske, gennemførte forsøg. Estimerede tal bygger på antagelser om, hvordan en model *bør* præstere givet dens arkitektur og træningsdata. Afprøvede tal viser, hvordan modellen faktisk præsterede, da den blev sat til at løse konkrete opgaver under realistiske betingelser, inklusive fejlhåndtering, kontekstbegrænsninger og de småting, der aldrig fremgår af en specifikationsside. Forskellen mellem de to kan være stor, og AE Eval-testen dokumenterer netop, hvor stor den kan blive.

Cursor 2.5 er det tydeligste eksempel på, hvor meget et estimeret tal kan tegne et forkert billede. Modellen er slet ikke kørt gennem den samme afprøvning som de øvrige værktøjer i testen, dens tal er et estimat baseret på specifikationer, og alligevel scorer det estimat 29 point højere end Qwen2.5 Coder 14B, som rent faktisk blev testet og fejlede. Det er ikke fordi Cursor 2.5 nødvendigvis er dårlig i praksis, men fordi der ikke findes noget afprøvet grundlag at sige det på. Det er en fælde, jeg ofte ser virksomheder gå i, når de vælger AI-værktøj ud fra en leverandørs egne tal frem for en uafhængig, afprøvet test.

Det mest markante eksempel i testen er Qwen2.5 Coder 14B. Modellen blev faktisk afprøvet, ikke kun estimeret, og resultatet var entydigt dårligt i den periode, testen dækkede: 48 point i samlet score, men nul procent gennemførelse og kun 45 sekunder brugt per opgave i gennemsnit. Det sidste tal er ikke et tegn på effektivitet, det er et tegn på, at modellen gav op eller leverede noget ubrugeligt, før opgaven reelt var løst. Det er præcis den type resultat, en samlet benchmarkscore ikke fanger, fordi et enkelt dårligt forsøg kan drukne i et gennemsnit sammensat af mange andre datapunkter.

Den praktiske konklusion er enkel, men ofte overset: en samlet score fortæller dig, hvordan et værktøj klarer sig på tværs af mange forskellige opgavetyper i gennemsnit. Den fortæller dig ikke, om værktøjet vil løse *din* opgave pålideligt, næste gang du bruger det. Codex med 82 point og 100 procent gennemførelse er et bedre bud til en virksomhed, der skal kunne stole på resultatet hver gang, end Opus 4.8 med den højeste score, men kun 58 procent gennemførelse. Og et estimeret tal som Cursor 2.5's bør aldrig sidestilles med et afprøvet resultat som Qwen2.5 Coder's, uanset hvor meget bedre estimatet ser ud på papiret.

Mit råd, når jeg rådgiver mindre og mellemstore virksomheder om AI-værktøj, er altid det samme: test værktøjet på jeres egne, konkrete opgaver, før I forpligter jer. En rangliste kan pege jer i en retning, men den kan ikke erstatte en afprøvning i jeres egen kontekst. Spørg konkret ind til, om et tal er estimeret eller faktisk afprøvet, og bed om at se, hvordan værktøjet klarede opgaver, der ligner jeres egne. Det er en lille ekstra indsats, der ofte sparer jer for måneder med et værktøj, der ser godt ud på papiret, men skuffer i hverdagen.

Den slags praktisk, jordnær tilgang er, hvad jeg arbejder med hver dag som selvstændig AI-konsulent: at gøre AI brugbart for virksomheder uden et teknisk udgangspunkt, kort og konkret, og uden at lade en flot benchmarkscore afgøre valget alene.