Haiku 4.5 slår Sonnet 5

AE-Eval kører de to modeller gennem identiske opgavesæt og måler både, om opgaven bliver løst korrekt, og hvor effektivt den bliver løst. På pass rate, altså andelen af opgaver løst uden fejl, lå Haiku 4.5 og Sonnet 5 stort set ens. Men på den samlede score, som vægter kvalitet og effektivitet sammen, endte Haiku foran. Det er kontraintuitivt, fordi Sonnet 5 er den dyrere og generelt mere kapable model i Anthropics eget hierarki. Man skulle forvente, at den dyre model vandt på begge parametre, eller i det mindste ikke tabte på nogen.

AE-Eval er ikke en syntetisk multiple choice-test. Den kører modellerne gennem konkrete, tidsbestemte opgaver, der ligner det, en agent eller et AI-værktøj rent faktisk bliver bedt om at løse i praksis. Hver kørsel bliver timet, og resultatet bliver vurderet på, om opgaven er løst, hvor mange forsøg det tog, og hvor lang tid det tog. Den metode gør benchmarken mere virkelighedsnær end mange offentlige leaderboards, men den betyder også, at resultatet er følsomt over for, hvordan man vægter tid over for kvalitet.

Det mest interessante datapunkt er, at de to modeller havde nøjagtig samme pass rate på 88 procent. Begge løste altså samme andel af opgaverne korrekt. Alligevel endte de med forskellig score, 86 mod 83. Det viser, at pass rate alene ikke fortæller hele historien. To modeller kan levere lige mange korrekte svar og alligevel score forskelligt, fordi scoren også indregner faktorer som effektivitet og ressourceforbrug. Det er en vigtig pointe for alle, der bruger en enkelt succesrate som eneste målestok for AI-kvalitet: den fortæller ikke, hvor godt arbejdet reelt blev udført.

Haikus højere score kom ikke gratis. Modellen brugte i snit 24 sekunder per opgave, mod 18 sekunder for Sonnet 5. Det betyder, at Haiku vandt på score, men ikke nødvendigvis på den samlede oplevelse, hvis hastighed er det, der betyder mest for en given opgave. For en virksomhed, der skal vælge model til en tidskritisk proces, som eksempelvis kundesupport i realtid, er den afvejning central. Score og hastighed trækker i hver sin retning her, og det ene tal kan ikke stå alene som beslutningsgrundlag.

AE-Eval sammenligner kun Claude-modeller mod hinanden i dette forløb. To andre navne på benchmark-tavlen, Codex og Cursor, er markeret som kalibrerede snarere end live, timede kørsler, og deres tal ligner ellers Claude-scorerne. Alligevel holder praktikeren dem ude af den direkte sammenligning, fordi hele opgaveudførelsen, ikke kun modellen, er forskellig. Det er en vigtig afgrænsning at holde fast i, når man læser benchmark-resultater: en model-mod-model-test siger noget andet end en test, hvor metoden bag tallene ikke er den samme.

Der findes på nuværende tidspunkt ingen bekræftet forklaring på, hvorfor Haiku 4.5 slog Sonnet 5 på score. Det kunne handle om, hvordan Haiku håndterer bestemte opgavetyper mere effektivt, om vægtningen i selve scoringsmetoden, eller om tilfældig variation mellem kørsler. Uden yderligere test er det gætværk at pege på en enkelt årsag, og jeg vil hellere sige det ligeud end konstruere en forklaring, der lyder overbevisende, men ikke er efterprøvet. Det er den vigtigste lektie fra denne benchmark: data kan overraske, og en overraskelse er ikke det samme som en forklaring.

For en dansk virksomhed, der skal vælge mellem AI-modeller, er den praktiske lektie enkel: dyrere er ikke automatisk bedre til alle opgaver, og en enkelt score eller succesrate fortæller sjældent hele historien. I mit arbejde med små og mellemstore virksomheder ser jeg ofte, at valget af model bliver truffet på pris eller omdømme alene, uden at man tester modellerne mod de konkrete opgaver, de faktisk skal løse i hverdagen. Den rigtige tilgang er at teste på egne opgaver, se på både kvalitet og tid, og acceptere at den billigste løsning nogle gange vinder, mens den dyreste nogle gange er det rigtige valg af andre grunde end score alene. Det handler om at gøre AI brugbart i praksis, ikke om at følge et enkelt tal blindt.