Metodologi

InterMIND's benchmark for oversættelseskvalitet produceres automatisk af vores egen testsuite: en ugentlig syntetisk kørsel driver den samme oversættelsespipeline, som står bag den offentlige /demo, over et fast referencesæt og på samme måde for hvert sprogpar. Den er syntetisk og reproducerbar — intet her er kurateret eller udvalgt efter gunstige resultater, og der er ingen mennesker i scoringsprocessen.

Sådan fungerer en enkelt test

En testkørsel afspiller en reference-lydfil (stemmetest) eller sender en referencetekst (chattest) fra et kildesprog gennem vores live-oversættelsespipeline til et målsprog. Den resulterende oversættelse scores 0–100 af en LLM-dommer i forhold til en kanonisk referenceoversættelse.

LLM-dommer: google/gemini-3.8-flash som primær, anthropic/claude-sonnet-5 som fallback (via Vercel AI Gateway). Den samme prompt, den samme rubrik og de samme referencetekster bruges på tværs af alle par.

Sådan aggregeres en måned

1. Hver gennemført fuld benchmarkkørsel registreres i demo_test_runs med scores pr. målsprog. Forhåndsvisninger af enkelte par er udeladt — kun fulde kørsler med flere sprog indgår i medianerne.
2. For hver kombination af (kildesprog, målsprog, testtype, uge) beholder vi den seneste kørsel og aggregerer derefter pr. måned — så en enkelt kilde ikke kan flytte medianerne ved at gentage et par inden for en uge.
3. Ud fra det deduplikerede datasæt beregner vi median, min, maks, p10, p90, gennemsnit og stikprøvestørrelse.
4. Vi tager et øjebliksbillede af de enkelte scores, så tallene forbliver stabile, når en måned er afsluttet, selv efter at rå kørsler er slettet via TTL.

Hvornår et par vises i det offentlige indeks

En række (par × testtype × måned) er berettiget til det offentlige indeks og sitemap, når den opfylder en minimumsstikprøvestørrelse og en nedre grænse for mediansscoren (en lavere grænse for stemme, som uundgåeligt har ASR-støj). Fordi datasættet stammer fra én enkelt automatiseret kilde frem for mange uafhængige besøgende, er kravet om unikke kilder lempet for disse syntetiske data — kravene til stikprøvestørrelse og kvalitet gælder stadig.

Par, der ikke når grænserne, er fortsat tilgængelige via direkte link — tærsklerne styrer kun, hvad søgemaskiner ser. Vi skjuler ikke lave scores for dem, der selv beder om at se dem.

Hvad vi bevidst IKKE påstår

• En enkelt score er ikke pålidelig. Et velfungerende par kan svinge 30 point mellem kørsler, fordi både ASR og LLM-vurdering er støjende. Derfor viser hver side en fordeling og ikke ét enkelt tal.
• LLM-dommeren er selv ufuldkommen. Vi kan i fremtiden skifte eller bruge flere dommere; historiske rækker vil da bære dommerens identifikator.
• Benchmarken måler ikke latenstid, omkostninger, tilgængelighed eller brugertilfredshed. Det findes andre steder.
• Datasættet er syntetisk — produceret af vores egen automatiserede suite og ikke af uafhængig trafik fra tredjepart. Vi oplyser det eksplicit frem for at antyde et eksternt panel.

Ærlige vurderinger

Når en måned falder i kvalitet for et bestemt par, forbliver det synligt. Når en fejl er rettet, og den næste måned springer op, er forbedringen synlig på samme side. Vi omskriver aldrig historiske aggregater. Administratorer kan kun skjule enkelte måneder fra det offentlige indeks; de kan ikke ændre de tal, der allerede er offentliggjort.

Kendte problemer, der påvirker historiske data

• Chattest-harness, før 2026-04-23: den automatiserede chattest-pipeline havde fejl for enkelte sprog. Chat-aggregater fra tidligere måneder kan vise lavere scores end den faktiske oversættelseskvalitet i de perioder. Berørte måneder er bevaret i databasen, men skjult fra det offentlige indeks; trenddiagrammet vil vise et trinskift ved rettelsen.

Spørgsmål

Uenig i noget her? Opret en issue eller skriv til os. Vi opdaterer denne side og noterer ændringen.