Metodikk

Referanseindeksen for oversettelseskvalitet i InterMIND produseres automatisk av vår egen testsuite: en ukentlig syntetisk kjøring sender et fast referansesett gjennom den samme oversettelsespipelinen som driver den offentlige /demo, på samme måte for hvert språkpar. Den er syntetisk og reproduserbar – ingenting her er kuratert eller plukket ut, og ingen mennesker er involvert i poengsettingen.

Hvordan en enkelt test fungerer

En testkjøring spiller av en referanselydfil (stemmetest) eller sender en referansetekst (chattest) fra et kildespråk gjennom vår live oversettelsespipeline til et målspråk. Den resulterende oversettelsen får en poengsum fra 0 til 100 av en LLM-dommer, målt mot en kanonisk referanseoversettelse.

LLM-dommer: google/gemini-3.8-flash som primær, anthropic/claude-sonnet-5 som reserve (via Vercel AI Gateway). Den samme prompten, den samme vurderingsmalen og de samme referansetekstene brukes for alle par.

Hvordan en måned aggregeres

1. Hver fullførte, komplette benchmark-kjøring registreres i demo_test_runs med poengsummer per målspråk. Forhåndsvisninger av enkeltpar er utelatt – bare fullstendige flerspråklige kjøringer inngår i medianene.
2. For hver kombinasjon av (kildespråk, målspråk, testtype, uke) beholder vi den siste kjøringen og aggregerer deretter per måned – slik at én enkelt kilde ikke kan forskyve medianene ved å gjenta et par i løpet av en uke.
3. Fra det deduplikerte settet beregner vi median, minimum, maksimum, p10, p90, gjennomsnitt og utvalgsstørrelse.
4. Vi lagrer øyeblikksbilder av de enkelte poengsummene, slik at tallene forblir stabile når en måned er avsluttet, selv etter at rå kjøringer er slettet via TTL.

Når et par vises i den offentlige indeksen

En rad (par × testtype × måned) kvalifiserer for den offentlige indeksen og områdekartet når den oppfyller en minste utvalgsstørrelse og en nedre grense for medianscore (en lavere grense for tale, som har uunngåelig ASR-støy). Fordi datasettet kommer fra én enkelt automatisert kilde og ikke fra mange uavhengige besøkende, er kravet om unike kilder lempet for disse syntetiske dataene – kravene til utvalgsstørrelse og kvalitet gjelder fortsatt.

Par som ikke når opp, er fortsatt tilgjengelige via direkte lenke – grensene styrer bare hva søkemotorene ser. Vi skjuler ikke lave poengsummer for noen som ber om å få se dem direkte.

Hva vi bevisst IKKE påstår

• En enkelt poengsum er ikke til å stole på. Et velfungerende par kan svinge 30 poeng mellom kjøringer fordi både ASR og LLM-vurdering er støyende. Derfor viser hver side en fordeling, ikke ett enkelt tall.
• LLM-dommeren er selv ufullkommen. Vi kan bytte eller bruke to dommere i fremtiden; historiske rader vil da inneholde dommerens identifikator.
• Referanseindeksen måler ikke ventetid, kostnad, tilgjengelighet eller brukertilfredshet. Det finner du andre steder.
• Datasettet er syntetisk – produsert av vår egen automatiserte suite, ikke av uavhengig trafikk fra tredjeparter. Vi sier dette åpent i stedet for å antyde at det finnes et eksternt panel.

Ærlige vurderinger

Når en måned faller i kvalitet for et bestemt par, forblir den synlig. Når en feil er rettet og neste måned går opp, er forbedringen synlig på samme side. Vi omskriver aldri historiske aggregater. Administratorer kan bare skjule enkeltmåneder fra den offentlige indeksen; de kan ikke endre tall som allerede er publisert.

Kjente problemer som påvirker historiske data

• Chattestoppsett, før 2026-04-23: den automatiserte chattest-pipelinen hadde feil for enkelte språk. Chat-aggregater fra tidligere måneder kan vise lavere poengsummer enn den faktiske oversettelseskvaliteten i de periodene. Berørte måneder er beholdt i databasen, men holdes utenfor den offentlige indeksen; trenddiagrammet viser et trinn ved rettelsen.

Spørsmål

Uenig i noe her? Opprett en sak eller skriv til oss. Vi oppdaterer denne siden og noterer endringen.