Hvorfor markedsføring av oversettelseskvalitet er ødelagt – og hva vi publiserer i stedet

Åpne nettstedet til en hvilken som helst leverandør av direkteoversettelse. Du vil se de samme typene tall:

• «200+ språk»
• «6 000+ språkpar»
• «Verdens første» / «Høyeste nøyaktighet»
• «99 % nøyaktig»

Prøv nå å finne – på noen av disse leverandørsidene – hva tallene betyr for et møte du skal holde. Kvalitet per språk. Reproduserbar metode. Utvalgsstørrelse. Score over tid. Ærlig åpenhet om hvor modellen er svak.

Du finner det ikke. Ikke i markedsføringsteksten, og sjelden i dokumentasjonen.

Dette er likevektstilstanden i kategorien. Den finnes på grunn av tre ting:

1. De fleste leverandører eier ikke selv oversettelsesmotoren. De ruter via OpenAI, Google, DeepL, Microsoft eller en kombinasjon. Å publisere kvalitetsdata per språkpar ville være å teste en annens modell – det er ingen markedsføringsverdi i det.
2. Ærlige kvalitetsdata er vanskelige å sette på en plakat. En enkelt score er støyende. En fordeling er mer nyttig, men vanskeligere å komprimere. En last-six-months trend er enda mer nyttig, og enda vanskeligere.
3. Innkjøpsmiljøene har ikke protestert ennå. Kjøpere tar markedsføringstallene for god fisk, og dermed holder likevekten.

Likevekten kommer ikke til å holde. Den neste kjøpergruppen – farma, juss, finans, revisjon, offentlig sektor – kommer til å stille tøffere spørsmål enn «hvor mange språk». Vi bygde /benchmark fordi vi mener de ikke bør måtte ta en leverandørs ord for gitt.

Hva markedsføringstallene ikke forteller deg

«200+ språk» betyr at en leverandør har en modell som genererer tekst på 200 språk. Kvaliteten på tvers av disse språkene varierer fra produksjonsklar for store par (EN↔DE, EN↔ES, EN↔FR) til knapt brukbar for ressursfattige par. Uten en oversikt per språkpar kan du ikke vite hvilken side av den grensen møtet ditt havner på.

«6 000+ språkpar» er N × N-kombinatorikk på 80 kildespråk. Å si at du støtter 6 000 par er den enkle delen. Å si at et bestemt par er godt nok for en CAPA-gjennomgang, en kontraktsforhandling eller en resultatpresentasjon – det er delen som ikke står i brosjyren.

«99 % nøyaktig», uten å si hva som ble målt, mot hvilken referanse, på hvilket utvalg og med hvilken dommer, er innholdsløst. Oversettelseskvalitet har ingen universell skalar. Den har en fordeling som avhenger av språkpar, innholdsområde, lydkvalitet (for tale), latensbudsjett og hva «godt nok» betyr i det aktuelle bruksområdet.

Hva en kjøper faktisk trenger å vite

Spørsmålene en vert bør stille før hun eller han stoler på et språkpar i en kundesamtale:

1. Kvalitet per språkpar – hvordan presterer dette på DE↔EN, EN↔AR og JA↔KO, konkret?
2. Utvalgsstørrelse – hvor mange kjøringer er det rapporterte tallet basert på? Ti? Ti tusen?
3. Metode – hvem vurderer oversettelsene, mot hvilken referanse, med hvilken vurderingsmal?
4. Fordeling, ikke gjennomsnitt – hvordan ser de dårligste 10 % ut? De beste 10 %? Medianen?
5. Endring over tid – har et gitt par blitt bedre eller dårligere siden dere sist publiserte et tall?
6. Det dere ikke måler – hva fanger benchmarken eksplisitt ikke opp?

Ingen av disse er umulige å besvare. De står bare ikke på noens markedsføringsside.

Hva vi publiserer

/benchmark er svaret vårt. Metoden finner du på /benchmark/methodology – skrevet før vi visste at du ville lese dette.

Tre ting skiller den fra kategoriens normer.

1. Reell trafikk, ikke en utvalgt testsuite

Hver score i den offentlige benchmarken kommer fra en reell testkjøring i /demo. Vi velger ikke ut par som presterer godt. Den samme pipelinen som betjener en kjøpers demo er den som måles.

2. Dommeren er navngitt

Primær: google/gemini-3.5-flash. Reserve: anthropic/claude-sonnet-5. Begge via Vercel AI Gateway. Dommeren er en del av metoden – oppgitt ved navn. Når vi bytter dommer (det har vi gjort, i takt med at modeller avvikles), beholder historiske rader den dommeren som faktisk scoret dem; gamle scorer blir aldri stille scoret på nytt.

3. Fordelingen er dataene, ikke gjennomsnittet

Hver publiserte rad viser median, p10, p90, min, maks og utvalgsstørrelse – ikke ett enkelt tall. Ett enkelt tall for et oversettelsespar er støy. Fordelingens form er signalet.

Praksis kategorien ikke har tatt i bruk

• Par med lav score skjules ikke. Den offentlige indeksen er begrenset av ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 – men hvem som helst kan lenke direkte til et hvilket som helst par og se de faktiske tallene, også for parene som gjør det dårlig denne måneden.
• Kjente problemer er dokumentert. Da chat-test-harnessen var ødelagt i noen uker tidligere i 2026, ble den perioden holdt utenfor indeksen og nedtegnet skriftlig på metodesiden. Historikken blir ikke stille omskrevet.
• Det vi bevisst IKKE påstår er en egen seksjon på metodesiden. Vi sier hvor selve LLM-dommeren er ufullkommen. Vi sier hva vi ikke måler (latens, kostnad, brukertilfredshet, ASR-feil før oversettelsen i det hele tatt kjører). Vi opplyser at våre egne automatiserte smoke-tester er en del av trafikken.

Et filter for neste leverandørvurdering

Hvis du vurderer en hvilken som helst flerspråklig møteplattform – vår eller en annen – er metodesiden den som er verdt å lese. Selve tallene er den enkle delen.

Et praktisk filter for enhver leverandør i denne kategorien:

• Be om kvalitetsdata per språkpar og per måned på reell trafikk. Ikke en utvalgt benchmark. Ikke et aggregat.
• Spør hva dommeren deres er, hva de eksplisitt ikke måler, og hva som har endret seg de siste seks månedene.
• Spør hva som skjer når scoren for et par faller – sier de fra til noen, eller fikser de det i det stille?

Hvis leverandøren har alle tre svarene skriftlig, vurder dem seriøst. Hvis ikke, kjøper du markedsføring – ikke oversettelseskvalitet.

Prøv selv

• Prøv live-demoen – kjører produksjonspipelinen for oversettelse på lyden din, scorer den mot den samme dommeren som scorer den offentlige benchmarken, og viser deg resultatet.
• Se benchmarken – hvert publiserte språkpar, hver måned, med hele fordelingen.
• Les metoden – hvordan tallene beregnes, hva de omfatter og hva de ikke omfatter.

Du trenger ikke ta vårt ord for noe av det. Det er poenget.

Kilder: dommer-identifikatorene, terskelverdiene for innlemmelse og reglene for utelatelse ovenfor er verifisert mot den utgitte koden og publisert på /benchmark/methodology; dommerne leveres via Vercel AI Gateway; markedsføringspåstandene sitert øverst er typiske formuleringer i kategorien, ikke sitater fra en bestemt leverandør; kontrollert august 2026.