Hvorfor markedsføring af oversættelseskvalitet er gået i hårdknude – og hvad vi i stedet offentliggør

Åbn en vilkårlig leverandørs hjemmeside for live-oversættelse. Du vil se de samme slags tal:

• "200+ sprog"
• "6.000+ sprogpar"
• "Verdens første" / "Højeste nøjagtighed"
• "99 % nøjagtig"

Prøv nu at finde ud af, på en hvilken som helst af de leverandørsider, hvad de tal betyder for et møde, du er ved at afholde. Kvalitet pr. sprog. Reproducerbar metode. Stikprøvestørrelse. Score over tid. Ærlig oplysning om, hvor modellen er svag.

Du finder det ikke. Ikke i markedsføringsteksterne, og sjældent i dokumentationen.

Sådan er ligevægten i kategorien. Den findes på grund af tre ting:

1. De fleste leverandører ejer ikke deres egen oversættelsesmotor. De router gennem OpenAI, Google, DeepL, Microsoft eller en kombination. At offentliggøre kvalitetsdata pr. sprogpar ville være at benchmarke en andens model, og det har ingen markedsføringsværdi.
2. Ærlige kvalitetsdata er svære at sætte på en billboard. En enkelt score er støjfyldt. En fordeling er mere brugbar, men sværere at koge ned. En tendens over de seneste seks måneder er endnu mere brugbar og endnu sværere at koge ned.
3. Indkøb har endnu ikke stillet krav. Købere tager markedsføringstallene for gode varer, og derfor holder ligevægten.

Ligevægten kommer ikke til at holde. Den næste generation af købere – farma, jura, finans, revision, offentlig sektor – vil stille hårdere spørgsmål end "hvor mange sprog". Vi byggede /benchmark, fordi vi mener, at de ikke bør være nødt til at tage en leverandørs ord for gode varer.

Hvad markedsføringstallene ikke fortæller dig

"200+ sprog" betyder, at en leverandør har en model, der udsender tekst på 200 sprog. Kvaliteten på tværs af de sprog spænder fra produktionsklar for store par (EN↔DE, EN↔ES, EN↔FR) til knap nok brugbar for par med få ressourcer. Uden en opdeling pr. sprogpar kan du ikke vide, på hvilken side af den grænse dit møde havner.

"6.000+ sprogpar" er N × N-kombinatorik på 80 kildesprog. At sige, at man understøtter 6.000 par, er den nemme del. At sige, at et bestemt par er godt nok til en CAPA-gennemgang, en kontraktforhandling eller en regnskabsmelding, er den del, der ikke står i brochuren.

"99 % nøjagtig" er uden indhold, hvis det ikke fremgår, hvad der er målt, mod hvilken reference, på hvilken stikprøve og af hvilken dommer. Oversættelseskvalitet har ingen universel skalar. Den har en fordeling, der afhænger af sprogpar, indholdsdomæne, lydkvalitet (for tale), latenstidsbudget og af, hvad "godt nok" betyder i det konkrete tilfælde.

Hvad en køber reelt har brug for at vide

Spørgsmål, en vært bør stille, før hun stoler på et par til et kundeopkald:

1. Kvalitet pr. sprogpar – hvordan klarer det sig konkret på DE↔EN, EN↔AR, JA↔KO?
2. Stikprøvestørrelse – hvor mange kørsler bygger jeres rapporterede tal på? Ti? Ti tusind?
3. Metode – hvem bedømmer oversættelserne, mod hvilken reference og med hvilken bedømmelsesmatrix?
4. Fordeling, ikke gennemsnit – hvordan ser de dårligste 10 % ud? De bedste 10 %? Medianen?
5. Udvikling over tid – er et givent par blevet bedre eller dårligere, siden I sidst offentliggjorde et tal?
6. Hvad I ikke måler – hvad fanger jeres benchmark udtrykkeligt ikke?

Intet af dette er umuligt at besvare. Det står bare ikke på nogens markedsføringsside.

Hvad vi offentliggør

/benchmark er vores svar. Metoden står på /benchmark/methodology – skrevet, før vi vidste, at du ville læse dette.

Tre ting adskiller det fra kategoriens normer.

1. Reel trafik, ikke en udvalgt testsamling

Hver score i det offentlige benchmark stammer fra en reel testkørsel på /demo. Vi udvælger ikke på forhånd par, der klarer sig godt. Den samme pipeline, der betjener en købers demo, er den, der måles.

2. Dommeren er navngivet

Primær: google/gemini-3.5-flash. Reserve: anthropic/claude-sonnet-5. Begge via Vercel AI Gateway. Dommeren er en del af metoden og oplyses ved navn. Når vi skifter dommer (det har vi gjort, i takt med at modeller udgår), bærer de historiske rækker den dommer, der faktisk scorede dem. Gamle scores bliver aldrig stille og roligt scoret om.

3. Fordelingen er dataene, ikke gennemsnittet

Hver offentliggjort række viser median, p10, p90, min, max og stikprøvestørrelse – ikke ét enkelt tal. Et enkelt tal for et oversættelsespar er støj. Fordelingens form er signalet.

Praksisser, kategorien ikke har taget til sig

• Par med lav score skjules ikke. Det offentlige indeks er afgrænset til ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, men enhver kan linke direkte til et vilkårligt par og se de reelle tal, også for de par, der klarer sig dårligt i denne måned.
• Kendte problemer dokumenteres. Da chat-test-harnessen var i stykker i nogle uger tidligere i 2026, blev den periode fjernet fra indekset og noteret skriftligt på metodesiden. Historien omskrives ikke i det skjulte.
• Hvad vi bevidst IKKE påstår er et helt afsnit på metodesiden. Vi siger, hvor selve LLM-dommeren er ufuldkommen. Vi siger, hvad vi ikke måler (latenstid, omkostninger, brugertilfredshed, ASR-fejl før oversættelsen overhovedet kører). Vi oplyser, at vores egne automatiske smoke-tests er en del af trafikken.

Et filter til den næste leverandørvurdering

Hvis du vurderer en hvilken som helst flersproget mødeplatform – vores eller en anden – er metoden den side, der er værd at læse. Selve tallene er den nemme del.

Et praktisk filter til enhver leverandør i denne kategori:

• Bed om kvalitetsdata pr. sprogpar og pr. måned på reel trafik. Ikke et udvalgt benchmark. Ikke et aggregat.
• Spørg, hvad deres dommer er, hvad de udtrykkeligt ikke måler, og hvad der har ændret sig de seneste seks måneder.
• Spørg, hvad der sker, når et pars score falder – fortæller de det til nogen, eller retter de det i det skjulte?

Hvis leverandøren har alle tre svar på skrift, så vurdér dem seriøst. Hvis ikke, køber du markedsføring – ikke oversættelseskvalitet.

Prøv det selv

• Prøv live-demoen – kører produktionens oversættelsespipeline på din lyd, scorer den med den samme dommer, der scorer det offentlige benchmark, og viser dig resultatet.
• Se benchmarket – hvert offentliggjort sprogpar, hver måned, med den fulde fordeling.
• Læs metoden – hvordan tallene beregnes, hvad de omfatter, og hvad de ikke gør.

Du behøver ikke tage vores ord for noget af det. Det er pointen.

Kilder: dommer-identifikatorerne, tærsklerne for indeksering og reglerne for udeladelse ovenfor er verificeret mod den udsendte kode og offentliggjort på /benchmark/methodology. Dommerne leveres via Vercel AI Gateway. De markedsføringspåstande, der er citeret øverst, er typiske formuleringer for kategorien og ikke citater fra en navngiven leverandør. Kontrolleret august 2026.