Därför är marknadsföringen av översättningskvalitet trasig – och vad vi publicerar i stället

Öppna webbplatsen hos valfri leverantör av liveöversättning. Du ser samma typer av siffror:

• ”200+ språk”
• ”6 000+ språkpar”
• ”Världens första” / ”Högsta noggrannhet”
• ”99 % korrekt”

Försök nu hitta, på någon av de leverantörssidorna, vad siffrorna betyder för ett möte du ska hålla. Kvalitet per språk. Reproducerbar metodik. Urvalsstorlek. Resultat över tid. Ärlig redovisning av var modellen är svag.

Du hittar det inte. Inte i marknadsföringstexterna, och sällan i dokumentationen.

Det här är kategorins jämviktsläge. Det finns av tre skäl:

1. De flesta leverantörer äger inte sin översättningsmotor. De skickar trafiken via OpenAI, Google, DeepL, Microsoft eller en kombination. Att publicera kvalitetsdata per språkpar vore att mäta någon annans modell, och det ger inget marknadsföringsvärde.
2. Ärliga kvalitetsdata är svåra att sätta på en reklamskylt. Ett enskilt värde är brusigt. En fördelning är mer användbar men svårare att komprimera. En last-six-months trend är ännu mer användbar och ännu svårare.
3. Inköpsfunktionerna har inte krävt något ännu. Köpare godtar marknadsföringssiffrorna som de är, och därför består jämvikten.

Jämvikten kommer inte att bestå. Nästa grupp köpare – läkemedel, juridik, finans, revision, offentlig sektor – kommer att ställa hårdare frågor än ”hur många språk”. Vi byggde /benchmark eftersom vi anser att de inte ska behöva lita på en leverantörs ord.

Vad marknadsföringssiffrorna inte säger

”200+ språk” betyder att leverantören har en modell som kan generera text på 200 språk. Kvaliteten över dessa språk varierar från produktionsduglig för stora par (EN↔DE, EN↔ES, EN↔FR) till knappt användbar för språk med få resurser. Utan en uppdelning per språkpar kan du inte veta på vilken sida av den gränsen ditt möte hamnar.

”6 000+ språkpar” är N × N-kombinatorik på 80 källspråk. Att säga att man stöder 6 000 par är den enkla delen. Att säga att ett visst par är tillräckligt bra för en CAPA-granskning, en kontraktsförhandling eller en resultatpresentation – det är delen som inte står i broschyren.

”99 % korrekt” är innehållslöst om det inte anges vad som mättes, mot vilken referens, på vilket urval och med vilken bedömare. Översättningskvalitet har ingen universell skalär. Den har en fördelning som beror på språkpar, innehållsdomän, ljudkvalitet (för tal), latensbudget och vad ”tillräckligt bra” betyder i det aktuella användningsfallet.

Vad en köpare faktiskt behöver veta

Frågorna en värd bör ställa innan hen litar på ett språkpar i ett kundsamtal:

1. Kvalitet per språkpar – hur presterar detta på just DE↔EN, EN↔AR, JA↔KO?
2. Urvalsstorlek – hur många körningar bygger ert redovisade värde på? Tio? Tio tusen?
3. Metodik – vem bedömer översättningarna, mot vilken referens och med vilken bedömningsmall?
4. Fördelning, inte medelvärde – hur ser de sämsta 10 % ut? De bästa 10 %? Medianen?
5. Förändring över tid – har ett visst par blivit bättre eller sämre sedan ni senast publicerade ett värde?
6. Vad ni inte mäter – vad fångar er benchmark uttryckligen inte upp?

Inga av dessa frågor är omöjliga att besvara. De står bara inte på någons marknadsföringssida.

Vad vi publicerar

/benchmark är vårt svar. Metodiken finns på /benchmark/methodology – skriven innan vi visste att du skulle läsa det här.

Tre saker skiljer den från kategorins normer.

1. Verklig trafik, inte en tillrättalagd testsvit

Varje resultat i den publika benchmarken kommer från en verklig testkörning i /demo. Vi väljer inte i förväg ut par som presterar bra. Samma pipeline som betjänar en köpares demo är den som mäts.

2. Bedömaren är namngiven

Primär: google/gemini-3.5-flash. Reserv: anthropic/claude-sonnet-5. Båda via Vercel AI Gateway. Bedömaren är en del av metodiken och redovisas med namn. När vi byter bedömare (det har vi gjort, i takt med att modeller dras tillbaka) behåller historiska rader den bedömare som faktiskt gav poängen. Gamla resultat bedöms aldrig om i det tysta.

3. Fördelningen är datat, inte medelvärdet

Varje publicerad rad visar median, p10, p90, min, max och urvalsstorlek – inte ett enda tal. Ett enda tal för ett översättningspar är brus. Fördelningens form är signalen.

Arbetssätt som kategorin inte har anammat

• Par med låga resultat döljs inte. Det publika indexet filtreras på ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, men vem som helst kan djuplänka direkt till vilket par som helst och se de verkliga siffrorna, även för de par som går dåligt den här månaden.
• Kända problem dokumenteras. När chattestverktyget var trasigt under några veckor tidigare under 2026 undantogs den perioden från indexet och noterades skriftligt på metodiksidan. Historien skrivs inte om i det tysta.
• Vad vi medvetet INTE påstår är ett helt avsnitt på metodiksidan. Vi säger var själva LLM-bedömaren är ofullkomlig. Vi säger vad vi inte mäter (latens, kostnad, användarnöjdhet, ASR-fel före översättningen ens körs). Vi redovisar att våra egna automatiska rökttester ingår i trafiken.

Ett filter för nästa leverantörsutvärdering

Om du utvärderar någon flerspråkig mötesplattform – vår eller en annans – är metodiken den sida som är värd att läsa. Siffrorna i sig är den enkla delen.

Ett praktiskt filter för vilken leverantör som helst i den här kategorin:

• Be om kvalitetsdata per språkpar och månad på verklig trafik. Inte en tillrättalagd benchmark. Inte ett aggregat.
• Fråga vilken bedömare de använder, vad de uttryckligen inte mäter och vad som har ändrats de senaste sex månaderna.
• Fråga vad som händer när ett pars resultat sjunker – berättar de det för någon, eller åtgärdar de det i det tysta?

Om leverantören har alla tre svaren skriftligt, utvärdera dem på allvar. Om de inte har det köper du marknadsföring – inte översättningskvalitet.

Testa själv

• Testa livedemon – kör produktionspipelinen för översättning på ditt ljud, poängsätter resultatet mot samma bedömare som poängsätter den publika benchmarken och visar dig utdata.
• Se benchmarken – varje publicerat språkpar, varje månad, med hela fördelningen.
• Läs metodiken – hur siffrorna beräknas, vad de omfattar och vad de inte omfattar.

Du behöver inte lita på vårt ord för något av det. Det är poängen.

Källor: bedömaridentifierarna, tröskelvärdena för filtrering och reglerna för undantag ovan är verifierade mot den levererade koden och publicerade på /benchmark/methodology. Bedömarna tillhandahålls via Vercel AI Gateway. De marknadsföringspåståenden som citeras överst är typiska formuleringar för kategorin, inte citat från en namngiven leverantör. Kontrollerat augusti 2026.