Waarom marketing rond vertaalkwaliteit kapot is — en wat wij in plaats daarvan publiceren

Open de website van elke leverancier van live vertaling. U zult dezelfde soorten cijfers zien:

• "200+ talen"
• "6.000+ taalparen"
• "Wereldwijd de eerste" / "Hoogste nauwkeurigheid"
• "99% nauwkeurig"

Probeer nu eens te vinden — op een van die leverancierspagina's — wat die cijfers betekenen voor een vergadering die u gaat houden. Kwaliteit per taal. Reproduceerbare methodologie. Steekproefgrootte. Score over tijd. Eerlijke openbaarmaking van waar het model zwak is.

U zult het niet vinden. Niet in de marketingteksten, en zelden in de documentatie.

Dit is het evenwicht van de categorie. Het bestaat om drie redenen:

1. De meeste leveranciers zijn niet eigenaar van hun vertaalmachine. Ze routeren via OpenAI, Google, DeepL, Microsoft, of een combinatie daarvan. Het publiceren van kwaliteitsgegevens per taalpaar zou betekenen dat men het model van een ander benchmarkt — daar schuilt geen marketingwaarde in.
2. Eerlijke kwaliteitsgegevens zijn moeilijk op een billboard te zetten. Een enkele score is ruisachtig. Een verdeling is nuttiger, maar moeilijker samen te vatten. Een last-six-months trend is nóg nuttiger, en nog moeilijker.
3. Inkoopafdelingen hebben nog niet tegengesproken. Kopers accepteren de marketingcijfers zonder meer, en dus houdt het evenwicht stand.

Dit evenwicht zal niet standhouden. De volgende klasse kopers — farmacie, juridisch, financieel, audit, publieke sector — gaat moeilijkere vragen stellen dan "hoeveel talen". We hebben /benchmark gebouwd omdat we vinden dat ze niet op het woord van een leverancier af zouden moeten gaan.

Wat de marketingcijfers u niet vertellen

"200+ talen" betekent dat een leverancier een model heeft dat tekst in 200 talen genereert. De kwaliteit over die talen varieert van productieklaar voor grote taalparen (EN↔DE, EN↔ES, EN↔FR) tot nauwelijks bruikbaar voor low-resource taalparen. Zonder een uitsplitsing per paar kunt u niet zien aan welke kant van die lijn uw vergadering zal belanden.

"6.000+ taalparen" is N × N combinatoriek op 80 brontalen. Zeggen dat je 6.000 paren ondersteunt is het makkelijke deel. Zeggen dat een specifiek paar goed genoeg is voor een CAPA-beoordeling, een contractonderhandeling, of een winstpresentatie — dat is het deel dat niet in de brochure staat.

"99% nauwkeurig", zonder specificatie van wat er is gemeten, waartegen, op welke steekproef, door welke beoordelaar — is inhoudsloos. Vertaalkwaliteit kent geen universele scalar. Het heeft een verdeling die afhankt van het taalpaar, het domein van de inhoud, de audiokwaliteit (voor spraak), het latentiebudget, en wat "goed genoeg" betekent voor het specifieke gebruik.

Wat een koper echt moet weten

De vragen die opduiken in echte DPA-beoordelingen en inkoopsevaluaties:

1. Kwaliteit per paar — hoe presteert dit op DE↔EN, EN↔AR, JA↔KO, specifiek?
2. Steekproefgrootte — op hoeveel runs is uw gerapporteerde cijfer gebaseerd? Tien? Tienduizend?
3. Methodologie — wie beoordeelt de vertalingen, waartegen, met welk beoordelingskader?
4. Verdeling, niet gemiddelde — hoe ziet de worst-case 10% eruit? De beste 10%? De mediaan?
5. Drift over tijd — is een bepaald paar beter of slechter geworden sinds u voor het laatst een cijfer publiceerde?
6. Wat u niet meet — wat legt uw benchmark expliciet niet vast?

Geen van deze vragen is onbeantwoordbaar. Ze staan alleen niet op de marketingpagina van wie dan ook.

Wat wij publiceren

/benchmark is ons antwoord. De methodologie staat op /benchmark/methodology — geschreven voordat we wisten dat u dit zou lezen.

Drie dingen onderscheiden het van de categorienormen.

1. Echt verkeer, geen gecureerde suite

Elke score in de publieke benchmark komt uit een echte /demo testrun. We selecteren niet vooraf paren die goed presteren. Dezelfde pijplijn die een demo voor een koper afhandelt, is degene die wordt gemeten.

2. De beoordelaar is bij naam genoemd

Primair: google/gemini-3.5-flash. Fallback: anthropic/claude-sonnet-5. Beide via Vercel AI Gateway. De beoordelaar is onderdeel van de methodologie — openbaar gemaakt bij naam. Wanneer we de beoordelaar wijzigen (wat we hebben gedaan, naarmate modellen uit dienst raken), behouden historische rijen de beoordelaar die ze destijds daadwerkelijk heeft gescoord; oude scores worden nooit geruisloos opnieuw gescoord.

3. De verdeling is de data, niet het gemiddelde

Elke gepubliceerde rij toont de mediaan, p10, p90, min, max, en steekproefgrootte — niet één enkel cijfer. Een enkel cijfer voor een vertaalpaar is ruis. De vorm van de verdeling is het signaal.

Praktijken die de categorie nog niet heeft overgenomen

• Paren met lage scores worden niet verborgen. De publieke index is gebonden aan ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — maar iedereen kan direct een deep-link naar een willekeurig paar maken en de echte cijfers zien, inclusief de paren die het deze maand slecht doen.
• Bekende problemen zijn gedocumenteerd. Toen de chat-test harness begin 2026 een paar weken lang stuk was, is die periode onderdrukt in de index en schriftelijk vermeld op de methodologiepagina. De geschiedenis wordt niet geruisloos herschreven.
• Wat we bewust NIET beweren is een volledige sectie op de methodologiepagina. We zeggen waar de LLM-beoordelaar zelf imperfect is. We zeggen wat we niet meten (latentie, kosten, gebruikerstevredenheid, ASR-fouten voordat de vertaling überhaupt draait). We maken openbaar dat onze eigen geautomatiseerde smoke tests deel uitmaken van het verkeer.

Een filter voor de volgende leveranciersevaluatie

Als u een meertalig vergaderplatform evalueert — dat van ons of een ander — dan is de methodologie de pagina die het lezen waard is. De cijfers zelf zijn het makkelijke deel.

Een praktisch filter voor elke leverancier in deze categorie:

• Vraag naar kwaliteitsgegevens per taalpaar, per maand, op echt verkeer. Geen gecureerde benchmark. Geen aggregaat.
• Vraag wie hun beoordelaar is, wat ze expliciet niet meten, en wat er de afgelopen zes maanden is veranderd.
• Vraag wat er gebeurt als de score van een paar daalt — vertellen ze het iemand, of lossen ze het geruisloos op?

Als de leverancier alle drie de antwoorden schriftelijk heeft, neem ze dan serieus in overweging. Als dat niet zo is, koopt u marketing — geen vertaalkwaliteit.

Probeer het zelf

• Probeer de live demo — draait de productievertaalpijplijn op uw audio, scoort deze tegen dezelfde beoordelaar die de publieke benchmark scoort, en toont u de output.
• Bekijk de benchmark — elk gepubliceerd taalpaar, elke maand, met de volledige verdeling.
• Lees de methodologie — hoe de cijfers worden berekend, wat ze bevatten, en wat niet.

U hoeft ons voor niets op ons woord te geloven. Dat is het punt.

Bronnen: de beoordelaarsidentificaties, drempelwaarden en onderdrukkingsregels hierboven zijn geverifieerd tegen de uitgeleverde code en gepubliceerd op /benchmark/methodology; de beoordelaars worden aangeboden via Vercel AI Gateway; de marketingclaims die aan het begin worden geciteerd zijn typische formuleringen voor deze categorie, geen citaten van een specifieke leverancier; gecontroleerd augustus 2026.