Waarom marketing over vertaalkwaliteit niet deugt, en wat wij in plaats daarvan publiceren

Open de website van een willekeurige leverancier van live-vertaling. Je ziet steeds dezelfde soorten getallen:

• "200+ talen"
• "6.000+ taalparen"
• "Werelds eerste" / "Hoogste nauwkeurigheid"
• "99% nauwkeurig"

Probeer nu op een van die leveranciers-pagina's te vinden wat die getallen betekenen voor een meeting die jij gaat houden. Kwaliteit per taal. Reproduceerbare methodologie. Steekproefgrootte. Score in de tijd. Eerlijke openheid over waar het model zwak is.

Je vindt het niet. Niet in de marketingteksten, en zelden in de documentatie.

Dit is het evenwicht van de categorie. Het bestaat door drie dingen:

1. De meeste leveranciers hebben geen eigen vertaalengine. Ze routeren via OpenAI, Google, DeepL, Microsoft of een combinatie daarvan. Kwaliteitsdata per taalpaar publiceren zou betekenen dat je het model van iemand anders benchmarkt, en dat heeft geen marketingwaarde.
2. Eerlijke kwaliteitsdata passen slecht op een billboard. Eén score is ruisgevoelig. Een verdeling is bruikbaarder, maar moeilijker samen te vatten. Een last-six-months trend is nog bruikbaarder, en nog moeilijker.
3. Inkoop heeft nog niet teruggeduwd. Kopers nemen de marketinggetallen voor waar aan, en zo blijft het evenwicht bestaan.

Het evenwicht houdt geen stand. De volgende generatie kopers (farma, juridisch, financieel, audit, overheid) gaat lastigere vragen stellen dan "hoeveel talen". We hebben /benchmark gebouwd omdat niemand het woord van een leverancier zonder meer zou hoeven geloven.

Wat de marketinggetallen je niet vertellen

"200+ talen" betekent dat een leverancier een model heeft dat tekst in 200 talen kan uitvoeren. De kwaliteit over die talen loopt uiteen van productiewaardig voor grote paren (EN↔DE, EN↔ES, EN↔FR) tot nauwelijks bruikbaar voor paren met weinig brondata. Zonder uitsplitsing per taalpaar kun je niet zien aan welke kant van die lijn jouw meeting uitkomt.

"6.000+ taalparen" is N × N-combinatoriek op 80 brontalen. Beweren dat je 6.000 paren ondersteunt is het makkelijke deel. Beweren dat een specifiek paar goed genoeg is voor een CAPA-review, een contractonderhandeling of een earnings call: dat staat niet in de brochure.

"99% nauwkeurig", zonder te zeggen wat er is gemeten, tegen welke referentie, op welke steekproef en door welke beoordelaar, is zonder inhoud. Vertaalkwaliteit heeft geen universele schaalwaarde. Ze heeft een verdeling die afhangt van taalpaar, inhoudelijk domein, audiokwaliteit (bij spraak), latentiebudget en wat "goed genoeg" betekent voor de specifieke toepassing.

Wat een koper echt moet weten

De vragen die een host moet stellen voordat hij een taalpaar vertrouwt bij een klantgesprek:

1. Kwaliteit per taalpaar: hoe presteert dit op DE↔EN, EN↔AR, JA↔KO, specifiek?
2. Steekproefgrootte: op hoeveel runs is het door jullie gerapporteerde getal gebaseerd? Tien? Tienduizend?
3. Methodologie: wie beoordeelt de vertalingen, tegen welke referentie, met welke rubric?
4. Verdeling, geen gemiddelde: hoe ziet de slechtste 10% eruit? De beste 10%? De mediaan?
5. Verloop in de tijd: is een bepaald paar beter of slechter geworden sinds jullie voor het laatst een getal publiceerden?
6. Wat jullie niet meten: wat legt jullie benchmark nadrukkelijk niet vast?

Op geen van deze vragen is geen antwoord mogelijk. Ze staan alleen op niemands marketingpagina.

Wat wij publiceren

/benchmark is ons antwoord. De methodologie staat op /benchmark/methodology, geschreven voordat we wisten dat je dit zou lezen.

Drie dingen onderscheiden het van de normen in de categorie.

1. Echt verkeer, geen samengestelde testset

Elke score in de openbare benchmark komt van een echte testrun in /demo. We selecteren niet vooraf paren die goed presteren. Dezelfde pipeline die de demo van een koper bedient, is degene die wordt gemeten.

2. De beoordelaar wordt bij naam genoemd

Primair: google/gemini-3.5-flash. Fallback: anthropic/claude-sonnet-5. Beide via Vercel AI Gateway. De beoordelaar is onderdeel van de methodologie en wordt bij naam bekendgemaakt. Wanneer we de beoordelaar wisselen (dat is gebeurd, omdat modellen uit dienst gaan), dragen historische rijen de beoordelaar die ze daadwerkelijk heeft gescoord; oude scores worden nooit stilzwijgend opnieuw gescoord.

3. De verdeling is de data, niet het gemiddelde

Elke gepubliceerde rij toont mediaan, p10, p90, min, max en steekproefgrootte, geen enkel getal. Eén getal voor een vertaalpaar is ruis. De vorm van de verdeling is het signaal.

Werkwijzen die de categorie niet heeft overgenomen

• Paren met lage scores worden niet verborgen. De openbare index is begrensd op ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, maar iedereen kan rechtstreeks naar elk paar linken en de echte cijfers zien, ook van de paren die deze maand slecht presteren.
• Bekende problemen zijn gedocumenteerd. Toen de chat-test harness begin 2026 een aantal weken kapot was, is die periode uit de index gehaald en schriftelijk vermeld op de methodologiepagina. De geschiedenis wordt niet stilzwijgend herschreven.
• Wat we bewust NIET claimen is een volledige sectie op de methodologiepagina. We zeggen waar de LLM-beoordelaar zelf onvolmaakt is. We zeggen wat we niet meten (latentie, kosten, gebruikerstevredenheid, ASR-fouten vóórdat de vertaling zelfs maar draait). We maken bekend dat onze eigen geautomatiseerde smoke tests deel uitmaken van het verkeer.

Een filter voor de volgende leveranciersevaluatie

Als je een meertalig meetingplatform evalueert, het onze of een ander, is de methodologie de pagina die het lezen waard is. De getallen zelf zijn het makkelijke deel.

Een praktisch filter voor elke leverancier in deze categorie:

• Vraag om kwaliteitsdata per taalpaar en per maand op echt verkeer. Geen samengestelde benchmark. Geen aggregaat.
• Vraag wie hun beoordelaar is, wat ze nadrukkelijk niet meten en wat er de afgelopen zes maanden is veranderd.
• Vraag wat er gebeurt als de score van een paar daalt: vertellen ze het iemand, of repareren ze het stilletjes?

Als de leverancier op alle drie de vragen een schriftelijk antwoord heeft, evalueer dan serieus verder. Zo niet, dan koop je marketing, geen vertaalkwaliteit.

Probeer het zelf

• Probeer de live demo: draait de productie-vertaalpipeline op jouw audio, scoort het resultaat met dezelfde beoordelaar die de openbare benchmark scoort, en toont je de uitvoer.
• Bekijk de benchmark: elk gepubliceerd taalpaar, elke maand, met de volledige verdeling.
• Lees de methodologie: hoe de getallen worden berekend, wat ze omvatten en wat niet.

Je hoeft niets van dit alles op ons woord te geloven. Dat is precies de bedoeling.

Bronnen: de identifiers van de beoordelaars, de drempelwaarden voor de index en de regels voor onderdrukking hierboven zijn geverifieerd aan de hand van de uitgeleverde code en gepubliceerd op /benchmark/methodology; de beoordelaars worden geleverd via Vercel AI Gateway; de marketingclaims die bovenaan worden aangehaald zijn voor de categorie typische formuleringen, geen citaten van een bepaalde leverancier; gecontroleerd in augustus 2026.