AI-vertaling Kwaliteit Benchmark

Omdat het aantal talen blijft groeien. Elke taal die we aan het product toevoegen, doet mee aan de wekelijkse benchmarkrun en komt in de index zodra die de publicatiedrempel haalt — en een nieuwe taal start zelden op het niveau van een paar waaraan we al een jaar sleutelen. Het kopgetal is de mediaan over alle gepubliceerde paren van het kwartaal, dus een groep nieuwkomers trekt het omlaag, ook als elk gevestigd paar gelijk blijft of verbetert. De nieuwe paren stijgen vervolgens naarmate we ze afstemmen, en de index herstelt. Om de voortgang van één taal te zien, opent u hieronder de pagina van het betreffende paar: die trend wordt door niets anders verwaterd.

Elke test stuurt een referentietekst (chat) of speelt een referentieaudiobestand af (spraak) via dezelfde live pipeline die het product gebruikt, en een LLM-beoordelaar scoort de uitvoer van 0 tot 100 ten opzichte van een canonieke referentievertaling. Scores vallen in bandbreedtes: 90 en hoger is uitstekend, 70–89 goed, 50–69 redelijk, onder 50 zwak. Een enkele run kan tientallen punten schommelen omdat spraakherkenning en de beoordelaar allebei ruis vertonen. Beoordeel een paar dus op basis van de mediaan en het bereik over een maand, niet op basis van één getal.

Spraak is één end-to-end score: spraakherkenning plus vertaling. Chat is alleen de vertaling van getypte tekst. Herkenningsfouten komen terecht in de spraakscore, dus spraakparen scoren gemiddeld lager en hebben een lagere publicatiedrempel — 45 tegenover 60 voor chat. Als uw team vooral typt, is het chatcijfer het cijfer om naar te kijken; als het vooral praat, vertrouw dan op het spraakcijfer.

Nee. De benchmark is synthetisch: onze geautomatiseerde testsuite speelt elke week een vaste FLORES-200-referentieset af via de pipeline, en dat is de enige bron van deze cijfers. Sessies die mensen in de demo uitvoeren worden niet gescoord en niet in de benchmark opgeslagen, en uw meetings worden er nooit voor gebruikt.

Open de eigen pagina van het paar via de tabel hierboven: daar ziet u per maand de mediaan, het bereik en de steekproefgrootte, plus de trend over de maanden heen. Wilt u het met uw eigen materiaal controleren, open dan de testopstelling — dezelfde opzet met twee vensters waarin de benchmark draait — en spreek of typ in uw eigen taal; er start niets vanzelf en er wordt niets opgeslagen. Staat een paar er niet bij, dan heeft het de publicatiedrempel nog niet gehaald of zit het nog niet in het product. Lage scores blijven bereikbaar via een directe link; we verbergen ze niet.