Benchmark de qualité de la traduction par IA

Parce que l'ensemble des langues ne cesse de s'élargir. Chaque langue ajoutée au produit rejoint l'exécution hebdomadaire du benchmark et entre dans l'indice dès qu'elle franchit le seuil de publication — et une nouvelle langue démarre rarement au niveau d'une paire que nous optimisons depuis un an. Le chiffre principal est la médiane de toutes les paires publiées pour le trimestre : un lot de nouvelles venues le tire donc vers le bas, même si chaque paire établie se maintient ou progresse. Les nouvelles paires montent ensuite à mesure que nous les optimisons, et l'indice remonte. Pour suivre les progrès d'une langue en particulier, ouvrez sa page de paire ci-dessous : cette tendance n'est diluée par aucune autre.

Chaque test envoie un texte de référence (chat) ou lit un fichier audio de référence (voix) à travers le même pipeline en production que celui du produit, et un juge LLM note le résultat de 0 à 100 par rapport à une traduction de référence canonique. Les scores se répartissent en niveaux : 90 et plus correspond à excellent, 70–89 à bon, 50–69 à passable, moins de 50 à faible. Une même exécution peut varier de plusieurs dizaines de points, car la reconnaissance vocale et le juge sont tous deux sujets au bruit ; jugez donc une paire d'après sa médiane et sa plage sur un mois, et non d'après un seul chiffre.

La voix correspond à un seul score de bout en bout : reconnaissance vocale plus traduction. Le chat correspond uniquement à la traduction du texte saisi. Les erreurs de reconnaissance se répercutent sur le score vocal, c'est pourquoi les paires vocales obtiennent en moyenne des scores plus bas et ont un seuil de publication plus bas — 45 contre 60 pour le chat. Si votre équipe écrit surtout, c'est le chiffre du chat qu'il faut regarder ; si elle parle surtout, fiez-vous au chiffre vocal.

Non. Le benchmark est synthétique : notre suite automatisée fait passer chaque semaine un jeu de référence FLORES-200 fixe dans le pipeline, et c'est la seule source de ces chiffres. Les sessions lancées par les utilisateurs sur la démo ne sont ni notées ni enregistrées dans le benchmark, et vos réunions ne sont jamais utilisées à cette fin.

Ouvrez la page dédiée à la paire depuis le tableau ci-dessus : elle indique la médiane, la plage et la taille d'échantillon par mois, ainsi que la tendance d'un mois à l'autre. Pour la vérifier avec votre propre contenu, ouvrez le banc de test — la même configuration à deux volets que celle utilisée pour le benchmark — et parlez ou écrivez dans votre langue ; rien ne démarre tout seul et rien n'est enregistré. Si une paire n'est pas listée, c'est qu'elle n'a pas encore atteint le seuil de publication ou qu'elle n'est pas encore disponible dans le produit. Les scores bas restent accessibles par lien direct ; nous ne les masquons pas.