Pourquoi le marketing de la qualité de traduction est défaillant — et ce que nous publions à la place

Ouvrez le site de n'importe quel fournisseur de traduction en direct. Vous y verrez toujours les mêmes types de chiffres :

• « 200+ langues »
• « 6 000+ paires de langues »
• « Le premier au monde » / « Précision maximale »
• « 99 % de précision »

Essayez maintenant de trouver, sur l'une de ces pages, ce que ces chiffres signifient pour une réunion que vous allez tenir. La qualité par langue. Une méthodologie reproductible. La taille de l'échantillon. L'évolution du score dans le temps. Une information honnête sur les points faibles du modèle.

Vous ne la trouverez pas. Ni dans les textes marketing, ni, le plus souvent, dans la documentation.

C'est l'équilibre actuel de la catégorie. Il tient à trois raisons :

1. La plupart des fournisseurs ne possèdent pas leur moteur de traduction. Ils passent par OpenAI, Google, DeepL, Microsoft, ou une combinaison de ces acteurs. Publier la qualité par paire reviendrait à évaluer le modèle d'un autre — sans aucune valeur marketing.
2. Des données de qualité honnêtes se prêtent mal à l'affichage publicitaire. Un score unique est bruité. Une distribution est plus utile, mais plus difficile à résumer. Une last-six-months trend l'est encore davantage, et encore plus difficile à résumer.
3. Les services achats n'ont pas encore fait pression. Les acheteurs acceptent les chiffres marketing tels quels, et l'équilibre se maintient.

Cet équilibre ne tiendra pas. La prochaine génération d'acheteurs — pharmacie, juridique, finance, audit, secteur public — posera des questions plus exigeantes que « combien de langues ». Nous avons créé /benchmark parce que nous pensons qu'ils ne devraient pas avoir à croire un fournisseur sur parole.

Ce que les chiffres marketing ne disent pas

« 200+ langues » signifie qu'un fournisseur dispose d'un modèle capable de produire du texte dans 200 langues. La qualité varie, selon les langues, d'un niveau production pour les paires majeures (EN↔DE, EN↔ES, EN↔FR) à un niveau à peine exploitable pour les paires à faibles ressources. Sans détail par paire, impossible de savoir de quel côté de cette frontière votre réunion se situera.

« 6 000+ paires de langues » relève de la combinatoire N × N sur 80 langues sources. Affirmer que l'on prend en charge 6 000 paires est la partie facile. Affirmer qu'une paire donnée est suffisante pour une revue CAPA, une négociation de contrat ou une présentation de résultats financiers, voilà ce que la brochure ne dit pas.

« 99 % de précision », sans préciser ce qui a été mesuré, par rapport à quelle référence, sur quel échantillon, avec quel juge, est vide de contenu. La qualité de traduction n'a pas de mesure scalaire universelle. Elle suit une distribution qui dépend de la paire de langues, du domaine du contenu, de la qualité audio (pour la voix), du budget de latence et de ce que signifie « suffisant » pour le cas d'usage précis.

Ce qu'un acheteur doit réellement savoir

Les questions qu'un hôte devrait poser avant de faire confiance à une paire pour un appel client :

1. Qualité par paire — quelles sont les performances sur DE↔EN, EN↔AR, JA↔KO, précisément ?
2. Taille de l'échantillon — sur combien d'exécutions repose le chiffre annoncé ? Dix ? Dix mille ?
3. Méthodologie — qui juge les traductions, par rapport à quelle référence, avec quelle grille ?
4. Distribution, pas moyenne — à quoi ressemblent les 10 % les plus faibles ? Les 10 % les meilleurs ? La médiane ?
5. Évolution dans le temps — une paire s'est-elle améliorée ou dégradée depuis votre dernière publication ?
6. Ce que vous ne mesurez pas — que votre benchmark ne couvre-t-il explicitement pas ?

Aucune de ces questions n'est sans réponse. Elles ne figurent simplement sur la page marketing de personne.

Ce que nous publions

/benchmark est notre réponse. La méthodologie se trouve sur /benchmark/methodology — rédigée avant que nous sachions que vous liriez ce texte.

Trois éléments le distinguent des usages de la catégorie.

1. Du trafic réel, pas une suite sélectionnée

Chaque score du benchmark public provient d'un test réel exécuté sur /demo. Nous ne présélectionnons pas les paires qui obtiennent de bons résultats. Le pipeline qui sert la démo d'un acheteur est celui qui est mesuré.

2. Le juge est nommé

Principal : google/gemini-3.5-flash. Secours : anthropic/claude-sonnet-5. Tous deux via Vercel AI Gateway. Le juge fait partie de la méthodologie — il est indiqué nommément. Lorsque nous changeons de juge (cela est arrivé, des modèles étant retirés), les lignes historiques conservent le juge qui les a réellement notées ; les anciens scores ne sont jamais rénotés en silence.

3. La distribution est la donnée, pas la moyenne

Chaque ligne publiée affiche la médiane, p10, p90, le minimum, le maximum et la taille de l'échantillon — pas un chiffre unique. Un chiffre unique pour une paire de traduction n'est que du bruit. C'est la forme de la distribution qui constitue le signal.

Des pratiques que la catégorie n'a pas adoptées

• Les paires à faible score ne sont pas masquées. L'index public est conditionné à ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — mais chacun peut accéder directement à n'importe quelle paire par lien et voir les chiffres réels, y compris ceux des paires qui obtiennent de mauvais résultats ce mois-ci.
• Les problèmes connus sont documentés. Lorsque le harnais de test du chat a été défaillant pendant quelques semaines début 2026, cette période a été exclue de l'index et signalée par écrit sur la page de méthodologie. L'historique n'est jamais réécrit en silence.
• Ce que nous ne prétendons délibérément PAS fait l'objet d'une section entière de la page de méthodologie. Nous indiquons où le juge LLM lui-même est imparfait. Nous indiquons ce que nous ne mesurons pas (latence, coût, satisfaction des utilisateurs, erreurs côté ASR avant même l'exécution de la traduction). Nous précisons que nos propres tests de fumée automatisés font partie du trafic.

Un filtre pour votre prochaine évaluation de fournisseur

Si vous évaluez une plateforme de réunion multilingue — la nôtre ou une autre — la méthodologie est la page qui mérite d'être lue. Les chiffres eux-mêmes sont la partie facile.

Un filtre pratique pour tout fournisseur de cette catégorie :

• Demandez des données de qualité par paire de langues et par mois, sur du trafic réel. Pas un benchmark sélectionné. Pas un agrégat.
• Demandez quel est leur juge, ce qu'ils ne mesurent explicitement pas, et ce qui a changé au cours des six derniers mois.
• Demandez ce qui se passe lorsque le score d'une paire baisse — en informent-ils quelqu'un, ou corrigent-ils en silence ?

Si le fournisseur apporte les trois réponses par écrit, évaluez-le sérieusement. Sinon, vous achetez du marketing — pas de la qualité de traduction.

Essayez par vous-même

• Essayer la démo en direct — exécute le pipeline de traduction de production sur votre audio, le note avec le même juge que celui du benchmark public, et vous montre le résultat.
• Consulter le benchmark — chaque paire de langues publiée, chaque mois, avec la distribution complète.
• Lire la méthodologie — comment les chiffres sont calculés, ce qu'ils incluent, ce qu'ils n'incluent pas.

Vous n'aurez pas à nous croire sur parole. C'est tout l'intérêt.

Sources : les identifiants des juges, les seuils d'accès à l'index et les règles d'exclusion mentionnés ci-dessus sont vérifiés par rapport au code livré et publiés sur /benchmark/methodology ; les juges sont servis via Vercel AI Gateway ; les affirmations marketing citées en début de page sont des formulations typiques de la catégorie, et non des citations d'un fournisseur précis ; vérifié en août 2026.