Por qué el marketing de calidad de traducción está roto — y qué publicamos en su lugar

Abra el sitio de cualquier proveedor de traducción en directo. Verá los mismos tipos de cifras:

• "200+ idiomas"
• "6.000+ pares lingüísticos"
• "Primero del mundo" / "La mayor precisión"
• "99% de precisión"

Ahora intente encontrar — en cualquiera de esas páginas de proveedor — qué significan esas cifras para una reunión que está a punto de celebrar. Calidad por idioma. Metodología reproducible. Tamaño de muestra. Puntuación a lo largo del tiempo. Divulgación honesta de dónde el modelo es débil.

No lo encontrará. Ni en el material de marketing, y rara vez en la documentación.

Este es el equilibrio de la categoría. Existe por tres motivos:

1. La mayoría de los proveedores no son dueños de su motor de traducción. Enrutan a través de OpenAI, Google, DeepL, Microsoft, o alguna combinación. Publicar datos de calidad por par sería evaluar el modelo de otro — no hay valor de marketing en eso.
2. Los datos honestos de calidad son difíciles de poner en una valla publicitaria. Una puntuación única es ruidosa. Una distribución es más útil pero más difícil de comprimir. Una tendencia de los últimos seis meses es aún más útil, y aún más difícil.
3. Las áreas de compras todavía no han presionado. Los compradores aceptan las cifras de marketing al pie de la letra, y así se mantiene el equilibrio.

El equilibrio no se mantendrá. La próxima generación de compradores — farmacéutica, jurídico, financiero, auditoría, sector público — va a hacer preguntas más duras que "cuántos idiomas". Construimos /benchmark porque pensamos que no deberían tener que confiar en la palabra de un proveedor.

Lo que las cifras de marketing no le dicen

"200+ idiomas" significa que un proveedor tiene un modelo que emite texto en 200 idiomas. La calidad en esos idiomas varía desde nivel de producción para los pares principales (EN↔DE, EN↔ES, EN↔FR) hasta apenas utilizable para pares de bajos recursos. Sin un desglose por par, no puede saber en qué lado de esa línea aterrizará su reunión.

"6.000+ pares lingüísticos" es combinatoria N × N sobre 80 idiomas de origen. Decir que se admiten 6.000 pares es la parte fácil. Decir que algún par específico es lo suficientemente bueno para una revisión CAPA, una negociación contractual o una llamada de resultados — esa es la parte que no está en el folleto.

"99% de precisión", sin especificar qué se midió, contra qué referencia, sobre qué muestra, por qué juez — carece de contenido. La calidad de traducción no tiene un escalar universal. Tiene una distribución que depende del par lingüístico, dominio del contenido, calidad de audio (para voz), presupuesto de latencia y qué significa "suficientemente bueno" para el caso de uso específico.

Lo que un comprador realmente necesita saber

Las preguntas que aparecen en las revisiones reales de DPA y evaluaciones de adquisición:

1. Calidad por par — ¿cómo se comporta esto en DE↔EN, EN↔AR, JA↔KO, en concreto?
2. Tamaño de muestra — ¿en cuántas ejecuciones se basa la cifra reportada? ¿Diez? ¿Diez mil?
3. Metodología — ¿quién juzga las traducciones, contra qué referencia, con qué rúbrica?
4. Distribución, no promedio — ¿qué aspecto tiene el peor 10%? ¿El mejor 10%? ¿La mediana?
5. Variación en el tiempo — ¿un par dado ha mejorado o empeorado desde la última vez que publicaron una cifra?
6. Lo que no miden — ¿qué no captura explícitamente su benchmark?

Ninguna de estas preguntas es incontestable. Simplemente no están en la página de marketing de nadie.

Lo que publicamos

/benchmark es nuestra respuesta. La metodología está en /benchmark/methodology — escrita antes de saber que usted la leería.

Tres cosas la separan de las normas de la categoría.

1. Tráfico real, no una suite curada

Cada puntuación en el benchmark público proviene de una ejecución de prueba real en /demo. No preseleccionamos pares que rinden bien. La misma pipeline que sirve la demo de un comprador es la que se está midiendo.

2. El juez está nombrado

Primario: google/gemini-2.5-flash. Respaldo: anthropic/claude-sonnet-4-20250514. Ambos vía Vercel AI Gateway. El juez forma parte de la metodología — divulgado por su nombre. Si cambiamos el juez en el futuro, las filas históricas llevarán el identificador del juez original; las puntuaciones antiguas nunca se vuelven a puntuar en silencio.

3. La distribución es el dato, no el promedio

Cada fila publicada muestra mediana, p10, p90, mínimo, máximo y tamaño de muestra — no un número único. Un número único para un par de traducción es ruido. La forma de la distribución es la señal.

Prácticas que la categoría no ha adoptado

• Los pares con baja puntuación no se ocultan. El índice público está condicionado a ≥ 10 IPs distintas, ≥ 10 ejecuciones, mediana ≥ 60 — pero cualquiera puede acceder mediante enlace directo a cualquier par y ver las cifras reales, incluidos los pares que están rindiendo mal este mes.
• Los problemas conocidos están documentados. Cuando el arnés de pruebas de chat estuvo roto durante unas semanas a principios de 2026, ese período se suprime del índice y se anota por escrito en la página de metodología. La historia no se reescribe en silencio.
• Lo que deliberadamente NO afirmamos es una sección completa en la página de metodología. Decimos en qué el propio juez LLM es imperfecto. Decimos lo que no medimos (latencia, coste, satisfacción del usuario, errores del lado del ASR antes de que la traducción siquiera se ejecute). Divulgamos que nuestras propias pruebas automatizadas de humo forman parte del tráfico.

Un filtro para la próxima evaluación de proveedores

Si está evaluando cualquier plataforma de reuniones multilingüe — la nuestra u otra — la metodología es la página que merece la pena leer. Las cifras en sí son la parte fácil.

Un filtro práctico para cualquier proveedor de esta categoría:

• Pida datos de calidad por par lingüístico, por mes, sobre tráfico real. No un benchmark curado. No un agregado.
• Pregunte cuál es su juez, qué no miden explícitamente y qué ha cambiado en los últimos seis meses.
• Pregunte qué pasa cuando la puntuación de un par cae — ¿se lo dicen a alguien, o lo arreglan en silencio?

Si el proveedor tiene las tres respuestas por escrito, evalúelos con seriedad. Si no, está comprando marketing — no calidad de traducción.

Pruébelo usted mismo

• /demo — ejecuta la pipeline de traducción de producción sobre su audio, la puntúa contra el mismo juez que puntúa el benchmark público y le muestra el resultado.
• /benchmark — cada par lingüístico publicado, cada mes, con la distribución completa.
• /benchmark/methodology — cómo se calculan las cifras, qué incluyen, qué no.

No necesitará confiar en nuestra palabra para nada de esto. Ese es el objetivo.