Por qué el marketing de calidad de traducción está roto, y qué publicamos en su lugar

Abra el sitio de cualquier proveedor de traducción en vivo. Verá los mismos tipos de cifras:

• "200+ idiomas"
• "6.000+ pares de idiomas"
• "El primero del mundo" / "Máxima precisión"
• "99 % de precisión"

Ahora intente encontrar, en cualquiera de esas páginas, qué significan esas cifras para una reunión que está a punto de celebrar. Calidad por idioma. Metodología reproducible. Tamaño de muestra. Puntuación a lo largo del tiempo. Una declaración honesta de dónde es débil el modelo.

No lo encontrará. Ni en los textos de marketing, y rara vez en la documentación.

Este es el equilibrio de la categoría. Existe por tres motivos:

1. La mayoría de los proveedores no tienen motor de traducción propio. Enrutan a través de OpenAI, Google, DeepL, Microsoft o alguna combinación. Publicar datos de calidad por par sería evaluar el modelo de otro; eso no tiene valor de marketing.
2. Los datos honestos de calidad son difíciles de poner en una valla publicitaria. Una sola puntuación es ruidosa. Una distribución es más útil, pero más difícil de resumir. Una tendencia de los últimos seis meses es todavía más útil, y aún más difícil.
3. Las áreas de compras aún no han presionado. Los compradores aceptan las cifras de marketing al pie de la letra, y así el equilibrio se mantiene.

El equilibrio no se mantendrá. La próxima clase de comprador (farmacéutico, jurídico, financiero, auditoría, sector público) va a hacer preguntas más exigentes que "cuántos idiomas". Creamos /benchmark porque creemos que no deberían tener que fiarse de la palabra de un proveedor.

Lo que las cifras de marketing no le dicen

"200+ idiomas" significa que un proveedor tiene un modelo que genera texto en 200 idiomas. La calidad en esos idiomas va desde un nivel de producción para los pares principales (EN↔DE, EN↔ES, EN↔FR) hasta apenas utilizable en pares de pocos recursos. Sin un desglose por par, no puede saber en qué lado de esa línea caerá su reunión.

"6.000+ pares de idiomas" es combinatoria N × N sobre 80 idiomas de origen. Afirmar que se admiten 6.000 pares es la parte fácil. Afirmar que un par concreto es lo bastante bueno para una revisión CAPA, una negociación de contrato o una presentación de resultados es la parte que no aparece en el folleto.

"99 % de precisión", sin especificar qué se midió, frente a qué referencia, sobre qué muestra y con qué evaluador, carece de contenido. La calidad de la traducción no tiene una escala universal. Tiene una distribución que depende del par de idiomas, del ámbito del contenido, de la calidad del audio (en el caso de la voz), del presupuesto de latencia y de lo que significa "suficientemente bueno" para el caso de uso concreto.

Lo que un comprador necesita saber realmente

Las preguntas que un anfitrión debería hacer antes de confiar un par de idiomas a una llamada con un cliente:

1. Calidad por par: ¿cómo funciona esto específicamente en DE↔EN, EN↔AR, JA↔KO?
2. Tamaño de muestra: ¿en cuántas ejecuciones se basa la cifra que informan? ¿Diez? ¿Diez mil?
3. Metodología: ¿quién evalúa las traducciones, frente a qué referencia y con qué criterios?
4. Distribución, no promedio: ¿cómo se ve el peor 10 %? ¿Y el mejor 10 %? ¿Y la mediana?
5. Deriva a lo largo del tiempo: ¿ha mejorado o empeorado un par desde la última vez que publicaron una cifra?
6. Lo que no miden: ¿qué deja explícitamente fuera su benchmark?

Ninguna de estas preguntas es imposible de responder. Simplemente no están en la página de marketing de nadie.

Lo que publicamos

/benchmark es nuestra respuesta. La metodología está en /benchmark/methodology, escrita antes de saber que usted estaría leyendo esto.

Tres cosas lo distinguen de las normas de la categoría.

1. Tráfico real, no un conjunto curado

Cada puntuación del benchmark público procede de una ejecución real de prueba en /demo. No preseleccionamos los pares que funcionan bien. El mismo pipeline que atiende la demo de un comprador es el que se mide.

2. El evaluador se identifica por su nombre

Principal: google/gemini-3.5-flash. Respaldo: anthropic/claude-sonnet-5. Ambos a través de Vercel AI Gateway. El evaluador forma parte de la metodología y se declara por su nombre. Cuando cambiamos de evaluador (lo hemos hecho, a medida que los modelos se retiran), las filas históricas conservan el evaluador que las puntuó realmente; las puntuaciones antiguas nunca se vuelven a puntuar en silencio.

3. La distribución es el dato, no el promedio

Cada fila publicada muestra mediana, p10, p90, mínimo, máximo y tamaño de muestra, no una sola cifra. Una sola cifra para un par de traducción es ruido. La forma de la distribución es la señal.

Prácticas que la categoría no ha adoptado

• Los pares con puntuación baja no se ocultan. El índice público se filtra con ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, pero cualquiera puede enlazar directamente a cualquier par y ver las cifras reales, incluidos los pares que van mal este mes.
• Los problemas conocidos están documentados. Cuando el arnés de pruebas de chat estuvo averiado durante unas semanas a principios de 2026, ese periodo se suprimió del índice y se anotó por escrito en la página de metodología. La historia no se reescribe en silencio.
• Lo que deliberadamente NO afirmamos es una sección completa de la página de metodología. Indicamos dónde el propio evaluador LLM es imperfecto. Indicamos lo que no medimos (latencia, coste, satisfacción del usuario, errores de ASR previos a la traducción). Declaramos que nuestras propias pruebas automáticas de humo forman parte del tráfico.

Un filtro para la próxima evaluación de proveedores

Si está evaluando cualquier plataforma de reuniones multilingües, la nuestra u otra, la metodología es la página que merece la pena leer. Las cifras en sí son la parte fácil.

Un filtro práctico para cualquier proveedor de esta categoría:

• Pida datos de calidad por par de idiomas y por mes sobre tráfico real. No un benchmark curado. No un agregado.
• Pregunte cuál es su evaluador, qué no miden explícitamente y qué ha cambiado en los últimos seis meses.
• Pregunte qué ocurre cuando baja la puntuación de un par: ¿se lo dicen a alguien, o lo arreglan en silencio?

Si el proveedor tiene las tres respuestas por escrito, evalúelo en serio. Si no, está comprando marketing, no calidad de traducción.

Pruébelo usted mismo

• Pruebe la demo en vivo: ejecuta el pipeline de traducción de producción sobre su audio, lo puntúa con el mismo evaluador que puntúa el benchmark público y le muestra el resultado.
• Consulte el benchmark: cada par de idiomas publicado, cada mes, con la distribución completa.
• Lea la metodología: cómo se calculan las cifras, qué incluyen y qué no.

No necesitará fiarse de nuestra palabra en nada de esto. Ese es el objetivo.

Fuentes: los identificadores de los evaluadores, los umbrales de filtrado y las reglas de supresión mencionados arriba se han verificado con el código en producción y se publican en /benchmark/methodology; los evaluadores se sirven a través de Vercel AI Gateway; las afirmaciones de marketing citadas al principio son formulaciones típicas de la categoría, no citas de un proveedor concreto; comprobado en agosto de 2026.