Benchmark de traducción con IA Benchmark

Porque el conjunto de idiomas sigue creciendo. Cada idioma que añadimos al producto se incorpora a la ejecución semanal del benchmark y entra en el índice en cuanto supera el umbral de publicación, y un idioma nuevo rara vez parte del nivel de un par que llevamos un año ajustando. La cifra principal es la mediana de todos los pares publicados del trimestre, así que un grupo de recién llegados la reduce aunque todos los pares consolidados se mantengan o mejoren. Después, los pares nuevos mejoran a medida que los ajustamos y el índice se recupera. Para ver el progreso de un idioma concreto, abra la página de su par más abajo: esa tendencia no se diluye con nada más.

Cada prueba envía un texto de referencia (chat) o reproduce un archivo de audio de referencia (voz) a través del mismo flujo en vivo que utiliza el producto, y un juez LLM puntúa el resultado de 0 a 100 frente a una traducción de referencia canónica. Las puntuaciones se agrupan en tramos: 90 o más es excelente, 70–89 bueno, 50–69 aceptable y por debajo de 50 débil. Una sola ejecución puede variar decenas de puntos porque tanto el reconocimiento de voz como el juez generan cierto ruido, así que valore un par por su mediana y su rango a lo largo de un mes, no por una única cifra.

La voz tiene una única puntuación de extremo a extremo: reconocimiento de voz más traducción. El chat es solo la traducción de texto escrito. Los errores de reconocimiento se reflejan en la puntuación de voz, por lo que los pares de voz tienen de media valores más bajos y un umbral de publicación más bajo: 45 frente a 60 en el chat. Si su equipo escribe sobre todo, la cifra relevante es la del chat; si habla sobre todo, fíese de la cifra de voz.

No. El benchmark es sintético: nuestro conjunto de pruebas automatizado reproduce cada semana un conjunto de referencia fijo de FLORES-200 a través del pipeline, y esa es la única fuente de estas cifras. Las sesiones que se realizan en la demo ni se puntúan ni se guardan en el benchmark, y sus reuniones nunca se utilizan para ello.

Abra la página propia del par desde la tabla de arriba: muestra la mediana, el rango y el tamaño de muestra por mes, así como la tendencia a lo largo de los meses. Para comprobarlo con su propio material, abra el banco de pruebas —la misma configuración de dos paneles en la que se ejecuta el benchmark— y hable o escriba en su idioma; nada se inicia por sí solo y nada se guarda. Si un par no aparece en la lista, es que aún no ha alcanzado el umbral de publicación o todavía no está en el producto. Las puntuaciones bajas siguen siendo accesibles mediante enlace directo; no las ocultamos.