Benchmark de qualidade da tradução por IA

Porque o conjunto de idiomas continua crescendo. Cada idioma que adicionamos ao produto entra na execução semanal do benchmark e passa a fazer parte do índice assim que ultrapassa o limite mínimo de publicação — e um idioma novo raramente começa no nível de um par que ajustamos há um ano. O número principal é a mediana de todos os pares publicados no trimestre, então um lote de recém-chegados o puxa para baixo mesmo quando todos os pares já estabelecidos se mantêm ou melhoram. Os novos pares então sobem conforme os ajustamos, e o índice se recupera. Para ver o progresso de um idioma específico, abra a página do par abaixo: essa tendência não é diluída por nenhum outro fator.

Cada teste envia um texto de referência (chat) ou reproduz um arquivo de áudio de referência (voz) pelo mesmo pipeline ao vivo que o produto usa, e um LLM avaliador pontua o resultado de 0 a 100 em relação a uma tradução de referência canônica. As pontuações se dividem em faixas: 90 ou mais é excelente, 70–89 boa, 50–69 razoável, abaixo de 50 fraca. Uma única execução pode oscilar dezenas de pontos porque o reconhecimento de fala e o avaliador são ambos ruidosos, então avalie um par pela mediana e pelo intervalo ao longo de um mês, não por um único número.

A voz tem uma única pontuação de ponta a ponta: reconhecimento de fala mais tradução. O chat é a tradução apenas de texto digitado. Os erros de reconhecimento entram na pontuação de voz, então os pares de voz ficam em média mais baixos e têm um piso de publicação menor — 45 contra 60 no chat. Se sua equipe digita na maior parte do tempo, o número do chat é o que importa; se fala mais, confie no número da voz.

Não. O benchmark é sintético: nossa suíte automatizada executa toda semana um conjunto de referência fixo do FLORES-200 pelo pipeline, e essa é a única fonte desses números. As sessões que as pessoas fazem na demo não são pontuadas nem salvas no benchmark, e suas reuniões nunca são usadas nele.

Abra a página do próprio par a partir da tabela acima: ela mostra mediana, intervalo e tamanho da amostra por mês, além da tendência ao longo dos meses. Para verificar com o seu próprio material, abra o ambiente de teste — a mesma configuração de dois painéis em que o benchmark é executado — e fale ou digite no seu idioma; nada começa sozinho e nada é salvo. Se um par não estiver listado, ele ainda não atingiu o piso de publicação ou ainda não está no produto. Pontuações baixas continuam acessíveis por link direto; não as escondemos.