Fale com sua própria voz — em um idioma que você não fala

Aqui está a parte da tradução em tempo real que quase todo mundo erra, e que quase ninguém comenta: a voz que você ouve.

Você pode ter excelente reconhecimento de fala e excelente tradução, e ainda terminar com uma reunião que parece uma máquina lendo uma lista. Porque a última etapa — transformar o texto traduzido de volta em som — é onde a maioria das ferramentas substitui discretamente você por um único narrador sintético genérico. Oito pessoas na sala, uma voz de robô para todas elas. Você perde quem está falando, a ênfase, a personalidade. Inteligível, mas não uma conversa.

A InterMIND faz a última etapa de forma diferente. Quando você fala, os outros participantes ouvem a tradução em uma voz reconhecivelmente sua — carregando seu timbre e seu jeito de falar — agora dizendo as palavras no idioma deles. Ainda não é uma imitação perfeita; o ponto é que é você e não um narrador padrão, e está melhorando. Isso funciona para cada participante, em ambas as direções, ao mesmo tempo.

Este post é o capítulo que faltava em Dentro dos quatro pipelines de tradução que rodam a InterMIND: aquele texto explicou como o áudio se torna áudio traduzido. Este é sobre de quem é a voz que sai do outro lado.

O padrão que todos entregam, e por que é plano

Se você já usou tradução ao vivo em qualquer das grandes plataformas de reunião, você conhece o som. Uma voz neutra e com ritmo uniforme lê a tradução. É a mesma voz se quem fala é seu CEO abrindo um town hall ou um colega contando uma piada. A tecnologia por baixo é text-to-speech com um modelo de voz fixo, e a premissa de design é que a inteligibilidade é suficiente.

Em uma reunião real, não é. Metade do que uma reunião comunica é quem está dizendo e como. Tire a voz e você transformou uma discussão em uma transcrição que é falada em voz alta. As pessoas param de reagir umas às outras e começam a esperar a sua vez.

O que a InterMIND faz em vez disso

A tradução roda como um pipeline em cascata — três estágios especializados em sequência em vez de um modelo tentando fazer tudo. Os dois primeiros estágios são cobertos no post sobre pipelines; a etapa de voz é a que este post aborda:

ASR — reconhecimento de fala. Suas palavras são transcritas no seu próprio idioma, no seu navegador, enquanto você fala. (Rodar localmente economiza um round-trip e dá o menor atraso possível antes que a tradução possa sequer começar.)
MT — tradução. A transcrição é agrupada em fragmentos estáveis de frase — cláusulas — para que a tradução possa começar antes de você terminar a frase, e cada fragmento é traduzido progressivamente para o idioma do ouvinte.
Zero-shot TTS — síntese de voz. Cada fragmento traduzido é falado de volta usando uma amostra da sua própria voz, e transmitido por streaming para o ouvinte.

É essa terceira etapa — ASR → MT → zero-shot TTS — que produz o efeito. "Zero-shot" significa que o sistema não precisa de um registro pré-gravado ou de uma sessão de treinamento para a sua voz. Ele modela sua voz a partir do áudio da reunião em que você já está.

O aquecimento: como começa a soar como você tão rápido

Há um problema de ovo-e-galinha escondido em "usar uma amostra da sua própria voz." No começo de uma chamada, o sistema ainda não ouviu o suficiente de você para modelar bem a sua voz.

A InterMIND lida com isso com um aquecimento progressivo:

Por aproximadamente os primeiros 5–10 segundos, enquanto ainda está reunindo o suficiente da sua fala, cada fragmento traduzido é sintetizado usando o fragmento de áudio que corresponde ao que você acabou de dizer no seu idioma de origem. A voz é ancorada na sua fala real e imediata.
Quando há uma amostra longa o suficiente — essa marca de 5–10 segundos — o sistema se fixa nela e a usa para dar voz a tudo depois.

Na prática, você não ouve uma mudança brusca. A tradução soa mais como você conforme a conversa avança — não uma réplica perfeita da sua voz, mas claramente sua e não de uma máquina, e melhorando conforme o modelo ouve mais. A combinação de tradução progressiva (cláusula por cláusula, não frase por frase) e síntese de voz progressiva é o que mantém tudo dentro do orçamento de latência e ainda assim soando humano.

A amostra de voz nunca é armazenada

Esta é a parte que uma equipe de segurança ou jurídica pergunta imediatamente, então aqui está de forma direta.

A amostra de voz usada para síntese é efêmera. Ela existe apenas para a sessão de conferência ao vivo, a serviço de dar voz à tradução, e não é armazenada em lugar nenhum. A Mind API e o SDK que alimentam a sessão em tempo real retêm nenhum dado — tudo que é temporário morre quando a sessão de conferência termina.

Vale a pena ser preciso sobre o que essa amostra não é: ela não é um dos recursos de gravação da InterMIND. Gravar o vídeo e o áudio de uma reunião é uma ação separada e deliberada que você faz de propósito, com seus próprios controles. A amostra de voz própria não é uma gravação — é uma entrada transitória para o sintetizador de fala que nunca sobrevive à chamada.

Isso importa além das boas práticas de privacidade. "Fale com sua própria voz" é exatamente o tipo de recurso que parece que deveria envolver armazenar uma impressão de voz em algum lugar. Não envolve. A versão honesta é a melhor história: sua voz é modelada no momento e some quando você desliga.

Por que ninguém mais entrega isso

Não é que clonagem de voz seja um segredo. É que fazer isso ao vivo, por participante, em ambas as direções, sob um orçamento de um segundo, em 24 idiomas, sem armazenar nada é um problema diferente de clonar uma voz offline para um podcast.

As grandes plataformas otimizam sua tradução para cobertura de legendas e uma única voz de narrador segura — esse é o padrão barato e robusto em escala. Manter a voz própria de cada falante significa que a etapa de síntese tem que rastrear cada participante independentemente e permanecer dentro do mesmo orçamento de latência do resto do pipeline. Construímos o motor de voz nós mesmos, em nossa própria infraestrutura, que é o que torna esse trade-off uma decisão nossa. (Mais sobre por que o motor é nosso próprio código: Do que uma reunião da InterMIND é feita.)

Para onde isso vai: lip-sync

Manter sua voz é metade de um objetivo maior. A outra metade é o seu rosto.

Hoje você ouve a outra pessoa na própria voz dela, mas com a câmera ligada, os lábios dela ainda se movem conforme as palavras que ela realmente disse — em um idioma que você não lê. O próximo passo é lip-sync: re-sincronizar a boca do falante com o áudio traduzido, para que na sua tela eles pareçam estar falando seu idioma.

Junte os dois e o objetivo de todo esse trabalho fica claro. Duas pessoas que não compartilham nenhum idioma comum se sentam em uma videochamada e se veem e se ouvem como se cada uma fosse um falante nativo do idioma da outra — mesma voz, mesmo rosto, sem intérprete no meio, sem robô lendo um roteiro.

Para ser claro sobre o status: a voz está disponível hoje; o lip-sync está no roadmap, não foi lançado. Estamos apontando o destino porque é por isso que o trabalho de voz importa — a tradução com voz própria não é o recurso, é a primeira metade de "fale com qualquer pessoa, em qualquer idioma, como você mesmo."

Onde ouvir

A tradução com voz própria está disponível hoje, em todos os 21 idiomas de voz — os mesmos idiomas listados na documentação. Não há nada para ativar separadamente: quando a tradução está habilitada em uma reunião, os participantes automaticamente ouvem uns aos outros nas próprias vozes. Seremos honestos sobre onde isso está: hoje a voz já é reconhecivelmente sua, e a semelhança é algo que estamos ativamente aproximando. Vá ouvir e julgue você mesmo.

Teste a demo — roda o pipeline de voz ao vivo contra o seu áudio em qualquer um dos 24 idiomas.
Veja os números de qualidade — o mesmo pipeline de produção, avaliado mensalmente contra o FLORES-200, com a distribuição completa publicada por par de idiomas.
Como funciona, na documentação — a versão curta deste post.

Uma reunião traduzida deve parecer com as pessoas que estão realmente nela conversando umas com as outras. Manter sua voz é como isso acontece.