Parlez de votre propre voix — dans une langue que vous ne parlez pas

Voici l'aspect de la traduction en temps réel que presque tout le monde ignore, et dont presque personne ne parle : la voix que vous entendez.

Vous pouvez disposer d'une excellente reconnaissance vocale et d'une excellente traduction, et vous retrouver avec une réunion qui ressemble à une machine lisant une liste. Car la dernière étape — transformer le texte traduit en son — est l'endroit où la plupart des outils remplacent discrètement vous par un unique narrateur synthétique générique. Huit personnes dans la salle, une seule voix de robot pour tous. Vous perdez qui parle, l'intonation, la personnalité. Intelligible, mais ce n'est pas une conversation.

InterMIND effectue cette dernière étape différemment. Lorsque vous parlez, les autres participants entendent la traduction dans une voix clairement reconnaissable comme la vôtre — conservant votre timbre et votre manière de parler — prononçant désormais les mots dans leur langue. Ce n'est pas encore une imitation parfaite ; le but est que ce soit vous et non un narrateur standard, et cela s'améliore. Cela fonctionne pour chaque participant, dans les deux sens, et simultanément.

Cet article est le chapitre manquant de Plongée dans les quatre pipelines de traduction d'InterMIND : ce texte expliquait comment l'audio devient de l'audio traduit. Celui-ci porte sur la voix qui ressort à l'autre bout.

Le fonctionnement par défaut que tout le monde déploie, et pourquoi il est monotone

Si vous avez utilisé la traduction en direct sur l'une des grandes plateformes de réunion, vous connaissez ce son. Une voix neutre, au rythme régulier, lit la traduction. C'est la même voix, que l'orateur soit votre PDG ouvrant une assemblée générale ou un collègue faisant une plaisanterie. La technologie sous-jacente est la synthèse vocale (text-to-speech) avec un modèle de voix unique fixe, et l'hypothèse de conception est que l'intelligibilité suffit.

Lors d'une véritable réunion, ce n'est pas le cas. La moitié de ce que communique une réunion, c'est qui le dit et comment. Dépouillez-la de sa voix et vous avez transformé une discussion en une transcription qui se trouve être prononcée à voix haute. Les gens ne réagissent plus les uns aux autres et commencent à attendre leur tour.

Ce que fait InterMIND à la place

La traduction s'exécute en tant que pipeline en cascade — trois étapes spécialisées en séquence plutôt qu'un seul modèle essayant de tout faire. Les deux premières étapes sont couvertes dans l'article sur les pipelines ; l'étape de la voix est celle dont traite cet article :

1. ASR — reconnaissance vocale. Vos mots sont transcrits dans votre propre langue, dans votre navigateur, pendant que vous parlez. (L'exécuter localement évite un aller-retour et offre le délai le plus faible possible avant que la traduction puisse même commencer.)
2. MT — traduction. La transcription est regroupée en fragments de phrase stables — des clauses — afin que la traduction puisse commencer avant que vous n'ayez fini la phrase, et chaque fragment est traduit progressivement dans la langue de l'auditeur.
3. TTS Zero-shot — synthèse vocale. Chaque fragment traduit est restitué à voix haute en utilisant un échantillon de votre propre voix, et diffusé vers l'auditeur.

C'est cette troisième étape — ASR → MT → TTS zero-shot — qui produit l'effet. « Zero-shot » signifie que le système n'a pas besoin d'un enrôlement pré-enregistré ou d'une session d'entraînement pour votre voix. Il modélise votre voix à partir de l'audio de la réunion à laquelle vous participez déjà.

La phase de chauffe : comment cela commence à ressembler à votre voix si vite

Il y a un problème de l'œuf et de la poule caché dans « utiliser un échantillon de votre propre voix ». Au tout début d'un appel, le système ne vous a pas encore suffisamment entendu pour bien modéliser votre voix.

InterMIND gère cela avec une phase de chauffe progressive :

• Pendant environ les 5 à 10 premières secondes, le temps de rassembler suffisamment de votre discours, chaque fragment traduit est synthétisé en utilisant le fragment audio qui correspond à ce que vous venez de dire dans votre langue source. La voix est ancrée à votre discours réel et immédiat.
• Une fois qu'il y a un échantillon suffisamment long — la barre des 5 à 10 secondes — le système s'y verrouille et l'utilise pour vocaliser tout ce qui suit.

En pratique, vous n'entendez pas de bascule. La traduction ressemble davantage à vous au fur et à mesure que la conversation s'installe — pas un double parfait de votre voix, mais clairement la vôtre plutôt que celle d'une machine, et s'améliorant à mesure que le modèle entend davantage. La combinaison d'une traduction progressive (clause par clause, et non phrase par phrase) et d'une voix progressive est ce qui maintient l'ensemble sous le budget de latence tout en sonnant humain.

L'échantillon vocal n'est jamais stocké

C'est la partie sur laquelle une équipe de sécurité ou juridique s'interroge immédiatement, alors voici les faits clairement.

L'échantillon vocal utilisé pour la synthèse est éphémère. Il n'existe que pour la session de conférence en direct, au service de la voix de la traduction, et il n'est stocké nulle part. L'API et le SDK Mind qui alimentent la session en temps réel ne conservent aucune donnée — tout ce qui est temporaire disparaît lorsque la session de conférence se termine.

Il convient d'être précis sur ce que cet échantillon n'est pas : il ne fait pas partie des fonctionnalités d'enregistrement d'InterMIND. Enregistrer la vidéo et l'audio d'une réunion est une action distincte et délibérée que vous effectuez intentionnellement, avec ses propres contrôles. L'échantillon de voix propre n'est pas un enregistrement — c'est une entrée transitoire vers le synthétiseur vocal qui ne survit jamais à l'appel.

Cela a son importance au-delà de l'hygiène de la confidentialité. « Parlez de votre propre voix » est exactement le type de fonctionnalité qui donne l'impression qu'elle devrait impliquer le stockage d'une empreinte vocale quelque part. Ce n'est pas le cas. La version honnête est la meilleure histoire : votre voix est modélisée à l'instant et disparaît lorsque vous raccrochez.

Pourquoi personne d'autre ne propose cela

Ce n'est pas que le clonage vocal soit un secret. C'est que le faire en direct, par participant, dans les deux sens, sous un budget d'une seconde, sur 24 langues, sans rien stocker est un problème différent du clonage d'une voix hors ligne pour un podcast.

Les grandes plateformes optimisent leur traduction pour la couverture des sous-titres et une seule voix de narrateur sûre — c'est la valeur par défaut bon marché et robuste à grande échelle. Conserver la voix propre à chaque orateur signifie que l'étape de synthèse doit suivre chaque participant indépendamment et rester dans le même budget de latence que le reste du pipeline. Nous avons construit le moteur vocal nous-mêmes, sur notre propre infrastructure, ce qui fait de ce compromis une décision qui nous appartient. (Plus d'informations sur les raisons pour lesquelles le moteur est notre propre code : De quoi est faite une réunion InterMIND.)

Où cela nous mène : la synchronisation labiale

Conserver votre voix est la moitié d'un objectif plus vaste. L'autre moitié, c'est votre visage.

Actuellement, vous entendez l'autre personne avec sa propre voix, mais si la caméra est activée, ses lèvres bougent encore selon les mots qu'elle a réellement dits — dans une langue que vous ne lisez pas. L'étape suivante est la synchronisation labiale : recalculer le mouvement de la bouche de l'orateur en fonction de l'audio traduit, de sorte qu'à l'écran, il semble parler votre langue.

Mettez les deux ensemble et tout le sens de ce travail se dessine. Deux personnes qui ne partagent aucune langue commune se font face lors d'un appel vidéo et se voient et s'entendent comme si chacun était un locuteur natif de la langue de l'autre — même voix, même visage, aucun interprète au milieu, aucun robot lisant un script.

Pour être clair sur le statut : la voix est en direct aujourd'hui ; la synchronisation labiale est sur la feuille de route, pas encore livrée. Nous mentionnons la destination parce que c'est ce qui donne de l'importance au travail sur la voix — la traduction dans sa propre voix n'est pas la fonctionnalité finale, c'est la première moitié de « parler à quiconque, dans n'importe quelle langue, en étant soi-même ».

Où l'entendre

La traduction dans sa propre voix est en direct aujourd'hui, sur les 21 langues vocales — les mêmes langues listées dans la documentation. Il n'y a rien à activer séparément : lorsque la traduction est activée dans une réunion, les participants s'entendent mutuellement dans leurs propres voix. Nous serons honnêtes sur l'état d'avancement : aujourd'hui, la voix est déjà clairement la vôtre, et la ressemblance est quelque chose que nous rapprochons activement. Allez écouter et jugez par vous-même.

• Essayez la démo — exécute le pipeline vocal en direct sur votre audio dans n'importe laquelle des 24 langues.
• Consultez les chiffres de qualité — le même pipeline de production, évalué mensuellement par rapport à FLORES-200, avec la distribution complète publiée par paire de langues.
• Comment cela fonctionne, dans la documentation — la version courte de cet article.

Une réunion traduite devrait donner l'impression que les personnes qui y sont réellement présentes se parlent. Conserver votre voix est le moyen d'y parvenir.