Parla con la tua voce — in una lingua che non parli

Ecco la parte della traduzione in tempo reale che quasi tutti sbagliano, e di cui quasi nessuno parla: la voce che senti.

Puoi avere un riconoscimento vocale eccellente e una traduzione eccellente, e ritrovarti comunque in una riunione che sembra una macchina che legge un elenco. Perché l'ultimo passaggio — trasformare il testo tradotto di nuovo in suono — è dove la maggior parte degli strumenti sostituisce silenziosamente te con un unico narratore sintetico generico. Otto persone nella stanza, una voce robotica per tutti. Perdi chi sta parlando, l'enfasi, la personalità. Comprensibile, ma non una conversazione.

InterMIND affronta l'ultimo passaggio in modo diverso. Quando parli, gli altri partecipanti ascoltano la traduzione in una voce chiaramente riconoscibile come tua — che mantiene il tuo timbro e il tuo modo di parlare — ora mentre pronuncia le parole nella loro lingua. Non è ancora un'imitazione perfetta; il punto è che sei tu anziché un narratore standard, e sta migliorando. Funziona per ogni partecipante, in entrambe le direzioni, contemporaneamente.

Questo post è il capitolo mancante di Dentro le quattro pipeline di traduzione che guidano InterMIND: quell'articolo spiegava come l'audio diventa audio tradotto. Questo riguarda la voce di chi esce dall'altra parte.

Il predefinito che tutti rilasciano, e perché è piatto

Se hai usato la traduzione in diretta in una delle grandi piattaforme di riunioni, conosci il suono. Una voce neutra e dal ritmo uniforme legge la traduzione. È la stessa voce che il relatore sia il tuo CEO che apre un town hall o un collega che fa una battuta. La tecnologia sottostante è il text-to-speech con un unico modello vocale fisso, e il presupposto di progettazione è che l'intelligibilità sia sufficiente.

In una riunione reale non lo è. Metà di ciò che comunica una riunione è chi lo sta dicendo e come. Privata della voce, hai trasformato una discussione in una trascrizione che per caso viene letta ad alta voce. Le persone smettono di reagire tra loro e iniziano ad aspettare il proprio turno.

Cosa fa invece InterMIND

La traduzione viene eseguita come una pipeline a cascata — tre fasi specializzate in sequenza invece di un unico modello che cerca di fare tutto. Le prime due fasi sono trattate nel post sulle pipeline; la fase della voce è quella di cui parla questo post:

1. ASR — riconoscimento vocale. Le tue parole vengono trascritte nella tua lingua, nel tuo browser, mentre parli. (Eseguirlo localmente evita un round-trip e offre il ritardo più basso possibile prima che la traduzione possa anche solo iniziare.)
2. MT — traduzione. La trascrizione viene raggruppata in frammenti di frase stabili — clausole — in modo che la traduzione possa iniziare prima che tu abbia finito la frase, e ogni frammento viene tradotto progressivamente nella lingua dell'ascoltatore.
3. Zero-shot TTS — sintesi vocale. Ogni frammento tradotto viene pronunciato utilizzando un campione della tua voce, e trasmesso in streaming all'ascoltatore.

È quella terza fase — ASR → MT → zero-shot TTS — a produrre l'effetto. "Zero-shot" significa che il sistema non ha bisogno di una registrazione pre-registrata o di una sessione di addestramento per la tua voce. Modella la tua voce dall'audio della riunione in cui ti trovi già.

Il riscaldamento: come inizia a suonare come te così in fretta

C'è un problema dell'uovo e della gallina nascosto in "usa un campione della tua voce". All'inizio di una chiamata, il sistema non ti ha ancora sentito abbastanza per modellare bene la tua voce.

InterMIND lo gestisce con un riscaldamento progressivo:

• Per all'incirca i primi 5–10 secondi, mentre sta ancora raccogliendo abbastanza del tuo parlato, ogni frammento tradotto viene sintetizzato utilizzando il frammento audio che corrisponde a ciò che hai appena detto nella tua lingua di origine. La vocalizzazione è ancorata al tuo parlato reale e immediato.
• Una volta che c'è un campione sufficientemente lungo — quel segno dei 5–10 secondi — il sistema vi si fissa e lo utilizza per vocalizzare tutto ciò che segue.

In pratica non senti uno scatto di interruttore. La traduzione suona più come te man mano che la conversazione procede — non un doppio perfetto della tua voce, ma chiaramente tua piuttosto che di una macchina, e in miglioramento man mano che il modello ascolta di più. La combinazione di traduzione progressiva (clausola per clausola, non frase per frase) e vocalizzazione progressiva è ciò che mantiene tutto entro il budget di latenza pur suonando umano.

Il campione vocale non viene mai archiviato

Questa è la parte su cui un team di sicurezza o legale chiede spiegazioni immediatamente, quindi eccola chiaramente.

Il campione vocale utilizzato per la sintesi è effimero. Esiste solo per la sessione di conferenza in diretta, al servizio della vocalizzazione della traduzione, e non viene archiviato da nessuna parte. La Mind API e l'SDK che alimentano la sessione in tempo reale non conservano alcun dato — tutto ciò che è temporaneo svanisce quando la sessione di conferenza termina.

Vale la pena essere precisi su cosa non è questo campione: non è una delle funzionalità di registrazione di InterMIND. Registrare video e audio di una riunione è un'azione separata e deliberata che compi di proposito, con i suoi controlli. Il campione della voce propria non è una registrazione — è un input transitorio per il sintetizzatore vocale che non sopravvive mai alla chiamata.

Questo conta oltre l'igiene della privacy. "Parla con la tua voce" è esattamente il tipo di funzionalità che suona come se dovesse implicare l'archiviazione di un'impronta vocale da qualche parte. Non è così. La versione onesta è la storia migliore: la tua voce viene modellata sul momento e sparisce quando riagganci.

Perché nessun altro rilascia questo

Non è che il voice cloning sia un segreto. È che farlo in diretta, per partecipante, in entrambe le direzioni, con un budget di un secondo, in 24 lingue, senza archiviare nulla è un problema diverso rispetto al clonare una voce offline per un podcast.

Le grandi piattaforme ottimizzano la loro traduzione per la copertura dei sottotitoli e una singola voce narrante sicura — questo è l'impostazione predefinita economica e robusta su larga scala. Mantenere la voce originale di ogni relatore significa che la fase di sintesi deve monitorare ogni partecipante in modo indipendente e rimanere entro lo stesso budget di latenza in cui opera il resto della pipeline. Abbiamo costruito noi stessi il motore vocale, sulla nostra infrastruttura, ed è questo che rende quel compromesso una nostra scelta. (Maggiori dettagli sul perché il motore è codice nostro: Da cosa è composta una riunione su InterMIND.)

Dove sta andando tutto questo: lip-sync

Mantenere la tua voce è metà di un obiettivo più grande. L'altra metà è il tuo viso.

In questo momento senti l'altra persona con la sua voce, ma se sei in video, le sue labbra si muovono ancora seguendo le parole che ha effettivamente detto — in una lingua che non capisci. Il passo successivo è il lip-sync: ricalibrare i movimenti della bocca del relatore sull'audio tradotto, in modo che sul tuo schermo sembri parlare la tua lingua.

Mettendo insieme le due cose, l'intero scopo di questo lavoro prende forma. Due persone che non condividono alcuna lingua comune si siedono di fronte a una videochiamata e si vedono e si sentono come se ciascuno fosse un madrelingua della lingua dell'altro — stessa voce, stesso viso, nessun interprete nel mezzo, nessun robot che legge un copione.

Per essere chiari sullo stato: la voce è attiva oggi; il lip-sync è nella roadmap, non è stato ancora rilasciato. Stiamo indicando la destinazione perché è per questo che il lavoro sulla voce conta — la traduzione con la propria voce non è la funzionalità, è la prima metà di "parla con chiunque, in qualsiasi lingua, come te stesso".

Dove ascoltarlo

La traduzione con la propria voce è attiva oggi, in tutte le 21 lingue vocali — le stesse lingue elencate nella documentazione. Non c'è nulla da attivare separatamente: quando la traduzione è abilitata in una riunione, i partecipanti si ascoltano automaticamente l'un l'altro con le proprie voci. Saremo onesti su dove si trova: oggi la voce è già chiaramente riconoscibile come tua, e la somiglianza è qualcosa che stiamo spingendo attivamente per avvicinarla di più. Vai ad ascoltare e giudica tu stesso.

• Prova la demo — esegue la pipeline vocale in diretta sul tuo audio in una qualsiasi delle 24 lingue.
• Vedi i numeri sulla qualità — la stessa pipeline di produzione, valutata mensilmente su FLORES-200, con la distribuzione completa pubblicata per coppia di lingue.
• Come funziona, nella documentazione — la versione breve di questo post.

Una riunione tradotta dovrebbe dare l'impressione che le persone che vi partecipano realmente stiano parlando tra loro. Mantenere la tua voce è il modo in cui si arriva a questo.