Propria ta voce

Când InterMIND îți traduce vorbirea pentru un alt participant, acesta nu aude un narator robotic de tip text-to-speech. Aude o voce recognoscibil a ta, cu timbrul tău și cu felul tău de a vorbi, care rostește acum cuvintele în limba lui.

Funcționează în ambele sensuri și pentru fiecare participant în parte. Într-o întâlnire în care cinci persoane vorbesc cinci limbi, fiecare îi aude pe ceilalți patru în limba proprie, iar fiecare dintre ei sună în continuare ca el însuși.

Cum sună

Majoritatea instrumentelor de traducere în timp real înlocuiesc vorbitorul cu o singură voce sintetică generică. Rezultatul este inteligibil, dar plat: se pierd identitatea vorbitorului, accentele, personalitatea. InterMIND păstrează vocea vorbitorului, așa că o întâlnire tradusă se simte ca o conversație între oamenii care chiar participă la ea, nu ca o înșiruire de anunțuri citite de o mașină.

Cum funcționează

InterMIND folosește un pipeline în cascadă, iar etapa de voce este ultima:

1. Recunoașterea vorbirii: cuvintele tale sunt transcrise în propria ta limbă, pe măsură ce vorbești.
2. Segmentarea: transcrierea este grupată în fragmente stabile de propoziție (clauze), astfel încât traducerea să poată începe înainte să termini propoziția.
3. Traducerea: fiecare fragment este tradus progresiv în limba ascultătorului.
4. Sinteza vocală: fiecare fragment tradus este rostit folosind o mostră de voce proprie și trimis ascultătorului.

Cât timp întâlnirea încă adună suficientă vorbire de la tine pentru a-ți modela vocea (aproximativ primele 5–10 secunde), sinteza folosește fragmentul audio care corespunde cu ceea ce tocmai ai spus în limba ta sursă. Imediat ce există o mostră suficient de lungă, sistemul trece la folosirea ei pentru tot ce urmează. În practică nu observi trecerea: traducerea sună tot mai mult ca tine pe măsură ce convorbirea avansează. Nu va fi o imitație perfectă a vocii tale, dar este recognoscibil a ta, nu a unui narator generic, și se îmbunătățește continuu pe măsură ce modelul te aude mai mult.

Limbi

Traducerea cu propria voce este disponibilă pentru toate cele 23 de limbi vocale, aceleași din lista de la Alegerea limbilor. Nu trebuie activat nimic separat: când traducerea este activă, participanții te aud automat cu propria ta voce.

Mostra de voce salvată (opțional)

Utilizatorii autentificați pot sări peste etapa de încălzire înregistrând o singură dată o mostră de voce în Setări → Vocea ta în traducere: apasă Înregistrează-mi vocea, spune numerele de la unu la zece în orice ordine, iar mostra se salvează singură când se aprind toate cele zece. De la următoarea întâlnire, vorbirea ta tradusă este vocalizată cu ea încă de la prima propoziție.

Confidențialitate

Două mostre, două durate de viață. Mostra live, folosită pentru încălzirea din timpul întâlnirii, este efemeră: există doar pe durata întâlnirii live și nu este stocată nicăieri; Mind API și SDK-ul care susțin sesiunea în timp real nu păstrează nicio dată după încheierea sesiunii de conferință. Mostra salvată din Setări este stocată împreună cu contul tău pentru un singur scop, vocalizarea vorbirii tale traduse, este trimisă motorului de traducere de fiecare dată când intri într-o întâlnire și este ștearsă în momentul în care o elimini sau îți ștergi contul. Niciuna dintre ele nu face parte din funcțiile de înregistrare video și audio ale InterMIND, care sunt înregistrări separate și explicite, pe care le pornești intenționat.

Pe foaia de parcurs: lip-sync

Auzirea traducerii cu propria voce este prima jumătate a unui obiectiv mai mare. Următorul pas la care lucrăm este lip-sync: sincronizarea mișcării gurii vorbitorului pe cameră cu sunetul tradus, astfel încât fiecare participant să pară că vorbește limba celuilalt. Împreună cu traducerea cu propria voce, scopul este o convorbire în care oameni care nu au nicio limbă comună se văd și se aud ca și cum fiecare ar vorbi nativ limba celuilalt.

Este un element de pe foaia de parcurs, nu o funcție lansată încă; traducerea cu propria voce descrisă mai sus este disponibilă astăzi.