Kalbėkite savo balsu — kalba, kuria nekalbate

Štai ta realiojo laiko vertimo dalis, kurioje klysta beveik visi ir apie kurią kalba beveik niekas: balsas, kurį girdite.

Galite turėti puikų kalbos atpažinimą ir puikų vertimą, bet vis tiek gauti susitikimą, panašų į mašiną, skaitančią sąrašą. Paskutiniame žingsnyje, kai išverstas tekstas paverčiamas garsu, dauguma įrankių tyliai pakeičia jus vienu bendru sintetiniu diktoriumi. Aštuoni žmonės kambaryje, o vienas robotiškas balsas visiems. Prarandate, kas kalba, akcentus, asmenybę. Suprantama, bet tai ne pokalbis.

InterMIND šį paskutinį žingsnį atlieka kitaip. Kai kalbate, kiti dalyviai girdi vertimą atpažįstamai jūsų balsu: jis išlaiko jūsų tembrą ir kalbėjimo manierą, tik žodžius taria jų kalba. Tai dar nėra nepriekaištingas pamėgdžiojimas; svarbu, kad tai jūs, o ne standartinis diktorius, ir tai nuolat gerėja. Tai veikia kiekvienam dalyviui, abiem kryptimis, vienu metu.

Šis įrašas yra trūkstamas Inside the four translation pipelines that run InterMIND skyrius: tas straipsnis paaiškino, kaip garsas tampa išverstu garsu. Šis — apie tai, kieno balsas išeina kitame gale.

Numatytoji visų sprendimų būsena ir kodėl ji plokščia

Jei esate naudoję gyvą vertimą didžiosiose susitikimų platformose, šį skambesį žinote. Neutralus, tolygiu tempu kalbantis balsas skaito vertimą. Tas pats balsas, nesvarbu, ar kalbantysis yra jūsų vadovas, pradedantis visos įmonės susirinkimą, ar kolega, kuris pajuokauja. Technologija po gaubtu yra teksto vertimas į kalbą su vienu fiksuotu balso modeliu, o dizaino prielaida tokia, kad suprantamumo pakanka.

Tikrame susitikime nepakanka. Pusė to, ką susitikimas perteikia, yra kas kalba ir kaip. Atimkite balsą, ir diskusija virsta transkripcija, kuri tiesiog perskaitoma garsiai. Žmonės nustoja reaguoti vieni į kitus ir pradeda laukti savo eilės.

Ką vietoj to daro InterMIND

Vertimas veikia kaip kaskadinis konvejeris — trys specializuoti etapai paeiliui, o ne vienas modelis, bandantis daryti viską. Pirmieji du etapai aprašyti įraše apie konvejerius; šio įrašo tema — balso etapas:

1. ASR — kalbos atpažinimas. Jūsų žodžiai transkribuojami jūsų kalba, kol kalbate, mūsų pačių variklyje — medijų serveryje, kuris perduoda skambutį (Mind API, OVH France) — todėl vertimas gali prasidėti dar prieš sakiniui pasibaigiant.
2. MT — vertimas. Transkripcija sugrupuojama į stabilius sakinio fragmentus — klauzes — kad vertimas galėtų prasidėti, kol dar nebaigėte sakinio, o kiekvienas fragmentas palaipsniui verčiamas klausytojo kalba.
3. Zero-shot TTS — balso sintezė. Kiekvienas išverstas fragmentas ištariamas naudojant jūsų pačių balso pavyzdį ir srautu perduodamas klausytojui.

Būtent trečias etapas — ASR → MT → zero-shot TTS — sukuria šį efektą. „Zero-shot“ reiškia, kad sistemai nereikia iš anksto įrašyto balso pavyzdžio ar jūsų balso mokymo sesijos. Ji modeliuoja jūsų balsą iš susitikimo, kuriame jau dalyvaujate, garso.

Apšilimas: kaip taip greitai pradedama skambėti kaip jūs

Frazėje „naudoti savo balso pavyzdį“ slypi vištos ir kiaušinio problema. Pačioje skambučio pradžioje sistema dar nėra išgirdusi pakankamai jūsų kalbos, kad gerai sumodeliuotų balsą.

InterMIND tai sprendžia laipsnišku apšilimu:

• Maždaug pirmąsias 5–10 sekundžių, kol dar renkama pakankamai jūsų kalbos, kiekvienas išverstas fragmentas sintezuojamas naudojant garso fragmentą, atitinkantį tai, ką ką tik pasakėte šaltinio kalba. Balsas remiasi jūsų tikra, ką tik nuskambėjusia kalba.
• Kai surenkamas pakankamai ilgas pavyzdys — ta 5–10 sekundžių riba — sistema jį užfiksuoja ir naudoja visam tolesniam balsui.

Praktiškai jokio persijungimo negirdite. Vertimas skamba vis labiau kaip jūs, kai pokalbis įsibėgėja — ne tobulas jūsų balso dvynys, bet aiškiai jūsų, o ne mašinos balsas, ir tobulėjantis, modeliui girdint daugiau. Laipsniško vertimo (klauzė po klauzės, o ne sakinys po sakinio) ir laipsniško balso derinys leidžia visam procesui tilpti į delsos biudžetą ir vis tiek skambėti žmogiškai.

Įrašykite savo balsą vieną kartą ir praleiskite apšilimą

Aukščiau aprašytas apšilimas vyksta pagal numatytuosius nustatymus, nieko nesukonfigūravus. Nuo 2026 m. rugsėjo prisijungusiems naudotojams yra papildomas pasirenkamas kelias: išsaugotas balso pavyzdys skiltyje Settings → Your voice in translation.

Įrašyti jį galima vienu veiksmu. Paspauskite Record my voice, palaukite Speak now ir pasakykite skaičius nuo vieno iki dešimties bet kuria tvarka. Kiekvienas skaičius kortelėje užsidega, kai kalbos variklis jį išgirsta; kai užsidega visi dešimt, pavyzdys patikrinamas ir išsaugomas automatiškai. Nereikia nieko klausytis ar tvirtinti, nėra atgalinio skaičiavimo: kortelė pasilieka jūsų įrašo atkarpą, kurioje yra skaičiai. Geriausią rezultatą duoda tylus kambarys ir ausinės su mikrofonu.

Ką keičia išsaugotas pavyzdys: nuo kito susitikimo sintezatorius jūsų vertimą skaito juo nuo pirmo fragmento, todėl kita pusė jus girdi kaip jus jau pirmame sakinyje, o ne po apšilimo. Po gaubtu tai ta pati zero-shot sintezė, tik su geresniu pradiniu tašku; gyvas apšilimas toliau tikslina balsą, kai skambutis vyksta.

Įrašas tikrinamas prieš išsaugant. Tai turi būti 3–10 sekundžių aiškios kalbos (sintezatoriaus įvesties langas): jei per tylu, nukirsta, daugiausia tylos arba paskendo foniniame triukšme, kortelė pasako, ką pataisyti, ir paprašo kito bandymo. Skaičiai pasirinkti kaip frazė dėl praktinės priežasties: jie trumpi, atpažįstami visomis 23 kalbomis, o variklis gali patvirtinti, kad išgirdo visus dešimt, ir klausimas „ar tas įrašas pavyko?“ virsta matomu „taip“.

Du balso pavyzdžiai, dvi gyvavimo trukmės

Apie tai saugumo ar teisės komanda paklausia iš karto, todėl paaiškinu aiškiai. Yra du skirtingi pavyzdžiai ir jie gyvuoja skirtingai.

Gyvas pavyzdys, naudojamas apšilimui susitikimo metu, yra trumpalaikis. Jis egzistuoja tik gyvos konferencijos sesijos metu, balsui vertimui sintezuoti, ir niekur nesaugomas. Mind API ir SDK, kurie palaiko realiojo laiko sesiją, nesaugo jokių duomenų; viskas, kas laikina, išnyksta pasibaigus konferencijos sesijai.

Išsaugotas pavyzdys iš Settings saugomas jūsų paskyroje, vienam tikslui: jis siunčiamas vertimo varikliui kaskart, kai prisijungiate prie susitikimo, kad jūsų išversta kalba galėtų būti skaitoma juo, ir niekam kitam. Jis lieka, kol kortelėje paspausite Remove, o tai nedelsiant grąžina standartinį apšilimą, ir ištrinamas kartu su jūsų paskyra. Svečiai jo įrašyti negali; tai funkcija prisijungusiems naudotojams, ir taip suprojektuota sąmoningai.

Verta tiksliai pasakyti, kuo nei vienas pavyzdys nėra: tai ne viena iš InterMIND įrašymo funkcijų. Susitikimo vaizdo ir garso įrašymas yra atskiras, sąmoningas veiksmas, kurį atliekate tyčia, su savo valdikliais. Balso pavyzdys yra kalbos sintezatoriaus įvestis: gyvu atveju laikina, išsaugotu atveju — jūsų, galite pasilikti arba ištrinti.

Kodėl kiti to nesiūlo

Ne tai, kad balso klonavimas būtų paslaptis. Tiesiog daryti tai gyvai, kiekvienam dalyviui, abiem kryptimis, pokalbio tempu, 23 kalbomis, nesaugant nieko, ko neprašėte saugoti, yra kitokia problema nei klonuoti balsą ne realiu laiku podkastui.

Didžiosios platformos savo vertimą optimizuoja subtitrų aprėpčiai ir vienam saugiam diktoriaus balsui — tai pigus, patikimas numatytasis sprendimas dideliu mastu. Norint išlaikyti kiekvieno kalbėtojo balsą, sintezės etapas turi atskirai sekti kiekvieną dalyvį ir tilpti į tą patį delsos biudžetą, kuriame gyvena visas likęs konvejeris. Balso variklį sukūrėme patys, savo infrastruktūroje, todėl šį kompromisą spręsti galime mes. (Daugiau apie tai, kodėl variklis yra mūsų pačių kodas: What one InterMIND meeting is built from.)

Kur tai eina: lip-sync

Savo balso išlaikymas yra viena didesnio tikslo pusė. Kita pusė — jūsų veidas.

Šiuo metu kitą žmogų girdite jo paties balsu, bet jei esate prieš kamerą, jo lūpos vis dar juda pagal žodžius, kuriuos jis iš tikrųjų pasakė — kalba, kurios nesuprantate. Kitas žingsnis — lip-sync: perderinti kalbėtojo lūpų judesius pagal išverstą garsą, kad jūsų ekrane atrodytų, jog jis kalba jūsų kalba.

Sudėkite abu dalykus kartu, ir viso šio darbo esmė paaiškėja. Du žmonės, neturintys bendros kalbos, sėdi priešais vienas kitą vaizdo skambutyje ir mato bei girdi vienas kitą taip, tarsi kiekvienas būtų kito kalbos gimtakalbis — tas pats balsas, tas pats veidas, jokio vertėjo per vidurį, jokio roboto, skaitančio scenarijų.

Kad būtų aišku dėl statuso: balsas veikia šiandien; lip-sync yra plane, bet neišleistas. Apie kryptį kalbame todėl, kad dėl jos balso darbas ir svarbus — vertimas savo balsu nėra pati funkcija, tai pirmoji frazės „kalbėk su kuo nori, bet kuria kalba, būdamas savimi“ pusė.

Kur tai išgirsti

Vertimas savo balsu veikia jau šiandien, visomis 23 balso kalbomis — tomis pačiomis, kurios išvardytos dokumentacijoje. Atskirai nieko įjungti nereikia: kai susitikime įjungtas vertimas, dalyviai automatiškai girdi vieni kitus savo balsais. Būsime atviri dėl to, kur esame: šiandien balsas jau atpažįstamai jūsų, o panašumą aktyviai artiname. Eikite pasiklausyti ir spręskite patys.

• Try the demo — paleidžia gyvą balso konvejerį su jūsų garsu bet kuria iš 23 kalbų.
• See the quality numbers — tas pats gamybinis konvejeris, kas mėnesį vertinamas pagal FLORES-200, su visu paskirstymu, skelbiamu pagal kalbų porą.
• Record your voice sample — prisijungę, vienu įrašu pasakykite skaičius nuo vieno iki dešimties, ir būsite įbalsinti savo balsu nuo pirmo sakinio.
• How it works, in the docs — trumpoji šio įrašo versija.
• See it next to captions and a searchable transcript — kaip šios trys dalys veikia kartu viename susitikime.

Išverstas susitikimas turi atrodyti kaip tikrai jame dalyvaujančių žmonių pokalbis tarpusavyje. Savo balso išlaikymas — kelias, kuriuo ten prieinama.