Puhu omalla äänelläsi – kielellä, jota et puhu

Tässä se reaaliaikaisen kääntämisen osa, jonka lähes kaikki tekevät väärin ja josta lähes kukaan ei puhu: ääni, jonka kuulet.

Puheentunnistus voi olla erinomaista ja käännös erinomaista, ja silti kokous tuntuu koneelta, joka lukee listaa. Viimeisessä vaiheessa käännetty teksti muutetaan takaisin ääneksi, ja siinä useimmat työkalut vaihtavat hiljaa sinut yhteen yleiseen synteettiseen kertojaääneen. Huoneessa on kahdeksan ihmistä ja kaikille sama robotin ääni. Katoavat tieto siitä, kuka puhuu, painotukset ja persoonallisuus. Puhe on ymmärrettävää mutta ei keskustelua.

InterMIND tekee viimeisen vaiheen toisin. Kun puhut, muut osallistujat kuulevat käännöksen tunnistettavasti sinun äänelläsi. Siinä kuuluvat sinun sävysi ja puhetapasi, ja ääni sanoo asiasi heidän kielellään. Se ei ole vielä virheetön jäljitelmä. Tärkeää on, että kuulet sinut etkä vakiokertojaa, ja ääni paranee koko ajan. Tämä toimii jokaiselle osallistujalle, molempiin suuntiin ja samanaikaisesti.

Tämä kirjoitus on puuttuva luku artikkeliin Katsaus neljään käännösputkeen, joilla InterMIND toimii. Se kertoi, miten äänestä tulee käännetty ääni. Tämä kertoo, kenen ääni tulee ulos toisessa päässä.

Kaikkien oletus ja miksi se on latteaa

Jos olet käyttänyt live-käännöstä jossakin suurista kokousalustoista, tunnet äänen. Neutraali, tasatahtinen ääni lukee käännöksen. Se on sama ääni, puhuipa toimitusjohtaja avaamassa yhteistä henkilöstötilaisuutta tai kollega heittämässä vitsiä. Taustalla on puhesynteesi, jossa on yksi kiinteä äänimalli, ja suunnittelun oletuksena on, että ymmärrettävyys riittää.

Oikeassa kokouksessa se ei riitä. Puolet siitä, mitä kokous viestii, on se, kuka asian sanoo ja miten. Kun äänestä riisutaan persoona, keskustelusta tulee litteraatti, joka sattuu kuulumaan ääneen. Ihmiset lakkaavat reagoimasta toisiinsa ja alkavat odottaa omaa vuoroaan.

Mitä InterMIND tekee sen sijaan

Käännös toimii kaskadoituna putkena: kolme erikoistunutta vaihetta peräkkäin sen sijaan, että yksi malli yrittäisi tehdä kaiken. Kaksi ensimmäistä vaihetta on käsitelty putkia käsittelevässä kirjoituksessa. Tämä kirjoitus keskittyy äänivaiheeseen:

ASR – puheentunnistus. Sanasi litteroidaan omalla kielelläsi puhuessasi omalla moottorillamme eli puhelua kuljettavalla mediapalvelimella (Mind API, OVH Ranska), jotta käännös voi alkaa ennen lauseen loppua.
MT – käännös. Litteraatti ryhmitellään vakaiksi lausekkeiksi eli klausuuleiksi, jotta käännös voi alkaa ennen kuin olet lopettanut lauseesi. Jokainen pätkä käännetään vähitellen kuuntelijan kielelle.
Zero-shot TTS – äänisynteesi. Jokainen käännetty pätkä puhutaan takaisin oman äänesi näytettä käyttäen ja välitetään kuuntelijalle.

Tämä kolmas vaihe, ASR → MT → zero-shot TTS, tuottaa vaikutelman. "Zero-shot" tarkoittaa, että järjestelmä ei tarvitse etukäteen tallennettua äänitystä tai harjoitusistuntoa äänestäsi. Se mallintaa äänesi sen kokouksen äänestä, jossa jo olet.

Lämmittely: miten ääni alkaa kuulostaa sinulta näin nopeasti

Lauseessa "käytä oman äänesi näytettä" piilee muna ja kana -ongelma. Puhelun alussa järjestelmä ei ole vielä kuullut sinua tarpeeksi mallintaakseen ääntäsi hyvin.

InterMIND ratkaisee tämän asteittaisella lämmittelyllä:

Noin ensimmäisten 5–10 sekunnin ajan, kun puhetta vielä kerätään riittävästi, jokainen käännetty pätkä syntetisoidaan käyttäen äänipätkää, joka vastaa sitä, mitä juuri sanoit lähdekielelläsi. Äänitys ankkuroituu todelliseen, välittömään puheeseesi.
Kun näyte on riittävän pitkä, eli 5–10 sekunnin kohdalla, järjestelmä lukitsee sen ja käyttää sitä kaiken myöhemmän äänentoiston pohjana.

Käytännössä et kuule kytkimen napsahtavan. Käännös kuulostaa yhä enemmän sinulta keskustelun käynnistyessä. Se ei ole täydellinen kopio äänestäsi, mutta selvästi sinun eikä koneen, ja se paranee mallin kuullessa lisää. Asteittaisen käännöksen (klausuula kerrallaan, ei lause kerrallaan) ja asteittaisen äänentoiston yhdistelmä pitää kokonaisuuden viivebudjetin sisällä ja kuulostamassa silti ihmiseltä.

Tallenna äänesi kerran ja ohita lämmittely

Yllä kuvattu lämmittely tapahtuu oletuksena, ilman mitään asetuksia. Syyskuusta 2026 alkaen kirjautuneille käyttäjille on ollut valinnainen toinen tapa: tallennettu ääninäyte kohdassa Asetukset → Äänesi käännöksessä.

Tallennus on yksi ele. Paina Tallenna ääneni, odota kehotetta Puhu nyt ja sano numerot yhdestä kymmeneen missä järjestyksessä tahansa. Jokainen numero syttyy kortissa, kun puhemoottori kuulee sen. Kun kaikki kymmenen palavat, näyte tarkistetaan ja tallennetaan automaattisesti. Mitään ei tarvitse kuunnella tai vahvistaa, eikä ole lähtölaskentaa: kortti säilyttää otoksestasi sen osuuden, jossa numerot ovat. Hiljainen huone ja kuulokemikrofoni antavat parhaan tuloksen.

Tallennettu näyte muuttaa sen, että seuraavasta kokouksestasi alkaen syntetisaattori puhuu käännöksesi sillä jo ensimmäisestä pätkästä lähtien. Toinen osapuoli kuulee sinut sinuna ensimmäisestä lauseesta alkaen eikä vasta lämmittelyn jälkeen. Taustalla on sama zero-shot-synteesi, mutta parempi lähtökohta. Livelämmittely hioo ääntä edelleen puhelun edetessä.

Otos tarkistetaan ennen tallennusta. Sen on oltava 3–10 sekuntia selkeää puhetta (syntetisaattorin syöteikkuna). Jos otos on liian hiljainen, leikkautunut, enimmäkseen hiljaisuutta tai hukkuu taustamelun alle, kortti kertoo, mitä korjata, ja pyytää uuden otoksen. Numerot valittiin lauseeksi käytännön syystä: ne ovat lyhyitä, tunnistettavia jokaisella 23 kielellä, ja moottori voi vahvistaa kuulleensa kaikki kymmenen. Näin kysymyksestä "onnistuiko tallennus?" tulee näkyvä kyllä.

Kaksi ääninäytettä, kaksi elinkaarta

Tätä turvallisuus- tai lakitiimi kysyy heti, joten tässä se selkeästi. Näytteitä on kaksi erilaista, ja ne elävät eri tavoin.

Livenäyte, jota käytetään kokouksen aikaisessa lämmittelyssä, on tilapäinen. Se on olemassa vain live-kokousistunnon ajan käännöksen äänentoistoa varten, eikä sitä tallenneta mihinkään. Reaaliaikaisen istunnon takana olevat Mind API ja SDK eivät säilytä dataa, ja kaikki väliaikainen katoaa, kun kokousistunto päättyy.

Tallennettu näyte Asetuksista säilytetään tilisi yhteydessä yhtä tarkoitusta varten: se lähetetään käännösmoottorille aina, kun liityt kokoukseen, jotta käännetty puheesi voidaan toistaa sillä, eikä mihinkään muuhun. Se säilyy, kunnes painat kortissa Poista. Silloin palaat heti tavalliseen lämmittelyyn. Näyte poistetaan myös tilisi poiston yhteydessä. Vieraat eivät voi tallentaa näytettä, sillä se on suunnitellusti kirjautuneiden käyttäjien ominaisuus.

On syytä olla tarkka siitä, mitä kumpikaan näyte ei ole: ne eivät ole InterMINDin tallennusominaisuuksia. Kokouksen videon ja äänen tallennus on erillinen, tietoinen toimi, jonka teet tarkoituksella ja jolla on omat säätimensä. Ääninäyte on syöte puhesyntetisaattorille: live-tapauksessa ohimenevä, tallennetussa tapauksessa sinun säilytettävissäsi tai poistettavissasi.

Miksi kukaan muu ei tarjoa tätä

Äänen kloonaus ei ole salaisuus. Ongelma on, että sen tekeminen livenä, osallistujakohtaisesti, molempiin suuntiin, keskustelun tahdissa, 23 kielellä ja tallentamatta mitään, mitä et ole pyytänyt, on eri ongelma kuin äänen kloonaaminen jälkikäteen podcastia varten.

Suuret alustat optimoivat käännöksensä tekstityskattavuuden ja yhden turvallisen kertojaäänen ympärille, koska se on laajassa mittakaavassa edullinen ja kestävä oletus. Jokaisen puhujan oman äänen säilyttäminen vaatii, että synteesivaihe seuraa jokaista osallistujaa erikseen ja pysyy samassa viivebudjetissa kuin muu putki. Rakensimme äänimoottorin itse omalle infrastruktuurillemme, minkä vuoksi tämä kompromissi on meidän tehtävissämme. (Lisää siitä, miksi moottori on oma koodimme: Mistä yksi InterMIND-kokous koostuu.)

Minne tämä on menossa: huulisynkronointi

Äänesi säilyttäminen on yksi puoli suuremmasta tavoitteesta. Toinen puoli on kasvosi.

Nyt kuulet toisen ihmisen hänen omalla äänellään, mutta jos olet kameran edessä, hänen huulensa liikkuvat yhä sanoihin, jotka hän todella sanoi, kielellä, jota et lue. Seuraava askel on huulisynkronointi: puhujan suun ajoitus muutetaan vastaamaan käännettyä ääntä, jolloin hän näyttää näytölläsi puhuvan sinun kieltäsi.

Kun nämä kaksi yhdistetään, työn koko tarkoitus kirkastuu. Kaksi ihmistä, joilla ei ole yhteistä kieltä, istuu videopuhelun vastakkain ja näkee ja kuulee toisensa kuin kumpikin olisi toisen kielen äidinkielinen puhuja: sama ääni, samat kasvot, ei tulkkia välissä eikä käsikirjoitusta lukevaa robottia.

Tilanne selväksi: ääni on käytössä jo tänään, huulisynkronointi on tiekartalla eikä vielä julkaistu. Kerromme päämäärästä, koska se on syy, miksi ääni on tärkeä. Oman äänen käännös ei ole itse ominaisuus vaan ensimmäinen puolisko ajatuksesta "puhu kenelle tahansa, millä kielellä tahansa, omana itsenäsi".

Missä kuulet sen

Oman äänen käännös on käytössä jo tänään kaikilla 23 äänikielellä, samoilla kielillä, jotka on lueteltu dokumentaatiossa. Erillistä kytkintä ei tarvitse painaa: kun käännös on otettu käyttöön kokouksessa, osallistujat kuulevat toisensa automaattisesti omilla äänillään. Kerromme avoimesti, missä mennään: nykyisellään ääni on jo tunnistettavasti sinun, ja samankaltaisuutta viemme aktiivisesti lähemmäs. Kuuntele ja arvioi itse.

Kokeile demoa – ajaa live-ääniputken sinun äänelläsi millä tahansa 23 kielestä.
Katso laatuluvut – sama tuotantoputki pisteytettynä kuukausittain FLORES-200:aa vasten, ja koko jakauma julkaistuna kielipareittain.
Tallenna ääninäytteesi – kirjautuneena, yksi otos numeroista yhdestä kymmeneen, ja äänesi kuuluu sinuna ensimmäisestä lauseesta alkaen.
Miten se toimii, dokumentaatiossa – tämän kirjoituksen lyhyt versio.
Katso se tekstityksen ja haettavan litteraatin rinnalla – miten nämä kolme osaa toimivat yhdessä yhdessä kokouksessa.