Oma äänesi
Oma äänesi
Kun InterMIND kääntää puheesi toiselle osallistujalle, hän ei kuule robottimaista tekstistä puheeksi -kertojaa. Hän kuulee äänen, joka on tunnistettavasti sinun ja jossa kuuluvat äänesi sävy ja puhetapasi. Se sanoo sanat nyt hänen kielellään.
Tämä toimii kumpaankin suuntaan ja jokaiselle osallistujalle erikseen. Kokouksessa, jossa viisi ihmistä puhuu viittä eri kieltä, jokainen kuulee muut neljä omalla kielellään, ja jokainen heistä kuulostaa edelleen itseltään.
Miltä se kuulostaa
Useimmat reaaliaikaiset käännöstyökalut korvaavat puhujan yhdellä yleisellä synteettisellä äänellä. Tulos on ymmärrettävä mutta latteaa: puhujan persoona, painotukset ja luonne katoavat. InterMIND säilyttää puhujan äänen, joten käännetty kokous tuntuu keskustelulta niiden ihmisten välillä, jotka siinä oikeasti ovat, eikä koneen lukemalta ilmoitusjonolta.
Näin se toimii
InterMIND käyttää vaiheittaista putkea (cascaded pipeline), jonka viimeinen vaihe on ääni:
- Puheentunnistus — sanasi litteroidaan omalla kielelläsi samalla, kun puhut.
- Segmentointi — litteraatti jaetaan vakaisiin lauseenosiin, jotta käännös voi alkaa jo ennen kuin lauseesi on loppunut.
- Käännös — jokainen lauseenosa käännetään vähitellen kuuntelijan kielelle.
- Äänisynteesi — jokainen käännetty lauseenosa puhutaan takaisin oman äänesi näytteen avulla ja lähetetään kuuntelijalle.
Kun kokous vielä kerää tarpeeksi puhettasi äänesi mallintamiseen (noin ensimmäiset 5–10 sekuntia), synteesi käyttää äänipätkää, joka vastaa juuri sanomaasi lähdekielelläsi. Kun näyte on riittävän pitkä, synteesi siirtyy käyttämään sitä kaikkeen sen jälkeiseen. Käytännössä vaihdosta ei huomaa: käännös kuulostaa yhä enemmän sinulta puhelun edetessä. Se ei ole täydellinen jäljitelmä äänestäsi, mutta se on tunnistettavasti sinä eikä yleinen kertoja, ja se paranee, kun malli kuulee sinua lisää.
Kielet
Käännös omalla äänellä on käytettävissä kaikilla 23 puhekielellä — samoilla, jotka on lueteltu sivulla Kielten valinta. Mitään ei tarvitse erikseen ottaa käyttöön: kun käännös on päällä, osallistujat kuulevat sinut automaattisesti omalla äänelläsi.
Tallennettu äänenäytteesi (valinnainen)
Kirjautuneet käyttäjät voivat ohittaa lämmittelyvaiheen tallentamalla äänenäytteen kerran kohdassa Asetukset → Äänesi käännöksessä: paina Tallenna ääneni, sano numerot yhdestä kymmeneen missä järjestyksessä tahansa, ja näyte tallentuu itsestään, kun kaikki kymmenen ovat syttyneet. Seuraavasta kokouksestasi alkaen käännetty puheesi äänitetään sen avulla heti ensimmäisestä lauseesta lähtien.
Yksityisyys
Kaksi näytettä, kaksi elinkaarta. Kokouksen aikaiseen lämmittelyyn käytettävä live-näyte on tilapäinen: se on olemassa vain live-kokouksen ajan eikä sitä tallenneta minnekään. Reaaliaikaista istuntoa pyörittävä Mind API ja SDK eivät säilytä mitään tietoja, kun konferenssi-istunto päättyy. Asetuksista tallennettu tallennettu näyte säilytetään tilisi yhteydessä yhtä tarkoitusta varten, käännetyn puheesi äänittämiseen. Se lähetetään käännösmoottorille aina, kun liityt kokoukseen, ja se poistetaan heti, kun poistat sen tai poistat tilisi. Kumpikaan ei ole InterMINDin video- ja äänitallennusominaisuus. Ne ovat erillisiä, nimenomaisia tallenteita, jotka aloitat tarkoituksella.
Tiekartalla: huulisynkronointi
Käännöksen kuuleminen omalla äänellä on vasta ensimmäinen puolikas suuremmasta tavoitteesta. Seuraava askel, jota kohti työskentelemme, on huulisynkronointi (lip-sync): puhujan suun liikkeet kamerakuvassa ajoitetaan uudelleen vastaamaan käännettyä ääntä, jolloin jokainen osallistuja näyttää puhuvan toisen kieltä. Yhdessä käännöksen kanssa omalla äänellä tavoitteena on puhelu, jossa ihmiset, joilla ei ole yhteistä kieltä, näkevät ja kuulevat toisensa ikään kuin kumpikin puhuisi toisen kieltä äidinkielenään.
Tämä on tiekarttakohde, ei vielä julkaistu ominaisuus. Yllä kuvattu käännös omalla äänellä on käytössä jo tänään.