Szóljon a saját hangján – egy olyan nyelven, amelyet nem beszél

Íme a valós idejű fordításnak az a része, amelyet szinte mindenki elront, és amelyről szinte senki nem beszél: a hang, amelyet hall.

Lehet kiváló a beszédfelismerés és kiváló a fordítás, a meeting mégis úgy hat majd, mintha egy gép egy listát olvasna fel. Az utolsó lépésnél ugyanis, amikor a lefordított szöveg visszaalakul hanggá, a legtöbb eszköz csendben lecseréli Önt egyetlen, általános szintetikus narrátorra. Nyolc ember van a teremben, és mindannyiukat ugyanaz a robothang szólaltatja meg. Elvész, hogy ki beszél, elvész a hangsúly és a személyiség. Érthető, de nem beszélgetés.

Az InterMIND az utolsó lépést másképp oldja meg. Amikor Ön megszólal, a többi résztvevő a fordítást felismerhetően az Ön hangján hallja, az Ön hangszínével és beszédmódjával, csak éppen az ő nyelvükön. Ez még nem hibátlan utánzat; a lényeg, hogy Ön szólal meg egy sablonos narrátor helyett, és a hang egyre jobb. Ez minden résztvevőre működik, mindkét irányban, egyidejűleg.

Ez a bejegyzés a Inside the four translation pipelines that run InterMIND című írás hiányzó fejezete: az a cikk azt magyarázta el, hogyan lesz a hangból lefordított hang. Ez pedig arról szól, kinek a hangja szólal meg a másik végén.

Az alapértelmezés, amelyet mindenki szállít, és amiért lapos

Aki használt már élő fordítást a nagy meetingplatformok valamelyikében, ismeri a hangzását. Egy semleges, egyenletes tempójú hang olvassa fel a fordítást. Ugyanaz a hang szólal meg, akár a vezérigazgató nyit meg egy évértékelőt, akár egy kolléga viccel el valamit. A technológia alapja egyetlen, rögzített hangmodellt használó szövegfelolvasás (text-to-speech), a kiinduló feltételezés pedig az, hogy az érthetőség elég.

Egy valódi meetingen nem elég. Annak, amit egy meeting közvetít, a fele az, hogy ki mondja, és hogyan. Ha elvesszük a hangot, a beszélgetésből egy átirat lesz, amelyet véletlenül hangosan felolvasnak. Az emberek nem reagálnak többé egymásra, csak várják a sorukat.

Mit csinál ehelyett az InterMIND

A fordítás kaszkádolt folyamatként (cascaded pipeline) fut: három specializált, egymás után következő szakaszból áll, nem pedig egyetlen modellből, amely mindent egyszerre próbál megoldani. Az első két szakaszt a pipeline-okról szóló bejegyzés tárgyalja; a hangszintézis lépése az, amelyről ez a bejegyzés szól:

1. ASR – beszédfelismerés. A szavait a saját nyelvén, beszéd közben írja át a saját motorunk, azon a médiaszerveren, amely a hívást is továbbítja (Mind API, OVH France), így a fordítás már a mondat vége előtt elindulhat.
2. MT – fordítás. Az átirat stabil mondatrészletekbe, úgynevezett tagmondatokba (clause) rendeződik, így a fordítás azelőtt megkezdődhet, hogy befejezné a mondatot, és az egyes részletek fokozatosan, a hallgató nyelvére fordítva készülnek el.
3. Zero-shot TTS – hangszintézis. Minden lefordított részletet az Ön saját hangjából vett minta alapján szólaltat meg a rendszer, és közvetíti a hallgatónak.

Ez a harmadik szakasz, vagyis az ASR → MT → zero-shot TTS lánc hozza létre a hatást. A „zero-shot” azt jelenti, hogy a rendszernek nincs szüksége előre rögzített hangmintára vagy a hangján végzett betanításra. A hangját annak a meetingnek a hangjából modellezi, amelyben éppen részt vesz.

A bemelegítés: hogyan szólal meg ilyen gyorsan az Ön hangján

Az „Ön saját hangjából vett minta használata” mögött van egy tyúk-tojás probléma. A hívás legelején a rendszer még nem hallott Önből eleget ahhoz, hogy jól modellezze a hangját.

Az InterMIND ezt fokozatos bemelegítéssel oldja meg:

• Nagyjából az első 5–10 másodpercben, amíg még gyűjti a beszédből a szükséges mennyiséget, minden lefordított részletet az eredeti nyelvű beszédnek azzal a hangrészletével szintetizál, amely arra felel meg, amit Ön éppen most mondott. A megszólaltatás az Ön valódi, azonnali beszédére támaszkodik.
• Amint van elég hosszú minta, vagyis eléri az 5–10 másodperces határt, a rendszer ráállt, és ezzel szólaltat meg mindent, ami ezután következik.

A gyakorlatban nem hallani, hogy bármi átkapcsolna. A fordítás a beszélgetés előrehaladtával egyre jobban hasonlít Önre: nem tökéletes másolata a hangjának, de egyértelműen az Öné, nem egy gépé, és ahogy a modell többet hall, tovább javul. A fokozatos fordítás (tagmondatonként, nem mondatonként) és a fokozatos megszólaltatás együtt tartja a rendszert a késleltetési kereten belül úgy, hogy közben emberi marad a hang.

Rögzítse egyszer a hangját, és ugorja át a bemelegítést

A fenti bemelegítés az alapértelmezett működés, semmilyen előkészületet nem igényel. 2026 szeptembere óta a bejelentkezett felhasználóknak van egy második, opcionális útjuk is: egy elmentett hangminta a Settings → Your voice in translation alatt.

A rögzítés egyetlen mozdulat. Nyomja meg a Record my voice gombot, várja meg a Speak now feliratot, és mondja el az egytől tízig terjedő számokat tetszőleges sorrendben. Minden szám felvilágít a kártyán, amint a beszédmotor meghallja; amikor mind a tíz világít, a minta ellenőrzése és mentése magától megtörténik. Nincs mit visszahallgatni vagy megerősíteni, és visszaszámlálás sincs: a kártya megtartja a felvételnek azt a szakaszát, amely a számokat tartalmazza. A legjobb eredményt csendes szoba és fejhallgató adja.

Az elmentett minta ezt változtatja: a következő meetingtől kezdve a szintetizátor már az első részlettől ezzel szólaltatja meg a fordítást, így a másik oldal az első mondattól kezdve Önként hallja Önt, nem a bemelegítés után. A háttérben ugyanaz a zero-shot szintézis fut, csak jobb kiindulópontról; az élő bemelegítés a hívás előrehaladtával továbbra is finomítja a hangot.

A felvétel tárolás előtt ellenőrzésen esik át. 3–10 másodpercnyi tiszta beszédnek kell lennie (ez a szintetizátor bemeneti ablaka): ha túl halk, vágott, többnyire csend, vagy elnyomja a háttérzaj, a kártya megmondja, mit kell javítani, és új felvételt kér. A számokat gyakorlati okból választottuk szövegnek: rövidek, mind a 23 nyelven felismerhetők, és a motor igazolni tudja, hogy mind a tízet meghallotta, így a „sikerült a felvétel?” kérdésre látható igen a válasz.

Két hangminta, két élettartam

Ezt a részt a biztonsági vagy jogi csapatok azonnal megkérdezik, ezért itt egyenesen leírjuk. Két különböző minta létezik, és másképp élnek.

Az élő minta, amelyet a meeting közbeni bemelegítéshez használunk, efemer. Csak az élő konferencia-munkamenet idejére létezik, a fordítás megszólaltatását szolgálja, és sehol nem tárolódik. A valós idejű munkamenetet működtető Mind API és SDK nem őriz meg adatot; minden ideiglenes adat megsemmisül, amikor a konferencia-munkamenet véget ér.

Az elmentett minta a Settings alatt a fiókjához kötve, egyetlen célra tárolódik: minden alkalommal elküldjük a fordítómotornak, amikor meetinghez csatlakozik, hogy a lefordított beszédét ezzel lehessen megszólaltatni, másra nem. Addig marad meg, amíg a kártyán meg nem nyomja a Remove gombot, ami azonnal visszaállítja a szokásos bemelegítést, és a fiókjával együtt törlődik. Vendégek nem rögzíthetnek ilyet; ez tudatosan bejelentkezett felhasználóknak szóló funkció.

Fontos pontosan látni, hogy egyik minta sem tartozik az InterMIND felvételi funkciói közé. Egy meeting videójának és hangjának rögzítése külön, szándékos művelet, amelyet Ön céltudatosan indít el, saját vezérlőkkel. A hangminta a beszédszintetizátor bemenete: az élő esetben átmeneti, az elmentett esetben pedig Ön dönt arról, megtartja vagy törli.

Miért nem szállít ilyet más

Nem arról van szó, hogy a hangklónozás titok volna. Arról, hogy ha ezt élőben, résztvevőnként, mindkét irányban, beszélgetési tempóban, 23 nyelven, úgy végezzük, hogy semmit nem tárolunk, amit Ön nem kért, az más feladat, mint egy hangot offline klónozni egy podcasthoz.

A nagy platformok a fordításukat a feliratok lefedettségére és egyetlen, biztonságos narrátorhangra optimalizálják, mert nagy méretben ez az olcsó, robusztus alapmegoldás. Ha minden beszélő megtartja a saját hangját, a szintézis szakasznak minden résztvevőt külön kell követnie, és ugyanabban a késleltetési keretben kell maradnia, mint a folyamat többi részének. A hangmotort magunk építettük, a saját infrastruktúránkon, ezért ez a kompromisszum a mi döntésünk. (Erről, hogy miért a saját kódunk a motor, bővebben: What one InterMIND meeting is built from.)

Merre tart a fejlesztés: lip-sync

A hang megőrzése egy nagyobb cél egyik fele. A másik fele az Ön arca.

Jelenleg a másik személyt a saját hangján hallja, de ha kamerán látja, az ajkai még mindig azokhoz a szavakhoz mozognak, amelyeket valójában mondott, egy olyan nyelven, amelyet Ön nem olvas le róluk. A következő lépés a lip-sync: a beszélő szájmozgásának újraidőzítése a lefordított hanghoz, hogy az Ön képernyőjén úgy tűnjön, mintha az Ön nyelvén beszélne.

Ha a kettőt összerakjuk, kirajzolódik ennek az egész munkának a lényege. Két ember, akinek nincs közös nyelve, egy videóhívásban ül egymással szemben, és úgy látják és hallják egymást, mintha mindketten az ő nyelvüket anyanyelvi szinten beszélnék: ugyanaz a hang, ugyanaz az arc, nincs közbeiktatott tolmács, és nincs robot, amely szöveget olvas fel.

Hogy világos legyen az állapot: a hang ma már él; a lip-sync szerepel a fejlesztési tervben, de még nem elérhető. Azért beszélünk a célról, mert a hangon végzett munka ezért számít: a saját hangon történő fordítás nem maga a funkció, hanem az első fele annak, hogy „beszéljen bárkivel, bármilyen nyelven, önmagaként”.

Hol hallhatja

A saját hangon történő fordítás ma él, mind a 23 hangnyelven, vagyis ugyanazokon a nyelveken, amelyeket a dokumentáció felsorol. Külön semmit nem kell bekapcsolni: ha egy meetingen engedélyezett a fordítás, a résztvevők automatikusan a saját hangjukon hallják egymást. Őszintén megmondjuk, hol tart a dolog: a hang ma már felismerhetően Ön, a hasonlóságot pedig aktívan igyekszünk még közelebb vinni. Hallgassa meg, és ítélje meg maga.

• Próbálja ki a demót – az élő hangfeldolgozó folyamatot futtatja az Ön hangján, a 23 nyelv bármelyikén.
• Nézze meg a minőségi számokat – ugyanaz az éles folyamat, havonta értékelve a FLORES-200-on, a teljes eloszlással nyelvpáronként közzétéve.
• Rögzítse a hangmintáját – bejelentkezve, egyetlen felvétellel, az egytől tízig terjedő számokkal, és az első mondattól kezdve a saját hangján szólal meg.
• Hogyan működik, a dokumentációban – ennek a bejegyzésnek a rövid változata.
• Nézze meg a feliratok és a kereshető átirat mellett – hogyan működik együtt a három elem egyetlen meetingen.

Egy lefordított meetingnek úgy kell hatnia, mintha azok az emberek beszélgetnének egymással, akik valóban ott vannak. A hangja megőrzése az az út, amely idáig vezet.