Өз даусыңызбен сөйлеңіз — өзіңіз білмейтін тілде

Нақты уақыттағы аудармада барлығы дерлік қателесетін және ешкім айтпайтын бір тұс бар: сіз еститін дауыс.

Сөйлеуді тану да, аударма да өте жақсы болуы мүмкін, бірақ кездесу бәрибір машина тізімді оқып тұрғандай әсер қалдырады. Себебі соңғы қадамда, аударылған мәтінді қайта дыбысқа айналдырғанда, көптеген құралдар сізді тыныш қана бір жалпы синтездік дикторға ауыстырады. Бөлмеде сегіз адам отырса да, бәріне бір ғана робот дауысы беріледі. Кім сөйлеп тұрғаны, екпін, мінез жоғалады. Түсінікті, бірақ әңгіме емес.

InterMIND соңғы қадамды басқаша жасайды. Сіз сөйлегенде, басқа қатысушылар аудармаңызды сізге тән дауыспен естиді: сіздің тембріңіз бен сөйлеу мәнеріңіз сақталады, тек сөздер олардың тілінде айтылады. Бұл әлі мінсіз ұқсастық емес. Мәселе — дайын дикторға емес, дәл сізге ұқсауында, және ол жақсарып келеді. Бұл әр қатысушы үшін, екі бағытта да, бір мезгілде жұмыс істейді.

Бұл жазба — Inside the four translation pipelines that run InterMIND мақаласының жетіспейтін тарауы: ол жазбада аудио қалай аударылған аудиоға айналатыны түсіндірілген. Ал мына жазба — ең соңында кімнің дауысы шығатыны туралы.

Бәрі қолданатын әдепкі нұсқа және оның неге бір қалыпты екені

Үлкен кездесу платформаларының кез келгенінде тікелей аударманы қолданған болсаңыз, дыбысты білесіз. Бейтарап, бірқалыпты қарқынды дауыс аударманы оқиды. Спикер — жалпы жиналысты ашып тұрған бас директор ма, әлде әзіл айтып жатқан әріптес пе, дауыс бірдей. Астарындағы технология — бір тіркелген дауыс моделі бар мәтінді-сөйлеуге айналдыру (text-to-speech), ал дизайнның болжамы: түсінікті болса, жеткілікті.

Нақты кездесуде олай емес. Кездесуде жеткізілетін ақпараттың жартысы — оны кімнің және қалай айтып тұрғанында. Дауысты алып тастасаңыз, талқылау дауыстап оқылатын стенограммаға айналады. Адамдар бір-біріне жауап беруді қойып, өз кезегін күте бастайды.

InterMIND оның орнына не істейді

Аударма каскадты пайплайн ретінде жұмыс істейді: бәрін бір модель атқарудың орнына, қатар орындалатын үш мамандандырылған кезең. Алғашқы екі кезең пайплайндар туралы жазбада қарастырылған, ал дауыс қадамы — осы жазбаның тақырыбы:

1. ASR — сөйлеуді тану. Сіздің сөздеріңіз сіз сөйлеп жатқанда өз тіліңізде мәтінге айналдырылады. Бұл біздің өз қозғалтқышымызда, яғни қоңырауды жеткізетін медиа-серверде (Mind API, OVH France) орындалады, сондықтан аударма сөйлем аяқталмай-ақ басталады.
2. MT — аударма. Транскрипт тұрақты сөйлем фрагменттеріне — клаузаларға — топталады, сондықтан аударма сіз сөйлемді аяқтамай-ақ басталады, ал әр фрагмент тыңдаушының тіліне біртіндеп аударылады.
3. Zero-shot TTS — дауыс синтезі. Әр аударылған фрагмент сіздің өз дауысыңыздың үлгісін қолданып қайта айтылады және тыңдаушыға ағынмен жіберіледі.

Әсерді тудыратын — дәл осы үшінші кезең: ASR → MT → zero-shot TTS. «Zero-shot» дегеніміз — жүйеге дауысыңыз үшін алдын ала жазба немесе оқыту сеансы қажет емес. Ол дауысыңызды сіз қатысып жатқан кездесудің аудиосынан модельдейді.

Қыздыру кезеңі: ол неге сонша тез сізге ұқсай бастайды

«Өз дауысыңыздың үлгісін қолдану» дегеннің ішінде тауық пен жұмыртқа мәселесі жасырынған. Қоңырау басында жүйе дауысыңызды жақсы модельдеу үшін сізді әлі жеткілікті естімеген.

InterMIND мұны біртіндеп қыздыру арқылы шешеді:

• Алғашқы шамамен 5–10 секундта, жүйе сөйлеуіңізден жеткілікті материал жинап жатқанда, әр аударылған фрагмент бастапқы тіліңізде сіз жаңа ғана айтқан аудио фрагментінің негізінде синтезделеді. Дауыс сіздің нақты, дәл қазіргі сөйлеуіңізге байланған болады.
• Үлгі жеткілікті ұзақ болған соң — яғни 5–10 секундтық межеден кейін — жүйе оны бекітіп алады да, одан кейінгінің бәрін осы үлгімен дыбыстайды.

Іс жүзінде ауысудың болғанын байқамайсыз. Әңгіме жандана келе аударма сізге көбірек ұқсай түседі: дауысыңыздың мінсіз көшірмесі емес, бірақ машинаныкі емес, анық сіздікі, және модель көбірек естіген сайын жақсара береді. Прогрессивті аударма (сөйлем-сөйлем емес, клауза-клауза) мен прогрессивті дыбыстаудың үйлесімі бүкіл процесті кідіріс шегінен асырмай, сонымен бірге адамдай әсерде ұстайды.

Дауысыңызды бір рет жазыңыз да, қыздыруды өткізіп жіберіңіз

Жоғарыда сипатталған қыздыру — ештеңе бапталмаған кездегі әдепкі әрекет. 2026 жылғы қыркүйектен бастап жүйеге кірген пайдаланушыларға міндетті емес екінші жол бар: Баптаулар → Аудармадағы сіздің даусыңыз бөліміндегі сақталған дауыс үлгісі.

Оны жазу — бір ғана қимыл. Менің даусымды жазу батырмасын басыңыз, Қазір сөйлеңіз жазуын күтіңіз және бірден ондыққа дейінгі сандарды кез келген ретпен айтыңыз. Сөйлеу қозғалтқышы әр санды естігенде, ол карточкада жанып тұрады. Он санның бәрі жанғанда, үлгі тексеріліп, өздігінен сақталады. Қайта тыңдап, растайтын ештеңе жоқ, кері санақ та жоқ: карточка жазбаңыздың сандар бар бөлігін сақтап қалады. Ең жақсы нәтижені тыныш бөлме мен гарнитура береді.

Сақталған үлгі нені өзгертеді: келесі кездесуден бастап синтезатор аудармаңызды онымен бірінші фрагменттен дыбыстайды, сондықтан қарсы жақ сізді қыздыру кезеңінен кейін емес, бірінші сөйлемнен бастап өзіңіздей естиді. Іштей бұл — сол zero-shot синтез, тек жақсырақ бастапқы нүктемен; тікелей қыздыру қоңырау жүріп жатқанда дауысты әлі де нақтылай береді.

Жазба сақталмай тұрып тексеріледі. Ол анық сөйлеудің 3-тен 10 секундына дейін болуы керек (синтезатордың кіріс терезесі). Тым тыныш, кесілген, көбіне үнсіздік немесе фондық шу басып кеткен болса, карточка нені түзету керегін айтып, тағы бір жазба сұрайды. Сөз тіркесі ретінде сандар практикалық себеппен таңдалды: олар қысқа, 23 тілдің әрқайсысында танылады, ал қозғалтқыш он санның бәрін естігенін растай алады, сөйтіп «жазба жұмыс істеді ме?» деген сұрақ көзге көрінетін «иә» жауабына айналады.

Екі дауыс үлгісі, екі өмір сүру мерзімі

Қауіпсіздік немесе заң бөлімі бірден сұрайтын тұс осы, сондықтан оны ашық айтамыз. Екі түрлі үлгі бар және олар әртүрлі сақталады.

Тікелей үлгі кездесудегі қыздыру үшін қолданылады және уақытша. Ол тек тікелей конференция сеансы кезінде, аударманы дыбыстау үшін ғана бар және еш жерде сақталмайды. Нақты уақыттағы сеансты қамтамасыз ететін Mind API мен SDK ешқандай деректі сақтамайды; барлық уақытша нәрсе конференция сеансы аяқталғанда жойылады.

Сақталған үлгі Баптаулардан есептік жазбаңызбен бірге, бір мақсат үшін сақталады: ол кездесуге қосылған сайын аударма қозғалтқышына жіберіледі, сонда аударылған сөзіңіз онымен дыбысталады, басқа ешқандай мақсат үшін емес. Ол карточкадағы Жою батырмасын басқанша сақталады (бұл сізді бірден стандартты қыздыруға қайтарады) және есептік жазбаңызбен бірге жойылады. Қонақтар оны жаза алмайды; бұл — жүйеге кірген пайдаланушыларға арналған мүмкіндік, әдейі солай жасалған.

Екі үлгінің де не емес екенін дәл айтқан жөн: олар InterMIND-тың жазба мүмкіндіктерінің бірі емес. Кездесудің видео мен аудиосын жазу — жеке басқару элементтері бар, сіз саналы түрде жасайтын бөлек әрекет. Дауыс үлгісі — сөйлеу синтезаторына берілетін кіріс: тікелей жағдайда өтпелі, сақталған жағдайда — сақтау немесе жою өзіңіздің қолыңызда.

Мұны неге басқа ешкім ұсынбайды

Дауысты клондау құпия емес. Мәселе — мұны тікелей, әр қатысушы үшін жеке, екі бағытта, бір секундтық шектің ішінде, 23 тілде, өзіңіз сұрамаған ештеңені сақтамай жасаудың подкаст үшін дауысты офлайн клондаудан мүлде басқа міндет екенінде.

Үлкен платформалар аудармасын субтитрлердің қамтылуына және бір қауіпсіз диктор дауысына оңтайландырады — бұл ауқымда арзан әрі сенімді әдепкі шешім. Әр спикердің өз дауысын сақтау үшін синтез кезеңі әр қатысушыны дербес қадағалап, пайплайнның қалған бөлігі тұратын кідіріс шегінің ішінде қалуы керек. Біз дауыс қозғалтқышын өзіміз, өз инфрақұрылымымызда жасадық, сондықтан бұл ымыраны шешу — біздің құзыретімізде. (Қозғалтқыштың неге біздің өз кодымыз екені туралы толығырақ: What one InterMIND meeting is built from.)

Бұл қайда барады: lip-sync

Дауысыңызды сақтау — үлкенірек мақсаттың бір жартысы. Екінші жартысы — сіздің жүзіңіз.

Қазір сіз екінші адамды өз дауысымен естисіз, бірақ камерада болсаңыз, оның еріндері әлі де ол шын айтқан сөздерге қарай қимылдайды, ал ол тілді сіз оқымайсыз. Келесі қадам — lip-sync: спикердің ауыз қимылын аударылған аудиоға сәйкестендіру, сонда сіздің экраныңызда ол сіздің тіліңізде сөйлеп тұрғандай көрінеді.

Екеуін біріктірсеңіз, бұл жұмыстың бүкіл мәні айқындалады. Ортақ тілі жоқ екі адам бейнеқоңыраудың екі жағында отырып, бір-бірін әрқайсысы екіншісінің тілінің тілдік иесіндей көреді және естиді: дауыс та сол, жүз де сол, ортада тілмаш жоқ, сценарий оқып тұрған робот жоқ.

Мәртебесін ашық айтайық: дауыс бүгін жұмыс істейді; lip-sync — жол картасында, әлі шығарылған жоқ. Біз межелі нүктені атап отырмыз, себебі дауыс жұмысының маңызы сонда: өз дауысымен аудару — мүмкіндіктің өзі емес, ол «кез келген адаммен, кез келген тілде, өзіңіз болып сөйлесу» дегеннің бірінші жартысы.

Оны қайдан тыңдауға болады

Өз дауысымен аудару бүгін, 23 дауыс тілінің бәрінде жұмыс істейді — құжаттамада аталған сол тілдерде. Бөлек қосатын ештеңе жоқ: кездесуде аударма қосылғанда, қатысушылар бір-бірін автоматты түрде өз дауыстарымен естиді. Қазіргі жағдайды ашық айтамыз: бүгін дауыс сізге анық ұқсайды, ал ұқсастықты жақындата түсу үстінде белсенді жұмыс істеп жатырмыз. Өзіңіз тыңдап, өзіңіз бағалаңыз.

• Демоны қолданып көру — тікелей дауыс пайплайнын сіздің аудиоңызбен 23 тілдің кез келгенінде іске қосады.
• Сапа көрсеткіштерін қарау — сол өндірістік пайплайн, FLORES-200 бойынша ай сайын бағаланады, әр тіл жұбы бойынша толық үлестірім жарияланады.
• Дауыс үлгісін жазу — жүйеге кіріп, бірден ондыққа дейінгі сандарды бір рет айтасыз, және сізді бірінші сөйлемнен бастап өз дауысыңызбен дыбыстайды.
• Құжаттамада қалай жұмыс істейтіні — осы жазбаның қысқаша нұсқасы.
• Субтитрлермен және іздеуге болатын транскриптпен қатар көру — үш бөлік бір кездесуде өзара қалай жұмыс істейді.

Аударылған кездесу онда шынымен отырған адамдардың бір-бірімен сөйлесуі сияқты сезілуі керек. Дауысыңызды сақтау — оған жетудің жолы.