Говорете със собствения си глас — на език, който не говорите

Ето частта от превода в реално време, която почти всички правят зле и за която почти никой не говори: гласът, който чувате.

Може да имате отлично разпознаване на реч и отличен превод и въпреки това да получите среща, която звучи като машина, четяща списък. Защото последната стъпка, превръщането на преведения текст обратно в звук, е мястото, където повечето инструменти тихомълком заменят вас с един-единствен универсален синтетичен говорител. Осем души в стаята, един роботски глас за всички. Губите кой говори, ударенията, характера. Разбираемо е, но не е разговор.

InterMIND прави последната стъпка по различен начин. Когато говорите, останалите участници чуват превода с глас, който е разпознаваемо ваш. Той носи вашия тембър и вашия начин на говорене и сега изрича думите на техния език. Все още не е безупречно имитиране; важното е, че това сте вие, а не готов говорител, и че става все по-добро. Това работи за всеки участник, в двете посоки, едновременно.

Тази публикация е липсващата глава от Как работят четирите конвейера за превод в InterMIND: онзи текст обясняваше как аудиото се превръща в преведено аудио. Този е за това чий глас излиза накрая.

Стандартът, който всички предлагат, и защо звучи безлично

Ако сте ползвали превод на живо в някоя от големите платформи за срещи, знаете как звучи. Неутрален, равномерен глас чете превода. Той е един и същ, независимо дали говорителят е вашият изпълнителен директор, който открива общо събрание, или колега, който разказва виц. В основата е text-to-speech с един фиксиран гласов модел, а допускането е, че разбираемостта стига.

В истинската среща не стига. Половината от това, което една среща съобщава, е кой го казва и как. Отнемете гласа и сте превърнали дискусията в транскрипт, който случайно се изговаря на глас. Хората спират да реагират един на друг и започват да чакат реда си.

Какво прави InterMIND вместо това

Преводът минава през каскаден конвейер: три специализирани етапа един след друг, вместо един модел, който се опитва да прави всичко. Първите два етапа са описани в публикацията за конвейерите; гласовата стъпка е тази, за която е този текст:

1. ASR — разпознаване на реч. Думите ви се транскрибират на вашия собствен език, докато говорите, на наш собствен двигател: медийния сървър, който носи разговора (Mind API, OVH, Франция). Така преводът може да започне, преди изречението да е свършило.
2. MT — превод. Транскриптът се групира в стабилни фрагменти от изречения, наречени клаузи, така че преводът да започне, преди да сте завършили изречението, а всеки фрагмент се превежда прогресивно на езика на слушателя.
3. Zero-shot TTS — гласов синтез. Всеки преведен фрагмент се изговаря с помощта на проба от вашия собствен глас и се предава на слушателя.

Именно третият етап — ASR → MT → zero-shot TTS — създава ефекта. „Zero-shot“ означава, че системата не се нуждае от предварителен запис или от сесия за обучение върху вашия глас. Тя моделира гласа ви от звука на срещата, в която вече участвате.

Загряването: как започва да звучи като вас толкова бързо

В „използвай проба от собствения си глас“ се крие проблемът с кокошката и яйцето. В самото начало на разговора системата още не е чула достатъчно от вас, за да моделира добре гласа ви.

InterMIND се справя с това чрез прогресивно загряване:

• През първите около 5–10 секунди, докато събира достатъчно от речта ви, всеки преведен фрагмент се синтезира с помощта на аудиофрагмента, който съответства на това, което току-що сте казали на изходния език. Озвучаването е вързано за вашата реална, непосредствена реч.
• Щом има достатъчно дълга проба, тоест при отметката от 5–10 секунди, системата се фиксира върху нея и я използва, за да озвучи всичко след това.

На практика не чувате превключване. Преводът звучи все повече като вас, докато разговорът се разгръща: не е перфектен двойник на гласа ви, но е ясно ваш, а не на машина, и се подобрява, докато моделът чува повече. Съчетанието от прогресивен превод (клауза по клауза, не изречение по изречение) и прогресивно озвучаване поддържа всичко в рамките на бюджета за закъснение, като същевременно звучи по човешки.

Запишете гласа си веднъж и пропуснете загряването

Загряването по-горе е това, което се случва по подразбиране, без никакви настройки. От септември 2026 г. има и втори път по избор за влезли в профила си потребители: запазена гласова проба в Settings → Your voice in translation.

Записването е едно действие. Натиснете Record my voice, изчакайте Speak now и кажете числата от едно до десет в произволен ред. Всяко число светва на картата, щом речевият двигател го чуе; когато и десетте светнат, пробата се проверява и се запазва автоматично. Няма какво да прослушвате или потвърждавате, няма и обратно броене: картата запазва отрязъка от записа ви, който съдържа числата. Тиха стая и слушалки с микрофон дават най-добър резултат.

Какво променя запазената проба: от следващата ви среща синтезаторът озвучава превода ви с нея от първия фрагмент, така че отсрещната страна ви чува като вас още от първото изречение, а не след загряването. Отвътре това е същият zero-shot синтез, но с по-добра отправна точка; живото загряване продължава да уточнява гласа, докато разговорът върви.

Записът минава през проверка, преди да бъде съхранен. Трябва да е 3 до 10 секунди ясна реч (входният прозорец на синтезатора). Ако е твърде тих, с претоварване, предимно тишина или удавен във фонов шум, картата ви казва какво да поправите и иска нов запис. Числата са избрани за фраза по практична причина: кратки са, разпознаваеми са на всеки от 23-те езика, а двигателят може да потвърди, че е чул и десетте, което превръща въпроса „успя ли записът?“ във видимо „да“.

Две гласови проби, два срока на живот

Това е частта, за която екипът по сигурност или правният екип пита веднага, затова ето я направо. Има две различни проби и те живеят по различен начин.

Живата проба, използвана за загряването по време на срещата, е ефимерна. Тя съществува само за живата конферентна сесия, в служба на озвучаването на превода, и не се съхранява никъде. Mind API и SDK, които захранват сесията в реално време, не запазват данни; всичко временно изчезва, когато конферентната сесия приключи.

Запазената проба от настройките се съхранява към вашия акаунт, с една единствена цел: изпраща се на двигателя за превод всеки път, когато влезете в среща, за да може преведената ви реч да бъде озвучена с нея, и за нищо друго. Тя остава, докато не натиснете Remove на картата, което веднага ви връща към стандартното загряване, и се изтрива заедно с акаунта ви. Гостите не могат да запишат такава; това е функция за влезли в профила си потребители по замисъл.

Важно е да сме точни какво не представлява нито една от пробите: те не са част от функциите на InterMIND за запис. Записът на видеото и аудиото на срещата е отделно, съзнателно действие, което предприемате нарочно, със собствени контроли. Гласовата проба е входни данни за речевия синтезатор: преходна в живия случай, ваша да я запазите или изтриете в запазения.

Защо никой друг не предлага това

Не е, че клонирането на глас е тайна. Работата е там, че да го правите на живо, за всеки участник поотделно, в двете посоки, с темпото на разговор, на 23 езика, без да съхранявате нищо, което не сте поискали, е различен проблем от клонирането на глас офлайн за подкаст.

Големите платформи оптимизират превода си за покритие със субтитри и един сигурен говорител, защото това е евтиният и устойчив избор при голям мащаб. Запазването на собствения глас на всеки говорител означава, че етапът на синтез трябва да следи всеки участник независимо и да се вмества в същия бюджет за закъснение, в който живее останалата част от конвейера. Гласовия двигател го изградихме сами, на собствена инфраструктура, и затова този компромис е наш за преценка. (Повече за това защо двигателят е наш собствен код: От какво е изградена една среща в InterMIND.)

Накъде вървим: lip-sync

Запазването на гласа ви е едната половина от по-голяма цел. Другата половина е вашето лице.

Сега чувате отсрещния човек със собствения му глас, но ако е пред камера, устните му продължават да се движат по думите, които наистина е казал, на език, който не четете по устни. Следващата стъпка е lip-sync: пренареждане на движението на устата на говорителя според преведеното аудио, така че на екрана ви да изглежда, че говори на вашия език.

Съберете двете и смисълът на цялата тази работа се избистря. Двама души без общ език седят от двете страни на видеоразговор и се виждат и чуват, сякаш всеки е роден говорител на езика на другия: същият глас, същото лице, без преводач по средата, без робот, четящ сценарий.

За да сме ясни за статуса: гласът е наличен днес; lip-sync е в плана за развитие, още не е пуснат. Посочваме целта, защото точно тя показва защо гласовата работа има значение: превод със собствен глас не е самата функция, а първата половина от „говори с когото и да е, на който и да е език, като себе си“.

Къде да го чуете

Превод със собствен глас е наличен днес на всичките 23 езика за глас, същите езици, изброени в документацията. Не е нужно да включвате нищо отделно: когато преводът е включен в среща, участниците автоматично се чуват един друг със собствените си гласове. Ще бъдем честни за състоянието му: днес гласът вече е разпознаваемо ваш, а приликата е нещо, което активно доближаваме още повече. Идете и чуйте, и преценете сами.

• Опитайте демото — пуска живия гласов конвейер върху вашето аудио на всеки от 23-те езика.
• Вижте числата за качеството — същият производствен конвейер, оценяван всеки месец по FLORES-200, с пълното разпределение, публикувано за всяка езикова двойка.
• Запишете гласовата си проба — влезли в профила си, един запис на числата от едно до десет и ви озвучават като вас от първото изречение.
• Как работи, в документацията — кратката версия на тази публикация.
• Вижте го заедно със субтитри и транскрипт с търсене — как трите части работят заедно в една среща.

Преведената среща трябва да се усеща като хората, които действително са в нея, да си говорят един с друг. Запазването на гласа ви е начинът да се стигне дотам.