Говоріть власним голосом — мовою, якою ви не розмовляєте

Ось та частина перекладу в реальному часі, яку майже всі роблять неправильно і про яку майже ніхто не говорить: голос, який ви чуєте.

Можна мати чудове розпізнавання мовлення й чудовий переклад, а зустріч усе одно нагадуватиме машину, що зачитує список. Адже на останньому кроці, коли перекладений текст знову перетворюється на звук, більшість інструментів непомітно підміняє вас одним універсальним синтетичним диктором. Вісім людей у кімнаті, а голос роботa один на всіх. Ви втрачаєте розуміння, хто говорить, інтонаційні акценти, характер. Зрозуміло, але це не розмова.

InterMIND робить цей останній крок інакше. Коли ви говорите, решта учасників чує переклад голосом, який впізнавано ваш: з вашим тембром і вашою манерою мовлення, але вже іншою мовою. Це ще не бездоганне відтворення. Суть у тому, що це ви, а не типовий диктор, і голос дедалі покращується. Це працює для кожного учасника, в обидва боки, одночасно.

Ця стаття — розділ, якого бракувало в Inside the four translation pipelines that run InterMIND: той матеріал пояснював, як аудіо перетворюється на перекладене аудіо. Цей — про те, чий голос лунає наприкінці.

Типове рішення, яке пропонують усі, і чому воно безбарвне

Якщо ви користувалися живим перекладом на великих платформах для зустрічей, ви знаєте цей звук. Нейтральний голос в рівному темпі зачитує переклад. Це той самий голос, чи то ваш CEO відкриває загальні збори компанії, чи колега жартує. Технологія під капотом — синтез мовлення з текстом із однією фіксованою голосовою моделлю, а в основі лежить припущення, що розбірливості достатньо.

У реальній зустрічі цього замало. Половина того, що передає зустріч, — це хто говорить і як. Заберіть голос, і дискусія стане транскриптом, який просто озвучили. Люди перестають реагувати одне на одного й починають чекати своєї черги.

Що натомість робить InterMIND

Переклад працює як каскадний конвеєр: три спеціалізовані етапи послідовно, а не одна модель, що намагається зробити все. Перші два етапи описані в статті про конвеєри, а ця стаття — про етап голосу:

1. ASR — розпізнавання мовлення. Ваші слова транскрибуються вашою рідною мовою одразу, поки ви говорите, на нашому власному рушії — медіасервері, що передає дзвінок (Mind API, OVH France), — тож переклад може початися ще до кінця речення.
2. MT — переклад. Транскрипт групується в стабільні фрагменти речень — клаузи, — щоб переклад міг початися, поки ви ще не закінчили речення, і кожен фрагмент поступово перекладається мовою слухача.
3. Zero-shot TTS — синтез голосу. Кожен перекладений фрагмент озвучується за зразком вашого власного голосу і транслюється слухачеві.

Саме цей третій етап у ланцюжку ASR → MT → zero-shot TTS створює ефект. «Zero-shot» означає, що системі не потрібні попередній запис чи сесія навчання під ваш голос. Вона моделює ваш голос за аудіо зустрічі, в якій ви вже перебуваєте.

Розігрів: як голос так швидко починає звучати як ваш

У фразі «використати зразок власного голосу» ховається проблема курки й яйця. На самому початку дзвінка система ще недостатньо почула вас, щоб добре змоделювати ваш голос.

InterMIND вирішує це за допомогою поступового розігріву:

• Приблизно перші 5–10 секунд, поки система ще збирає достатньо вашого мовлення, кожен перекладений фрагмент синтезується з використанням аудіофрагмента, що відповідає тому, що ви щойно сказали вихідною мовою. Озвучення спирається на ваше справжнє, безпосереднє мовлення.
• Щойно набереться достатньо довгий зразок — позначка 5–10 секунд — система фіксується на ньому й використовує його, щоб озвучувати все далі.

На практиці ви не чуєте перемикання. Переклад дедалі більше звучить як ви, у міру того як розмова набирає ходу: не ідеальний двійник вашого голосу, але явно ваш, а не машинний, і він покращується, коли модель чує більше. Поєднання поступового перекладу (клауза за клаузою, а не речення за реченням) і поступового озвучення дозволяє вкластися в бюджет затримки й водночас звучати по-людськи.

Запишіть свій голос один раз і пропустіть розігрів

Розігрів, описаний вище, — це те, що відбувається за замовчуванням, без жодного налаштування. З вересня 2026 року для користувачів, які увійшли в обліковий запис, є необов'язковий другий шлях: збережений зразок голосу в Settings → Your voice in translation.

Записати його можна одним рухом. Натисніть Record my voice, дочекайтеся Speak now і назвіть числа від одного до десяти в будь-якому порядку. Кожне число підсвічується на картці, щойно його чує мовленнєвий рушій, а коли засвітяться всі десять, зразок перевіряється й зберігається автоматично. Нічого не потрібно прослуховувати чи підтверджувати, і зворотного відліку немає: картка залишає той відрізок вашого запису, де звучать числа. Найкращий результат дають тиха кімната й гарнітура.

Що змінює збережений зразок: з вашої наступної зустрічі синтезатор озвучує ваш переклад ним від першого фрагмента, тож інша сторона чує вас як вас уже з першого речення, а не після розігріву. Під капотом це той самий zero-shot синтез, але з кращою відправною точкою, а живий розігрів і далі уточнює голос упродовж дзвінка.

Запис проходить перевірку ще до збереження. Це мають бути від 3 до 10 секунд чіткого мовлення (вікно входу синтезатора). Якщо запис занадто тихий, з перевантаженням, здебільшого з тиші або заглушений фоновим шумом, картка підкаже, що виправити, і попросить зробити ще одну спробу. Числа обрано як фразу з практичної причини: вони короткі, впізнавані в кожній із 23 мов, і рушій може підтвердити, що почув усі десять, а це перетворює питання «чи вдався запис?» на видиме «так».

Два зразки голосу, два терміни життя

Саме про це відразу запитують команди безпеки чи юристи, тож ось пряма відповідь. Є два різні зразки, і живуть вони по-різному.

Живий зразок, який використовується для розігріву під час зустрічі, — ефемерний. Він існує лише впродовж живої сесії конференції, щоб озвучувати переклад, і ніде не зберігається. Mind API та SDK, що забезпечують сесію в реальному часі, не зберігають жодних даних; усе тимчасове зникає, коли сесія конференції закінчується.

Збережений зразок із Settings зберігається у вашому обліковому записі з однією метою: він надсилається рушієві перекладу щоразу, коли ви приєднуєтеся до зустрічі, щоб ваше перекладене мовлення озвучувалося ним, і ні для чого іншого. Він залишається, доки ви не натиснете Remove на картці, після чого ви негайно повертаєтеся до стандартного розігріву, а також видаляється разом із вашим обліковим записом. Гості не можуть його записати; це функція для користувачів, які увійшли в обліковий запис, за задумом.

Варто точно розуміти, чим жоден із цих зразків не є: це не одна з функцій запису InterMIND. Запис відео й аудіо зустрічі — це окрема, свідома дія, яку ви виконуєте цілеспрямовано, з власними елементами керування. Зразок голосу — це вхідні дані для мовленнєвого синтезатора: тимчасові у випадку живого зразка, а у випадку збереженого — ви самі вирішуєте, зберегти їх чи видалити.

Чому цього більше ніхто не пропонує

Річ не в тому, що клонування голосу — таємниця. Річ у тому, що робити це наживо, для кожного учасника окремо, в обидва боки, в темпі розмови, 23 мовами, не зберігаючи нічого, про що ви не просили, — це інше завдання, ніж клонувати голос офлайн для подкасту.

Великі платформи оптимізують переклад під охоплення субтитрами й один безпечний голос диктора — це дешеве й надійне рішення за замовчуванням у великому масштабі. Щоб зберегти власний голос кожного мовця, етап синтезу має відстежувати кожного учасника незалежно й залишатися в межах того самого бюджету затримки, у якому живе решта конвеєра. Ми створили голосовий рушій самі, на власній інфраструктурі, і саме тому цей компроміс ми робимо самі. (Докладніше про те, чому рушій — це наш власний код: What one InterMIND meeting is built from.)

Куди все рухається: lip-sync

Збереження вашого голосу — це половина ширшої мети. Друга половина — ваше обличчя.

Зараз ви чуєте співрозмовника його власним голосом, але якщо він у кадрі, його губи й далі рухаються під слова, які він насправді сказав, — мовою, якої ви не читаєте. Наступний крок — lip-sync: підлаштування рухів рота мовця під перекладене аудіо, щоб на вашому екрані він виглядав так, ніби говорить вашою мовою.

Поєднайте одне з другим, і вся суть цієї роботи стане зрозумілою. Двоє людей, які не мають спільної мови, сидять по різні боки відеодзвінка й бачать та чують одне одного так, ніби кожен — носій мови іншого: той самий голос, те саме обличчя, без перекладача посередині, без робота, що читає сценарій.

Щоб було зрозуміло щодо статусу: голос працює вже сьогодні; lip-sync є в дорожній карті, але ще не випущений. Ми називаємо пункт призначення, бо саме через нього робота над голосом має значення: переклад власним голосом — не самоціль, а перша половина фрази «розмовляйте з будь-ким, будь-якою мовою, залишаючись собою».

Де це почути

Переклад власним голосом працює вже сьогодні, усіма 23 мовами голосу — тими самими, що перелічені в документації. Окремо нічого вмикати не потрібно: коли в зустрічі ввімкнено переклад, учасники автоматично чують одне одного власними голосами. Скажемо чесно, як усе виглядає зараз: голос уже впізнавано ваш, а схожість ми активно намагаємося наблизити. Послухайте й оцініть самі.

• Спробувати демо — запускає живий голосовий конвеєр на вашому аудіо будь-якою з 23 мов.
• Переглянути показники якості — той самий виробничий конвеєр, оцінюваний щомісяця за FLORES-200, з повним розподілом результатів, опублікованим для кожної мовної пари.
• Записати зразок свого голосу — увійшовши в обліковий запис, зробіть один запис чисел від одного до десяти, і вже з першого речення вас озвучуватимуть вашим голосом.
• Як це працює, у документації — коротка версія цієї статті.
• Побачити це поруч із субтитрами та транскриптом із пошуком — як ці три елементи працюють разом в одній зустрічі.

Перекладена зустріч має відчуватися як розмова людей, які справді в ній беруть участь. Збереження вашого голосу — це те, що до цього веде.