Говорите своим голосом — на языке, которого вы не знаете

Вот та часть перевода в реальном времени, в которой почти все ошибаются и о которой почти никто не говорит: голос, который вы слышите.

Распознавание речи и перевод могут быть превосходными, а встреча всё равно будет похожа на машину, зачитывающую список. Последний шаг — превращение переведённого текста обратно в звук — как раз тот этап, где большинство инструментов незаметно подменяют вас одним безликим синтетическим диктором. Восемь человек в комнате, и один роботизированный голос на всех. Вы теряете понимание того, кто говорит, акценты, индивидуальность. Понятно, но это не разговор.

InterMIND делает последний шаг иначе. Когда вы говорите, другие участники слышат перевод голосом, который узнаётся как ваш: с вашим тембром и вашей манерой речи, но уже на их языке. Пока это не безупречное подражание; суть в том, что это именно вы, а не типовой диктор, и звучание становится всё лучше. Это работает для каждого участника, в обе стороны, одновременно.

Этот материал — недостающая глава к статье Как устроены четыре конвейера перевода, на которых работает InterMIND: та статья объясняла, как звук превращается в переведённый звук. Эта — о том, чей голос звучит на выходе.

Решение по умолчанию и почему оно звучит плоско

Если вы пользовались живым переводом в крупных платформах для встреч, вы знаете этот звук. Нейтральный, ровный по темпу голос зачитывает перевод. Это один и тот же голос, говорит ли это ваш CEO, открывающий общее собрание, или коллега, который шутит. В основе лежит синтез речи из текста с одной фиксированной моделью голоса, а исходное допущение — что разборчивости достаточно.

В реальной встрече это не так. Половина того, что передаёт встреча, — это кто говорит и как. Уберите голос, и обсуждение превратится в транскрипт, который почему-то озвучивают вслух. Люди перестают реагировать друг на друга и просто ждут своей очереди.

Что делает InterMIND

Перевод работает как каскадный конвейер: три специализированных этапа по порядку, а не одна модель, которая пытается сделать всё сразу. Первые два этапа описаны в статье о конвейерах; этап озвучивания — тот, которому посвящён этот материал:

1. ASR — распознавание речи. Ваши слова транскрибируются на вашем языке по мере того, как вы говорите, на нашем собственном движке — медиасервере, который несёт звонок (Mind API, OVH, Франция), — поэтому перевод может начаться до конца предложения.
2. MT — перевод. Транскрипт группируется в устойчивые фрагменты предложений — клаузы, — так что перевод может начаться, пока вы не договорили предложение, а каждый фрагмент последовательно переводится на язык слушателя.
3. Zero-shot TTS — синтез голоса. Каждый переведённый фрагмент произносится по образцу вашего собственного голоса и передаётся слушателю потоком.

Именно третий этап — ASR → MT → zero-shot TTS — создаёт этот эффект. «Zero-shot» означает, что системе не нужны ни предварительная запись, ни сеанс обучения под ваш голос. Она моделирует ваш голос по звуку той встречи, в которой вы уже находитесь.

Прогрев: как система так быстро начинает звучать как вы

В фразе «использовать образец вашего собственного голоса» скрыта проблема курицы и яйца. В самом начале звонка система ещё не услышала вас достаточно, чтобы хорошо смоделировать ваш голос.

InterMIND решает это с помощью постепенного прогрева:

• Примерно первые 5–10 секунд, пока система собирает достаточно вашей речи, каждый переведённый фрагмент синтезируется по аудиофрагменту, соответствующему тому, что вы только что сказали на исходном языке. Озвучивание опирается на вашу реальную, только что прозвучавшую речь.
• Когда образец становится достаточно длинным — после отметки в 5–10 секунд, — система фиксирует его и использует для озвучивания всего дальнейшего.

На практике вы не слышите, как что-то переключается. По мере разговора перевод звучит всё больше как вы: не идеальный двойник вашего голоса, но явно ваш, а не машинный, и он улучшается, пока модель слышит больше. Сочетание прогрессивного перевода (клауза за клаузой, а не предложение за предложением) и прогрессивного озвучивания позволяет уложиться в бюджет задержки и при этом звучать по-человечески.

Запишите голос один раз и пропустите прогрев

Описанный выше прогрев работает по умолчанию, ничего настраивать не нужно. С сентября 2026 года для авторизованных пользователей есть второй, необязательный путь: сохранённый образец голоса в разделе Настройки → Ваш голос в переводе.

Записать его можно одним действием. Нажмите Записать мой голос, дождитесь Говорите и назовите числа от одного до десяти в любом порядке. Каждое число подсвечивается на карточке, когда речевой движок его услышал; когда подсвечены все десять, образец проверяется и сохраняется автоматически. Ничего не нужно прослушивать или подтверждать, обратного отсчёта нет: карточка сама оставляет тот отрезок вашей записи, где звучат числа. Лучший результат дают тихая комната и гарнитура.

Что меняет сохранённый образец: со следующей встречи синтезатор озвучивает ваш перевод им с первого же фрагмента, так что собеседник слышит вас вашим голосом с первого предложения, а не после прогрева. Под капотом это тот же zero-shot-синтез, но с лучшей отправной точкой; живой прогрев по-прежнему уточняет голос по ходу звонка.

Запись проходит проверку, прежде чем будет сохранена. Это должны быть от 3 до 10 секунд чёткой речи (окно входных данных синтезатора). Если запись слишком тихая, с перегрузкой, почти без речи или с сильным фоновым шумом, карточка подскажет, что исправить, и попросит записать ещё раз. Числа выбраны в качестве фразы по практической причине: они короткие, узнаваемы на каждом из 23 языков, и движок может подтвердить, что услышал все десять, — так вопрос «получилась ли запись?» превращается в наглядное «да».

Два образца голоса, два срока жизни

Именно об этом сразу спрашивают службы безопасности и юристы, поэтому скажем прямо. Есть два разных образца, и живут они по-разному.

Живой образец, используемый для прогрева во время встречи, эфемерен. Он существует только в течение живой сессии конференции, чтобы озвучивать перевод, и нигде не хранится. Mind API и SDK, на которых работает сессия в реальном времени, не сохраняют данные; всё временное исчезает, когда сессия конференции заканчивается.

Сохранённый образец из настроек хранится в вашем аккаунте и с одной целью: он отправляется в движок перевода каждый раз, когда вы входите во встречу, чтобы ваша переведённая речь озвучивалась им, и ни для чего больше. Он остаётся, пока вы не нажмёте Удалить на карточке — после этого вы сразу возвращаетесь к стандартному прогреву, — а при удалении аккаунта он удаляется вместе с ним. Гости не могут записать такой образец: это функция для авторизованных пользователей по замыслу.

Важно точно понимать, чем ни один из образцов не является: это не одна из функций записи в InterMIND. Запись видео и звука встречи — это отдельное, осознанное действие, которое вы выполняете намеренно, со своими элементами управления. Образец голоса — это входные данные для синтезатора речи: временные в случае живого образца, а в случае сохранённого — вы сами решаете, хранить или удалить.

Почему этого больше никто не предлагает

Дело не в том, что клонирование голоса — секрет. Дело в том, что делать это вживую, для каждого участника, в обе стороны, в темпе разговора, на 23 языках и без хранения того, что вы не просили хранить, — совсем другая задача, чем клонировать голос офлайн для подкаста.

Крупные платформы оптимизируют перевод под охват субтитрами и одного безопасного диктора: это дешёвое и надёжное решение по умолчанию в больших масштабах. Чтобы сохранить собственный голос каждого говорящего, этапу синтеза нужно отслеживать каждого участника независимо и при этом укладываться в тот же бюджет задержки, в котором живёт остальной конвейер. Голосовой движок мы создали сами, на собственной инфраструктуре, и поэтому решать, на какой компромисс идти, можем мы сами. (Подробнее о том, почему движок — наш собственный код: Из чего состоит одна встреча InterMIND.)

Куда мы движемся: lip-sync

Сохранить ваш голос — лишь половина большей цели. Вторая половина — ваше лицо.

Сейчас вы слышите собеседника его собственным голосом, но если он на камере, его губы по-прежнему двигаются под слова, которые он действительно произнёс, — на языке, которого вы не читаете. Следующий шаг — lip-sync: пересинхронизация движений рта говорящего с переведённым звуком, чтобы на вашем экране он выглядел так, будто говорит на вашем языке.

Соедините одно с другим, и смысл всей этой работы станет ясен. Два человека без общего языка сидят по разные стороны видеозвонка, видят и слышат друг друга так, будто каждый — носитель языка другого: тот же голос, то же лицо, без переводчика посередине и без робота, читающего по бумажке.

Чтобы было понятно, как обстоят дела: голос работает уже сегодня; lip-sync — в планах, ещё не выпущен. Мы говорим о цели, потому что именно ради неё важна работа над голосом: перевод собственным голосом — не самоцель, а первая половина идеи «говорить с кем угодно, на любом языке, оставаясь собой».

Где это услышать

Перевод собственным голосом работает уже сегодня, на всех 23 голосовых языках — тех же, что перечислены в документации. Отдельно ничего включать не нужно: когда во встрече включён перевод, участники автоматически слышат друг друга своими голосами. Честно скажем, как обстоят дела: сегодня голос уже узнаваемо ваш, а сходство мы продолжаем активно приближать. Послушайте и оцените сами.

• Попробуйте демо — запускает живой голосовой конвейер на вашем аудио на любом из 23 языков.
• Посмотрите показатели качества — тот же рабочий конвейер, оцениваемый ежемесячно по FLORES-200, с полным распределением результатов по каждой языковой паре.
• Запишите образец голоса — после входа в аккаунт одна запись чисел от одного до десяти, и вас озвучивают вашим голосом с первого предложения.
• Как это работает, в документации — краткая версия этой статьи.
• Посмотрите, как это сочетается с субтитрами и транскриптом с поиском — как эти три составляющие работают вместе в одной встрече.

Переведённая встреча должна ощущаться как разговор людей, которые действительно в ней участвуют. Сохранить ваш голос — значит приблизить её к этому.