Языковой переводчик: как на самом деле работает голосовой переводчик и где его границы

«Языковой переводчик» — это термин, охватывающий четыре совершенно разных инструмента. Текстовый переводчик (DeepL, Google Translate) переводит введенный текст с одного языка на другой. Голосовой переводчик на телефоне прослушивает речь, а затем воспроизводит перевод. Переводчики-наушники нашептывают перевод в ухо. А перевод встреч в реальном времени обеспечивает весь разговор на нескольких языках одновременно, где каждый участник слышит его на своем языке.

Их всех называют одинаково, но они не взаимозаменяемы. Это руководство разделяет их, объясняет, как голосовые переводчики работают «под капотом», и указывает границу, где каждый из них останавливается.

Четыре вида, кратко

Текстовый переводчик

Рабочая лошадка для всего написанного: вставляете абзац и получаете его на другом языке. Отлично подходит для документов, электронных писем, веб-сайтов. Он не работает с речью и переводит по одному блоку за раз — это не разговор.

Голосовой переводчик на телефоне

Открываете приложение, говорите, и оно воспроизводит (или показывает) перевод, затем другой человек отвечает в тот же телефон. Идеально для одной фразы — меню, направления, стойки в отеле. Механика здесь — реле: говорить → транскрибировать → переводить → воспроизводить, по одному шагу за раз. Это работает, потому что обмен репликами короткий, и вы передаете устройство туда-сюда.

Переводчик-наушники

AirPods с Live Translation, Pixel Buds, специализированные переводчики-наушники. Вы носите их и слышите перевод речи другого человека в ухе. Приятнее, чем пялиться в экран — но это работа один на один, требующая совместимого оборудования с обеих сторон. Создано для туриста и местного жителя, а не для комнаты людей.

Перевод встреч в реальном времени

Отличается от остальных. Здесь комната многоязычна: каждый говорит на своем языке и слышит всех остальных на своем языке, в реальном времени, на протяжении всей встречи. Никакой передачи телефона, никаких подходящих наушников. Это единственный из четырех вариантов, который удерживает реальный разговор вместе.

Как на самом деле работает голосовой переводчик

«Под капотом» голосовой переводчик представляет собой короткий пайплайн:

1. Распознавание речи превращает то, что вы сказали, в текст.
2. Перевод преобразует этот текст на целевой язык.
3. Синтез речи (для голосового типа) озвучивает результат.

Две вещи определяют, ощущается ли это в реальном времени или с задержками:

• Когда происходит перевод. Если он ждет, пока вы закончите, а затем переводит, вы получаете последовательный перевод с синтетическим голосом — вы чувствуете каждую паузу. Если он идет в ногу с вашей речью, он ощущается в реальном времени.
• Для кого он переводит. Телефонное приложение переводит для двух человек, держащих его. Перевод встреч в реальном времени переводит всю комнату для каждого, каждый на свой язык, одновременно — это более сложная задача и другая архитектура.

Полная версия того, как работает перевод в реальном времени, описана в нашем фундаментальном руководстве Перевод встреч в реальном времени: как это работает и как оценить решение, а инженерные детали — в статье Внутри четырех пайплайнов перевода.

Что вам на самом деле нужно?

• Что-то написанное? — текстовый переводчик.
• Фраза, один обмен репликами с незнакомцем? — голосовой переводчик на телефоне. Не переплачивайте за лишнее.
• Лицом к лицу с одним человеком, оба экипированы? — наушники.
• Разговор — звонок, встреча, несколько людей, обмен репликами? — перевод встреч в реальном времени, потому что остальные превращают каждый обмен в реле, а каждого дополнительного человека — в ошибочное допущение.

Куда вписывается InterMIND

InterMIND относится к четвертому виду: языковой переводчик для живых разговоров, созданный как перевод встреч в реальном времени.

• 22 языка в реальном времени для голоса, чата и общих заметок — любая комбинация, без привязки к английскому, без региональных ограничений, без бета-версий на пять языков. (Полный сквозной стек перевода выделен на отдельной странице.)
• Индивидуальное аудио для каждого слушателя, менее секунды. Каждый участник слышит встречу на выбранном им языке одновременно — пять человек, пять языков, один звонок.
• Вебинары и конференции включены — до 1 500 участников, каждый на своем языке прослушивания: синхронный перевод без кабины.
• Документы тоже — перетащите PDF или DOCX во встречу, и каждый зритель получит его на своем языке, 30 языков для файлов.
• Аудируемое качество. Оценки для каждой языковой пары на реальном трафике на /benchmark, с описанной методологией.

Текстовый переводчик подходит для документа. Телефонное приложение подходит для фразы. Наушники подходят для одного человека перед вами. Когда это разговор — это та задача, для которой был создан InterMIND.

Попробуйте

• /demo — запустите наш голосовой пайплайн в реальном времени на вашем собственном аудио на любом из 22 языков и услышьте перевод для каждого слушателя, а не читайте его.
• /benchmark — качество перевода по парам и по месяцам на реальном трафике, включая методологию.
• Начните с руководства по категории: Перевод встреч в реальном времени.

— The Mind.com Team