实时会议翻译:工作原理与评估方法

实时会议翻译是这样一种实时会议:每位参与者用自己的语言说话、输入和收听,平台在会议进行的同时完成彼此之间的翻译,而不是事后处理。没有坐在同传箱里的人工口译员,不用"咱们还是切换到英语吧",也不必等到第二天早上去读转录稿。

这个领域里有很多工具听起来能做到这一点,实际上做不到。AI 会议记录工具负责录制和总结。字幕插件为发言者配上字幕。通用模型在您粘贴文本时翻译一整块内容。实时会议翻译则是更窄、也更难的一件事:每一句话、每一条聊天消息、每一份共享笔记,都要以足够快的速度渲染成每位听众的语言,让对话保持流畅。

这是关于该领域的基础指南:这个术语究竟指什么,底层发生了什么,以及在签约之前值得问的问题。它是我们其他文章的总枢纽,凡是值得单独深入探讨的话题,我们都附上了链接。

"实时"究竟排除了什么

最硬的约束是延迟。多语言实时对话要想成立,翻译必须来得足够快,让人们不会抢着盖过它说话。一旦翻译滞后到人们需要等待,会议就会走偏:参与者犹豫、回头重复,最终默认改用某种共同的第二语言。因此,实时会议翻译有一个实时预算,这悄悄地淘汰了大多数打着相近旗号的工具:

AI 会议记录工具(例如 Fireflies 或 Otter)用于转录和总结会议,通常以英语为先,在会议结束之后最有用。它们回答的是"我们决定了什么"。它们不会实时翻译语音,让德语发言者和日语发言者各自用自己的语言听到对方。那是另一项工作,时钟也不同。
通用 LLM 翻译擅长文章式的翻译,但没有延迟保证。用来处理文档没问题,用于实时音频通道则不对:模型必须在发言者还在说话时就给出回答,不能停下来"思考"。
字幕插件显示发言者所说内容的文字,往往是为所有人提供同一种目标语言。这是字幕功能,不是针对每位参与者的翻译。

如果一款工具不能针对每位听众、把语音实时翻译成其所选语言,那它做的就不是实时会议翻译,无论首页怎么写。

会议中"翻译"的四种含义

第二个陷阱是把翻译当成单一功能。一场实时会议里,至少同时运行着四项翻译工作,而且它们的需求方向互不相容:

语音:音频输入,在发言者仍在说话时输出翻译后的音频,每位观众都听到自己的语言。约束:延迟。
聊天:短消息在发送时即被翻译,编辑后的消息读起来仍是编辑,而不是重新翻译。
共享笔记:协作输入逐字符翻译,列表、标题和复选框完整保留。
文档:一份 40 页的 PDF 被拖进聊天,作为文件翻译,表格、字体和分页都得以保留。约束:保真度,而不是速度。

没有哪一个引擎能同时擅长这四项:让语音可用的延迟预算,与文档所需的保真度预算恰恰相反。任何诚实的平台都会在同一个语言选择器背后运行多条处理流水线。我们在 Inside the four translation pipelines 中详细拆解了我们自己的流水线;简而言之,"一个引擎搞定一切"是营销上的简化说法,而不是一种架构。

实时语音流水线的实际工作方式

跟踪一句话,从一位法语发言者传到德语、巴西葡萄牙语和日语听众:

语音识别运行在我们自有的引擎上,位于承载通话的媒体服务器中。 浏览器通过 WebRTC 把音频发送到托管在法国 OVH 的 Mind API;识别在那里逐词进行,源语言转录文本在句子结束之前就已经生成。没有单独的语音供应商,翻译开始之前也没有多余的中转。
翻译在同一个引擎内运行,针对会议室中出现的每种目标语言分别进行。 某种语言中的第一位听众请求翻译流之后,才会开始翻译该语言:如果三个人选择了德语,他们共享同一份德语翻译;如果没有人选择阿拉伯语,就不会翻译成阿拉伯语。一场四种语言的会议,成本就是四种语言的成本,而不是四十种。
每位听众都有自己的合成音频轨道,与原发言者的视频混合。同一间实体会议室里的两个人可以戴上耳机,从同一场会议中听到不同的语言。

对采购而言最关键的一点是:负责翻译的引擎是自成一体的,运行在自己的基础设施上,而不是平台悄悄转售的第三方通用模型。实时预算排除了后者,对于受监管的用户,数据驻留方面的要求也排除了后者。(会议的每一个字节究竟在哪里运行,是另一个问题;我们在 Where one InterMIND meeting actually runs 中逐个供应商做了梳理。)

如何评估实时会议翻译工具

这个领域的大多数产品都靠一个夸大的数字竞争,比如"200+ 种语言"、"99% 准确率"。这些数字对您即将召开的会议毫无说明力。真正能区分不同工具的是下面这些。

"200 种语言"意味着模型能输出 200 种语言的文本。质量从主要语言对上的生产级水准,到稀有语言对上的不可用,跨度很大。请索取每个语言对在真实流量上测得的质量,并附带分布,包括中位数、最差 10% 和样本量,而不是一个平均后的醒目数字。我们在 Why translation-quality marketing is broken 中论述了整个行业为何回避这一点;我们自己的数据则发布在 /benchmark:每一个已上线的语言对、每个月,都由一位具名评审对照 FLORES-200 打分。您不必轻信供应商的说法,我们也一样。而且,当会议使用某个特定语言对时,请检查那个语言对,而不是平均值:Hindi to English voice translator 指南就以印地语 ↔ 英语为例,演示了如何在依赖它之前做这样的检查。

2. 能够感受到的延迟,而不是规格表上的数字

在发言者仍在说话时就送达的语音,是对话保持流畅的门槛。请在有真实交叉发言的真实通话中测试,而不是用演示脚本。

3. 按场景如实给出语言数量

一个平台的语音语言、文本语言和文档语言,往往并不是同一组,而单一数字会掩盖这一点。以我们为例:语音、聊天和笔记支持 23 种语言;文档支持 30 种。 一位法国参与者可以请求把合同 PDF 翻译成爱沙尼亚语,即使他无法用爱沙尼亚语收听会议;我们会在选择器中标明这一点,而不是把它抹平成一个数字。相关说明见 How many languages do you support?。

4. 数据在哪里运行

对受监管的买家而言,会议在哪里处理是规格的一部分,而不是脚注。请询问哪些供应商接触音频、它们在哪里执行,以及哪些只是在转售美国的模型。我们完整的运行时图谱,包括每一个环节、组织所选的 AI 网关,以及其中哪些供应商是美国公司,都如实写明,见 Where one InterMIND meeting actually runs 和 Multilingual compliance meetings。

5. 实时翻译与会议记录工具

请先弄清您要解决的是哪个问题。如果您需要记录和摘要,AI 会议记录工具是正确的选择。如果您需要让没有共同语言的人真正交谈,就需要实时翻译。有些团队两者都要,但能把两件事都做好的工具很少。

6. 您当前的平台已经能做什么

在购买任何东西之前,先确切了解您已经在付费使用的工具内置了什么,又在哪里止步。我们为每一个平台都整理了有据可查的实用指南:Zoom、Microsoft Teams 和 Google Meet。它们最终都停在同一个地方:字幕,或受限的双语功能,而不是一个人人都能听到自己语言的会议室。

InterMIND 的定位

我们专门为实时翻译这项工作打造了 InterMIND,它从一个人开始:主持人打开会议室并发出链接;其他人免费加入,无需账号,各自使用自己的语言。实时语音、聊天、笔记和文档覆盖 23 种语言,运行在我们托管于欧盟的自有引擎上,翻译质量公开发布,而不是空口声称。它可在浏览器和应用中运行;会议室规模取决于主持人的方案(定价),足以支持会议和网络研讨会上的同声传译,而不仅仅是普通通话,并支持云端和本地录制。对于"转录并总结我的英语站会"这件事,它并不是最佳工具,那是会议记录工具的用武之地,我们在对比页面上如实说明,而不是假装并非如此: