用自己的声音发言——即使是用您不会说的语言

实时翻译中有一个环节,几乎所有人都做得不对,也几乎没人谈起:您听到的声音。

语音识别再出色,翻译再出色,最终的会议听起来仍可能像一台机器在念清单。因为最后一步——把译文重新变成声音——正是大多数工具悄悄用一个千篇一律的合成旁白取代您的地方。房间里有八个人,却只有同一个机器人的声音。您分不清是谁在说话,听不出强调的重点,也感受不到个性。听得懂,但算不上对话。

InterMIND 在最后一步上采用了不同的做法。当您发言时,其他参与者听到的译文,是一个一听就是您的声音——带着您的音色和说话方式——用他们的语言说出这些话。它还不是毫无破绽的模仿;重点在于,那是您而不是千篇一律的旁白,而且效果在不断提升。这一点适用于每一位参与者,双向、同时进行。

这篇文章是 深入了解驱动 InterMIND 的四条翻译管线 缺失的一章:那篇文章讲的是音频如何变成翻译后的音频,这一篇讲的是最后从另一端传出的是谁的声音。

人人都在用的默认方案,为什么听起来平淡

如果您在任何一个主流会议平台上用过实时翻译,就知道那种声音:中性、语速均匀的声音在朗读译文。无论发言的是在全员大会上开场的 CEO,还是正在讲笑话的同事,声音都一模一样。底层技术是使用单一固定声音模型的文本转语音,其设计假设是"听得清楚就够了"。

在真实的会议中,这并不够。会议所传达的信息,有一半在于谁在说,以及怎么说。去掉声音,讨论就变成了一份碰巧被朗读出来的文字记录。人们不再回应彼此,而是开始等着轮到自己。

InterMIND 的做法

翻译以级联管线的方式运行——三个依次执行的专门阶段,而不是让一个模型包办一切。前两个阶段已在管线文章中介绍过;本文要讲的是语音这一步:

1. ASR——语音识别。 您的话语在您说话的同时,以您自己的语言被转写,使用的是我们自有的引擎——承载通话的媒体服务器(Mind API,OVH 法国),因此翻译可以在句子说完之前就开始。
2. MT——翻译。 转写文本被切分为稳定的句子片段——从句——因此翻译可以在您说完整句话之前就开始,每个片段被逐步翻译成听者的语言。
3. 零样本 TTS——语音合成。 每个译文片段都会使用您自己的一段声音样本重新说出来,并以流式传输给听者。

正是第三个阶段——ASR → MT → 零样本 TTS——产生了这样的效果。"零样本"意味着系统不需要为您的声音预先录制注册样本,也不需要训练过程。它直接根据您正在参加的会议中的音频来为您的声音建模。

预热:为什么这么快就能听起来像您

"使用您自己的声音样本"中藏着一个先有鸡还是先有蛋的问题。在通话刚开始时,系统还没有听到足够多的您的声音,无法很好地为它建模。

InterMIND 通过渐进式预热来解决这个问题:

• 在最初大约 5–10 秒内,系统仍在收集足够的语音,此时每个译文片段会使用与您刚刚说出的源语言内容相对应的音频片段来合成。发声以您真实、即时的语音为锚点。
• 一旦有了足够长的样本——也就是 5–10 秒这个节点——系统就会锁定它,并用它为之后的所有内容发声。

实际使用中,您听不到任何切换的瞬间。随着对话展开,译文听起来越来越像您——不是您声音的完美复刻,但显然是您而不是机器,并且随着模型听到更多内容而不断改善。渐进式翻译(逐个从句,而不是逐句)与渐进式发声相结合,才让整个过程既保持在延迟预算之内,又听起来自然。

录一次声音,跳过预热

上面的预热是默认情况下发生的,无需任何设置。自 2026 年 9 月起,已登录用户多了一条可选的路径:在 Settings → Your voice in translation 中保存一段声音样本。

录制只需一个动作。按下 Record my voice,等待 Speak now 出现,然后以任意顺序说出一到十这十个数字。语音引擎每听到一个数字,卡片上对应的数字就会亮起;十个数字全部亮起后,样本会自动完成检查并保存。无需回放或确认,也没有倒计时:卡片会保留您这一次录音中包含这些数字的那一段。安静的环境加上耳麦,效果最佳。

保存样本带来的变化:从您的下一场会议开始,合成器会从第一个片段起就使用它为您的译文发声,因此对方从第一句话起听到的就是您本人的声音,而不必等到预热结束。从底层看,这仍是同样的零样本合成,只是起点更好;通话进行中,实时预热仍会继续优化这个声音。

录音在存储之前会经过检验。它必须是 3 到 10 秒的清晰语音(合成器的输入窗口):声音太小、削波、大部分是静音或被背景噪音淹没时,卡片会告诉您该如何改进,并请您重录一次。之所以选择数字作为录制内容,是出于实际考虑:数字简短,在全部 23 种语言中都容易辨认,而且引擎可以确认它听到了全部十个数字,这就把"这次录音有效吗?"变成了一个看得见的"是"。

两种声音样本,两种存续期

安全或法务团队会立刻问到这一点,所以在此直接说明。这里有两种不同的样本,它们的存续方式不同。

用于会议中预热的实时样本是临时性的。它只在实时会议会话期间存在,仅用于为译文发声,不会存储在任何地方。驱动实时会话的 Mind API 和 SDK 不保留任何数据;所有临时内容都会随会议会话结束而消失。

来自 Settings 的已保存样本与您的账号一起存储,只用于一个目的:每次您加入会议时,它会被发送到翻译引擎,以便用它为您的译文语音发声,除此之外别无他用。它会一直保留,直到您在卡片上按下 Remove——这会让您立即回到标准预热模式——并且会随您的账号一起被删除。访客无法录制样本;按设计,这是仅限已登录用户的功能。

有必要明确说明这两种样本都不是什么:它们都不属于 InterMIND 的录制功能。录制会议的视频和音频是另一种独立、有意为之的操作,由您主动发起,并有各自的控制选项。声音样本是语音合成器的一项输入:在实时场景中是瞬时的,在已保存的场景中则由您决定保留还是删除。

为什么别人没有这样做

声音克隆并不是什么秘密。问题在于,要实时、按每位参与者、双向、以对话的节奏、跨 23 种语言完成,并且不存储任何您没有要求存储的内容,与离线为播客克隆一个声音是完全不同的难题。

大型平台优化翻译的目标是字幕覆盖率和单一而稳妥的旁白声音——这是大规模场景下低成本、稳健的默认选择。要保留每位发言者自己的声音,就意味着合成阶段必须独立跟踪每一位参与者,并保持在管线其余部分所遵循的同一延迟预算之内。我们自己构建了语音引擎,并运行在自己的基础设施上,因此这样的取舍由我们自己来做。(关于引擎为何是我们自己的代码,详见:一场 InterMIND 会议由什么构成。)

未来的方向:唇形同步

保留您的声音,只是一个更大目标的一半。另一半是您的面孔。

目前,您听到对方用他们自己的声音说话,但如果您开着摄像头,他们的嘴唇仍然按照他们实际说出的词语在动——那是一种您看不懂的语言。下一步是唇形同步:根据翻译后的音频重新调整说话者的口型,让您在屏幕上看到他们仿佛在说您的语言。

把这两者合在一起,这项工作的全部意义就清晰了。两个没有共同语言的人隔着视频通话相对而坐,看到和听到彼此,就好像各自都是对方语言的母语者——同样的声音,同样的面孔,中间没有口译员,也没有机器人在照本宣科。

需要明确说明现状:语音功能今天已经上线;唇形同步已在路线图中,尚未发布。 我们之所以点明这个目标,是因为它正是语音工作之所以重要的原因——用自己的声音进行翻译本身并不是功能的终点,而是"以自己的身份,用任何语言与任何人交谈"的前半部分。

在哪里听到它

自有声音翻译今天已经上线,覆盖全部 23 种语音语言——与文档中列出的语言相同。无需另行开启:只要会议中启用了翻译,参与者就会自动听到彼此各自的声音。我们坦率地说明现状:如今这个声音已经能让人听出是您,而相似度正是我们正在努力提升的方向。请亲自去听一听,自行判断。

• 试用演示——用您的音频,在 23 种语言中的任意一种上运行实时语音管线。
• 查看质量数据——同一条生产环境管线,每月基于 FLORES-200 评分,并按语言对公布完整的分布数据。
• 录制您的声音样本——登录后,录一遍一到十这十个数字,从第一句话起就以您自己的声音发声。
• 在文档中了解其工作方式——本文的精简版。
• 看看它与字幕和可搜索转录文本如何配合——这三个部分在同一场会议中如何协同运作。

一场经过翻译的会议,应当让人感觉是真正身处其中的人在彼此交谈。保留您的声音,正是抵达那里的方式。