翻译质量营销为何失灵——以及我们公开什么

打开任何一家实时翻译供应商的网站,您会看到几乎相同的几类数字:

• "200+ 种语言"
• "6,000+ 个语言对"
• "全球首创" / "最高准确率"
• "99% 准确"

现在试着在这些供应商的页面上找一找:这些数字对您即将举行的一场会议意味着什么。每种语言的质量。可复现的方法论。样本量。随时间变化的分数。对模型薄弱之处的如实披露。

您找不到。营销文案里没有,文档里也很少有。

这就是这个行业的均衡状态。它的形成有三个原因:

1. 大多数供应商并不拥有自己的翻译引擎。 他们的请求会路由到 OpenAI、Google、DeepL、Microsoft,或其中几家的组合。公开语言对级别的质量数据,等于在为别人的模型做基准测试——这样做没有营销价值。
2. 如实的质量数据很难放上广告牌。 单一分数噪声很大。分布更有用,但更难压缩成一句话。最近六个月的趋势 更有用,也更难呈现。
3. 采购方尚未提出异议。 买方按字面接受营销数字,于是这种均衡得以维持。

这种均衡不会一直维持下去。下一类买方——制药、法律、金融、审计、公共部门——将提出比"支持多少种语言"更严苛的问题。我们构建了 /benchmark,因为我们认为他们不应该只能听信供应商的一面之词。

营销数字没有告诉您的事

"200+ 种语言" 的意思是,供应商拥有一个能输出 200 种语言文本的模型。这些语言之间的质量差异很大:主要语言对(EN↔DE、EN↔ES、EN↔FR)可达生产级水准,而低资源语言对则几乎无法使用。没有按语言对的细分数据,您就无从判断自己的会议会落在这条线的哪一侧。

"6,000+ 个语言对" 只是对 80 种源语言做 N × N 的排列组合。声称支持 6,000 个语言对是最容易的部分。要说明某个具体语言对足以胜任 CAPA 评审、合同谈判或财报电话会议——这才是宣传册里没有的部分。

"99% 准确" 如果不说明衡量了什么、对照什么参考、基于什么样本、由谁来评判,就是没有内容的空话。翻译质量没有通用的单一数值。它是一个分布,取决于语言对、内容领域、音频质量(针对语音)、延迟预算,以及"足够好"在具体使用场景中意味着什么。

采购方真正需要了解什么

主持人在把某个语言对用于客户通话之前,应该先问这些问题:

1. 语言对级别的质量 ——在 DE↔EN、EN↔AR、JA↔KO 上,具体表现如何?
2. 样本量 ——您报告的数字基于多少次运行?十次?一万次?
3. 方法论 ——由谁来评判翻译,对照什么参考,采用什么评分标准?
4. 看分布,而非平均值 ——最差的 10% 是什么样?最好的 10% 呢?中位数呢?
5. 随时间的漂移 ——自您上次公布数字以来,某个语言对是变好了还是变差了?
6. 您没有衡量的内容 ——您的基准测试明确没有覆盖什么?

这些问题都不是无法回答的。只是它们不在任何一家的营销页面上。

我们公开什么

/benchmark 就是我们的答案。方法论位于 /benchmark/methodology——在我们还不知道您会读到这篇文章之前就已写成。

它与行业惯例有三点不同。

1. 真实流量,而非精心挑选的测试集

公开基准中的每一个分数都来自一次真实的 /demo 测试运行。我们不会预先挑选表现好的语言对。为买方演示提供服务的是同一条流水线,被测量的也是它。

2. 评审方公开具名

主评审:google/gemini-3.5-flash。备用评审:anthropic/claude-sonnet-5。两者均通过 Vercel AI Gateway 调用。评审方是方法论的一部分——以名称公开披露。当我们更换评审方时(由于模型下线,我们确实更换过),历史记录会保留当时实际打分的评审方;旧分数绝不会被悄悄重新打分。

3. 分布才是数据,而非平均值

每一行公开数据都会显示中位数、p10、p90、最小值、最大值和样本量——而不是单一数字。对翻译语言对而言,单一数字就是噪声。分布的形状才是信号。

行业尚未采纳的做法

• 低分语言对不会被隐藏。 公开索引设有收录门槛:≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60——但任何人都可以通过深层链接直接访问任何语言对,查看真实数字,包括本月表现不佳的语言对。
• 已知问题均有记录。 2026 年早些时候,聊天测试工具曾出现数周故障,该时间段已从索引中剔除,并在方法论页面上以书面形式注明。历史不会被悄悄改写。
• 我们明确不做哪些声明,是方法论页面上的一个完整章节。我们说明 LLM 评审方本身在哪些方面并不完美。我们说明哪些内容没有衡量(延迟、成本、用户满意度,以及翻译开始运行之前的 ASR 端错误)。我们也披露,自身的自动化冒烟测试属于流量的一部分。

下一次供应商评估的筛选方法

如果您正在评估任何一款多语言会议平台——无论是我们的还是其他家的——方法论才是值得阅读的页面。数字本身只是容易的部分。

针对这一行业任何供应商的实用筛选方法:

• 索取基于真实流量的、按语言对按月统计的质量数据。 不要精心挑选的基准测试,也不要汇总数据。
• 询问他们的评审方是什么、明确不衡量什么,以及过去六个月里有哪些变化。
• 询问当某个语言对的分数下降时会怎样——他们会告知用户,还是悄悄修复?

如果供应商能以书面形式给出这三个答案,就值得认真评估。如果不能,您买到的是营销,而不是翻译质量。

亲自试一试

• 试用实时演示 ——对您的音频运行生产环境的翻译流水线,用给公开基准打分的同一评审方为结果评分,并向您展示输出。
• 查看基准测试 ——每个已发布的语言对、每个月,附完整分布。
• 阅读方法论 ——数字如何计算、包含什么、不包含什么。

您无需轻信我们的任何一句话。这正是重点所在。

来源:上文中的评审方标识、收录门槛和剔除规则均已对照已发布的代码核实,并公布于 /benchmark/methodology;评审方通过 Vercel AI Gateway 调用;开头引用的营销说法是行业中常见的表述,并非对某家具体供应商的引用;核查时间:2026 年 8 月。