为什么翻译质量营销已经失灵——以及我们转而发布了什么

打开任何实时翻译厂商的网站。您会看到类似的一组数字：

"200+ 种语言"
"6,000+ 语言对"
"全球首创" / "最高准确度"
"99% 准确率"

现在试着在任何一家厂商的页面上找到——这些数字对您即将召开的会议意味着什么。按语言的质量。可复现的方法论。样本量。随时间变化的评分。对模型薄弱环节的诚实披露。

您找不到这些信息。营销文案里没有，文档里也很少出现。

这是该品类的均衡状态。它之所以存在，有三个原因：

大多数厂商不拥有自己的翻译引擎。 他们的请求经由 OpenAI、Google、DeepL、Microsoft 或其组合处理。发布按语言对的质量数据等于在为别人的模型做基准测试——这没有任何营销价值。
诚实的质量数据很难放在广告牌上。 单一评分噪声太大。分布数据更有用，但更难压缩。过去六个月的趋势更有用，也更难呈现。
采购方还没有提出质疑。 买方照单全收营销数字，因此均衡得以维持。

这种均衡不会持续。下一类买方——制药、法律、金融、审计、公共部门——会提出比"支持多少种语言"更尖锐的问题。我们打造了 /benchmark，因为我们认为他们不应该只能听信厂商的一面之词。

营销数字没有告诉您的事

"200+ 种语言" 意味着厂商有一个能在 200 种语言中输出文本的模型。这些语言之间的质量从主要语言对（EN↔DE、EN↔ES、EN↔FR）的生产级水平，到低资源语言对的勉强可用，跨度极大。没有按语言对的细分数据，您无法判断您的会议会落在分界线的哪一侧。

"6,000+ 语言对" 是 80 种源语言的 N × N 组合。说支持 6,000 个语言对是容易的部分。说某个特定语言对的质量足以支撑 CAPA 审查、合同谈判或财报电话会议——这才是手册里不会写到的部分。

"99% 准确率"——如果不说明测量了什么、对照什么参考、基于什么样本、由谁评判——就是毫无信息量的空话。翻译质量没有通用的标量。它有一个分布，取决于语言对、内容领域、音频质量（针对语音）、延迟预算，以及"足够好"对特定用例意味着什么。

买方真正需要知道的事

在实际的 DPA 审查和采购评估中出现的这些问题：

按语言对的质量——在 DE↔EN、EN↔AR、JA↔KO 上具体表现如何？
样本量——您报告的数字基于多少次运行？十次？一万次？
方法论——谁在评判翻译，对照什么参考，使用什么评分标准？
看分布，不是看平均——最差的 10% 是什么情况？最好的 10% 呢？中位数呢？
随时间的漂移——自上次发布数据以来，某个语言对是变好了还是变差了？
您没有测量什么——您的基准测试明确不覆盖哪些方面？

这些问题没有哪个是无法回答的。只是没有厂商把它们放在营销页面上。

我们发布了什么

/benchmark 是我们的回答。方法论在 /benchmark/methodology——在我们知道您会读到这些之前就已写好。

三点使其不同于品类惯例。

1. 真实流量，非精选测试集

公开基准测试中的每一个评分都来自一次真实的 /demo 测试运行。我们不预先挑选表现好的语言对。服务买方演示的同一套流水线，就是被测量的那套流水线。

2. 评判者具名公开

主力：google/gemini-3.5-flash。备用：anthropic/claude-sonnet-5。两者均经由 Vercel AI Gateway。评判者是方法论的一部分——按名称披露。当我们更换评判者时（随着模型退役，我们已经换过），历史数据行保留实际评分时使用的评判者；旧评分绝不会被静默重新评分。

3. 分布即数据，而非平均值

每一行发布的数据都显示中位数、p10、p90、最小值、最大值和样本量——而不是单一数字。语言对的单一数字只是噪声。分布的形状才是信号。

品类尚未采纳的做法

低分语言对不会被隐藏。 公开索引的准入门槛是 ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60——但任何人都可以直接深链到任何语言对并查看真实数字，包括本月表现不佳的语言对。
已知问题有记录。 当聊天测试工具在 2026 年初的几周内出现故障时，该时间段从索引中被排除，并在方法论页面上以文字注明。历史不会被静默改写。
我们刻意不声称的内容 是方法论页面上的一个完整章节。我们说明 LLM 评判者本身在哪些地方不完善。我们说明我们没有测量什么（延迟、成本、用户满意度、翻译运行前的 ASR 端错误）。我们披露我们自己的自动化冒烟测试也是流量的一部分。