AI 翻译 质量 基准

因为支持的语言在不断增加。我们每为产品新增一种语言,它就会加入每周的基准测试,并在达到发布门槛后立即纳入指数——而新语言的起点,很少能与我们已调优一年的语言对相当。头条数字是该季度所有已发布语言对的中位数,因此即使所有既有语言对保持不变或有所提升,一批新加入的语言对也会拉低这一数字。随后,这些新语言对会随着我们的调优而提升,指数也随之回升。若要查看某一种语言的进展,请打开下方对应的语言对页面:该趋势不会被其他任何因素稀释。

每次测试都会将参考文本(聊天)发送、或将参考音频文件(语音)播放,经过产品所使用的同一条实时流水线,再由 LLM 评审依据标准参考译文对输出结果给出 0 到 100 的评分。分数分为几个等级:90 分及以上为优秀,70–89 分为良好,50–69 分为一般,50 分以下为较弱。由于语音识别和评审本身都存在噪声,单次测试的结果可能相差数十分,因此请根据一个月内的中位数和范围来判断某个语言对,而不是依据单一数字。

语音是一个端到端的综合得分:语音识别加翻译。聊天仅是对输入文本的翻译。识别错误会计入语音得分,因此语音语言对的平均得分偏低,发布门槛也更低——语音为 45,聊天为 60。如果您的团队以打字为主,请参考聊天得分;如果以口头交流为主,请参考语音得分。

不属于。该基准是合成的:我们的自动化测试套件每周将一组固定的 FLORES-200 参考集送入处理流程,这是这些数据的唯一来源。用户在演示中进行的会话既不会被评分,也不会保存到基准中,您的会议也绝不会用于基准。

请从上方表格打开该语言对的专属页面:页面会按月显示中位数、范围和样本量,以及各月的趋势。若要用您自己的材料测试,请打开测试平台——与基准运行时相同的双窗格设置——然后用您的语言说话或输入;不会自动启动任何内容,也不会保存任何内容。如果某个语言对未列出,说明它尚未达到发布门槛,或尚未上线产品。低分结果仍可通过直接链接访问;我们不会隐藏它们。