AI翻訳 品質 ベンチマーク

対応言語が増え続けているためです。製品に追加した言語は、すべて週次のベンチマーク実行の対象となり、公開基準を満たした時点で指数に加わります。そして、新しい言語が、1年かけて調整してきたペアと同じ水準から始まることはほとんどありません。見出しの数値は、その四半期に公開された全ペアの中央値であるため、既存のペアがすべて維持または向上していても、新たに加わった言語が数値を押し下げます。その後、調整を重ねるにつれて新しいペアも向上し、指数は回復します。特定の言語の進捗を確認するには、下のペアページをご覧ください。その推移は、他の要素に左右されることはありません。

各テストでは、製品が使用しているものと同じライブパイプラインに参照テキスト(チャット)または参照音声ファイル(音声)を通し、LLMジャッジが出力を正準の参照翻訳と比較して0〜100で採点します。スコアは次の区分に分かれます。90以上は優秀、70〜89は良好、50〜69は可、50未満は不十分です。音声認識とジャッジの双方にばらつきがあるため、1回の実行で数十ポイントも変動することがあります。そのため、ペアの評価は単一の数値ではなく、1か月間の中央値と範囲で判断してください。

音声は、音声認識と翻訳を合わせたエンドツーエンドの単一スコアです。チャットは、入力したテキストのみの翻訳です。認識の誤りは音声スコアに反映されるため、音声の言語ペアは平均的に低めになり、公開基準も低く設定されています(チャットの60に対して45)。チームが主に文字を入力する場合はチャットの数値を、主に話す場合は音声の数値を参考にしてください。

いいえ。このベンチマークは合成データによるものです。当社の自動テストスイートが、固定のFLORES-200リファレンスセットを毎週パイプラインに通しており、これらの数値の唯一の出典です。デモで実行されたセッションは、スコア化されることも、ベンチマークに保存されることもありません。お客様のミーティングがベンチマークに使われることも一切ありません。

上の表から該当ペアのページを開くと、月ごとの中央値・範囲・サンプル数と、月をまたいだ推移を確認できます。お手持ちの素材で確認するには、テストリグ(ベンチマークと同じ2ペイン構成)を開き、ご自身の言語で話すか入力してください。自動的に開始されることはなく、何も保存されません。一覧にないペアは、まだ公開基準を満たしていないか、製品にまだ搭載されていません。スコアが低いペアも直接リンクから確認できます。非表示にはしていません。