翻訳品質マーケティングはなぜ機能していないのか ― 私たちが代わりに公開しているもの

リアルタイム翻訳ベンダーのサイトを開いてみてください。どこも同じような数字が並んでいます。

• 「200以上の言語」
• 「6,000以上の言語ペア」
• 「世界初」/「最高の精度」
• 「99%の精度」

では、そのいずれかのベンダーのページで、これから行う会議にその数字がどんな意味を持つのかを探してみてください。言語ごとの品質。再現可能な方法論。サンプル数。時間経過によるスコアの推移。モデルが弱い部分についての正直な開示。

見つからないはずです。マーケティングコピーにはなく、ドキュメントにもほとんどありません。

これは、このカテゴリの均衡状態です。次の3つの理由で成り立っています。

1. ほとんどのベンダーは、自前の翻訳エンジンを持っていません。 OpenAI、Google、DeepL、Microsoft、あるいはそれらの組み合わせを経由しています。言語ペアごとの品質データを公開すれば、他社のモデルをベンチマークすることになり、マーケティング上の価値はありません。
2. 正直な品質データは、看板には載せにくいものです。 単一のスコアにはノイズが多くあります。分布のほうが有用ですが、圧縮しにくくなります。直近6か月の推移 はさらに有用ですが、さらに扱いにくくなります。
3. 調達側がまだ異議を唱えていません。 購入者がマーケティング上の数字をそのまま受け入れるため、均衡が保たれています。

この均衡は続かないでしょう。次世代の購入者、つまり製薬、法務、金融、監査、公共部門は、「何言語に対応しているか」よりも厳しい問いを投げかけるはずです。私たちが /benchmark を作ったのは、そうした方々がベンダーの言葉を鵜呑みにしなくて済むようにするためです。

マーケティング上の数字が語らないこと

「200以上の言語」 とは、200の言語でテキストを出力できるモデルをベンダーが持っている、という意味です。品質は、主要なペア(EN↔DE、EN↔ES、EN↔FR)では実運用レベルですが、低リソースのペアでは実用にかろうじて耐える程度まで幅があります。ペアごとの内訳がなければ、あなたの会議がその線のどちら側に入るのかは判断できません。

「6,000以上の言語ペア」 は、80のソース言語に対する N × N の組み合わせ計算です。6,000ペアに対応していると言うのは簡単です。特定のペアが、CAPA レビュー、契約交渉、決算説明会に使えるほど十分に良いと言うこと、それがパンフレットに載っていない部分です。

「99%の精度」 は、何を測定したのか、どの基準に対してか、どのサンプルでか、どのジャッジによるものかが示されなければ、中身のない数字です。翻訳品質に、万能の単一指標はありません。あるのは、言語ペア、コンテンツの領域、音声品質(音声の場合)、レイテンシの許容範囲、そして個別のユースケースにおける「十分に良い」の意味によって変わる分布です。

購入者が本当に知るべきこと

クライアントとの通話でそのペアを信頼する前に、ホストが尋ねるべき質問を挙げます。

1. 言語ペア別の品質 ― DE↔EN、EN↔AR、JA↔KO で、具体的にどの程度の性能か。
2. サンプル数 ― 報告されている数字は、何回の実行に基づいているのか。10回か、1万回か。
3. 方法論 ― 誰が、どの基準に対して、どの評価ルーブリックで翻訳を評価しているのか。
4. 平均ではなく分布 ― 最悪の10%はどうなっているか。最良の10%は。中央値は。
5. 時間経過による変動 ― 前回数字を公開してから、そのペアは良くなったのか、悪くなったのか。
6. 測定していないこと ― ベンチマークが明示的に捉えていないものは何か。

これらはどれも、答えられない問いではありません。ただ、誰のマーケティングページにも載っていないだけです。

私たちが公開しているもの

/benchmark が、私たちの答えです。方法論は /benchmark/methodology にあります。あなたがこの記事を読むことになるとは思っていなかった時点で書かれたものです。

カテゴリの常識と異なる点が3つあります。

1. 作り込んだテストスイートではなく、実トラフィック

公開ベンチマークのすべてのスコアは、実際の /demo のテスト実行から得られたものです。成績の良いペアをあらかじめ選ぶことはしません。購入者のデモを処理しているのと同じパイプラインが、そのまま測定されています。

2. ジャッジを明示している

プライマリ:google/gemini-3.5-flash。フォールバック:anthropic/claude-sonnet-5。どちらも Vercel AI Gateway 経由です。ジャッジは方法論の一部であり、名前を明示して開示しています。ジャッジを変更した場合(モデルの提供終了に伴い、実際に変更したことがあります)、過去の行には、実際にそのスコアを付けたジャッジが記録されます。古いスコアが黙って再採点されることはありません。

3. データとは平均ではなく、分布である

公開されているすべての行には、中央値、p10、p90、最小値、最大値、サンプル数が示されます。単一の数字ではありません。翻訳ペアに対する単一の数字はノイズです。分布の形こそがシグナルです。

このカテゴリがまだ採用していない取り組み

• スコアの低いペアも隠しません。 公開インデックスの掲載条件は ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 ですが、どのペアにも直接ディープリンクでき、今月の成績が悪いペアを含め、実際の数字を確認できます。
• 既知の問題を文書化しています。 2026年の前半に数週間、チャットテストのハーネスが壊れていたことがありました。その期間はインデックスから除外し、方法論ページに文書で記載しています。履歴を黙って書き換えることはありません。
• 「あえて主張しないこと」 は、方法論ページに独立したセクションとして設けています。LLM ジャッジ自体が不完全な点を明記しています。測定していないもの(レイテンシ、コスト、ユーザー満足度、翻訳が実行される前の ASR 側の誤り)も明記しています。私たち自身の自動スモークテストがトラフィックに含まれていることも開示しています。

次のベンダー評価に使えるフィルター

多言語会議プラットフォームを評価する際は、当社のものでも他社のものでも、読む価値があるのは方法論のページです。数字そのものは、簡単な部分にすぎません。

このカテゴリのどのベンダーにも使える、実践的なフィルターを紹介します。

• 実トラフィックにおける、言語ペア別・月別の品質データを求めてください。 作り込んだベンチマークや集計値ではありません。
• ジャッジが何か、明示的に何を測定していないか、過去6か月で何が変わったかを尋ねてください。
• あるペアのスコアが下がったときに何が起きるかを尋ねてください。 誰かに知らせるのか、それとも黙って修正するのか。

3つの答えがすべて文書で揃っているベンダーなら、真剣に検討してください。揃っていなければ、あなたが買おうとしているのは翻訳品質ではなく、マーケティングです。

ご自身で試す

• ライブデモを試す ― 本番の翻訳パイプラインをあなたの音声で実行し、公開ベンチマークを採点しているのと同じジャッジでスコアを付け、出力を表示します。
• ベンチマークを見る ― 公開されているすべての言語ペアを、毎月、完全な分布とともに確認できます。
• 方法論を読む ― 数字がどのように算出されるのか、何を含み、何を含まないのかを説明しています。

私たちの言葉を鵜呑みにする必要はありません。それが、このページの要点です。

出典:上記のジャッジの識別子、掲載条件のしきい値、除外ルールは、出荷済みのコードと照合して検証したうえで /benchmark/methodology に公開しています。ジャッジは Vercel AI Gateway 経由で提供されています。冒頭で引用したマーケティング上の主張は、このカテゴリで典型的な表現であり、特定のベンダーの引用ではありません。2026年8月確認。