Çeviri kalitesi pazarlaması neden bozuk — ve biz bunun yerine neyi yayımlıyoruz

Herhangi bir canlı çeviri sağlayıcısının sitesini açın. Hep aynı türden rakamları göreceksiniz:

• "200+ dil"
• "6.000+ dil çifti"
• "Dünyanın ilki" / "En yüksek doğruluk"
• "%99 doğruluk"

Şimdi bu sağlayıcıların herhangi bir sayfasında, bu rakamların yürütmek üzere olduğunuz bir toplantı için ne anlama geldiğini bulmaya çalışın. Dil çiftine göre kalite. Yeniden üretilebilir metodoloji. Örneklem büyüklüğü. Zaman içindeki skor. Modelin nerede zayıf olduğuna dair dürüst bir açıklama.

Bulamayacaksınız. Ne pazarlama metninde, ne de çoğu zaman dokümantasyonda.

Bu, kategorinin dengesidir. Üç nedenden ötürü var:

1. Çoğu sağlayıcı kendi çeviri motoruna sahip değildir. İstekleri OpenAI, Google, DeepL, Microsoft ya da bunların bir birleşimi üzerinden yönlendirirler. Dil çiftine göre kalite verisi yayımlamak, başkasının modelini kıyaslamak olur — bunun pazarlama açısından bir değeri yoktur.
2. Dürüst kalite verisini bir ilan panosuna sığdırmak zordur. Tek bir skor gürültülüdür. Dağılım daha faydalıdır ama sıkıştırması daha zordur. last-six-months trend (son altı aylık eğilim) daha da faydalıdır, ama daha da zordur.
3. Satın alma tarafı henüz itiraz etmedi. Alıcılar pazarlama rakamlarını olduğu gibi kabul ediyor ve denge böylece sürüyor.

Bu denge sürmeyecek. Bir sonraki alıcı kuşağı — ilaç, hukuk, finans, denetim, kamu sektörü — "kaç dil" sorusundan çok daha zor sorular soracak. /benchmark sayfasını, sağlayıcının sözüne güvenmek zorunda kalmamaları gerektiğini düşündüğümüz için hazırladık.

Pazarlama rakamlarının size söylemedikleri

"200+ dil", bir sağlayıcının 200 dilde metin üretebilen bir modeli olduğu anlamına gelir. Bu dillerdeki kalite, büyük çiftlerde (EN↔DE, EN↔ES, EN↔FR) üretim düzeyindeyken, düşük kaynaklı çiftlerde zar zor kullanılabilir düzeye kadar değişir. Dil çiftine göre bir döküm olmadan, toplantınızın bu çizginin hangi tarafına düşeceğini bilemezsiniz.

"6.000+ dil çifti", 80 kaynak dil üzerinde N × N kombinatoriğinden ibarettir. 6.000 çifti desteklediğinizi söylemek işin kolay kısmıdır. Belirli bir çiftin bir CAPA incelemesi, bir sözleşme müzakeresi ya da bir kazanç toplantısı için yeterince iyi olduğunu söylemek ise broşürde olmayan kısımdır.

"%99 doğruluk", neyin ölçüldüğü, hangi referansa karşı, hangi örneklemde, hangi hakem tarafından ölçüldüğü belirtilmeden içi boş bir ifadedir. Çeviri kalitesinin evrensel bir skaler değeri yoktur. Dil çiftine, içerik alanına, ses kalitesine (sesli çeviri için), gecikme bütçesine ve belirli kullanım senaryosu için "yeterince iyi"nin ne anlama geldiğine bağlı bir dağılımı vardır.

Bir alıcının gerçekten bilmesi gerekenler

Bir ev sahibinin, bir müşteri görüşmesinde bir çifte güvenmeden önce sorması gereken sorular:

1. Dil çiftine göre kalite — bu sistem özellikle DE↔EN, EN↔AR, JA↔KO çiftlerinde nasıl performans gösteriyor?
2. Örneklem büyüklüğü — bildirilen rakam kaç çalıştırmaya dayanıyor? On mu? On bin mi?
3. Metodoloji — çevirileri kim değerlendiriyor, hangi referansa karşı, hangi değerlendirme ölçütüyle?
4. Ortalama değil, dağılım — en kötü %10 nasıl görünüyor? En iyi %10? Medyan?
5. Zaman içindeki sapma — bir çift, en son rakam yayımladığınızdan bu yana iyileşti mi, kötüleşti mi?
6. Neyi ölçmediğiniz — kıyaslamanız neyi açıkça kapsamıyor?

Bunların hiçbiri yanıtlanamaz değil. Sadece kimsenin pazarlama sayfasında yok.

Biz neyi yayımlıyoruz

/benchmark bizim yanıtımızdır. Metodoloji /benchmark/methodology adresindedir — bunu okuyacağınızı bilmeden önce yazıldı.

Onu kategori normlarından ayıran üç şey var.

1. Seçilmiş bir test paketi değil, gerçek trafik

Herkese açık benchmark'taki her skor, gerçek bir /demo test çalıştırmasından gelir. İyi performans gösteren çiftleri önceden seçmeyiz. Bir alıcının demosuna hizmet veren hat, ölçülen hattın ta kendisidir.

2. Hakem adıyla belli

Birincil: google/gemini-3.5-flash. Yedek: anthropic/claude-sonnet-5. İkisi de Vercel AI Gateway üzerinden. Hakem metodolojinin bir parçasıdır — adıyla açıklanır. Hakemi değiştirdiğimizde (modeller emekli olduğu için değiştirdik), geçmiş satırlar onları gerçekten puanlayan hakemi taşır; eski skorlar sessizce yeniden puanlanmaz.

3. Veri ortalama değil, dağılımdır

Yayımlanan her satır; medyan, p10, p90, min, maks ve örneklem büyüklüğünü gösterir — tek bir sayıyı değil. Bir çeviri çifti için tek bir sayı gürültüdür. Dağılımın şekli ise sinyaldir.

Kategorinin benimsemediği uygulamalar

• Düşük skorlu çiftler gizlenmez. Herkese açık dizin ≥ 10 farklı IP, ≥ 10 çalıştırma, medyan ≥ 60 koşuluyla sınırlandırılmıştır — ancak herkes herhangi bir çifte doğrudan bağlantıyla gidip gerçek rakamları görebilir; bu ay kötü durumda olan çiftler de dahil.
• Bilinen sorunlar belgelenir. 2026'nın başlarında chat-test harness'i birkaç hafta bozuk kaldığında, bu dönem dizinden çıkarıldı ve metodoloji sayfasında yazılı olarak not edildi. Geçmiş sessizce yeniden yazılmaz.
• Özellikle iddia ETMEDİĞİMİZ şeyler, metodoloji sayfasında ayrı bir bölümdür. LLM hakemin kendisinin nerede kusurlu olduğunu söyleriz. Neyi ölçmediğimizi söyleriz (gecikme, maliyet, kullanıcı memnuniyeti, çeviri daha çalışmadan önceki ASR kaynaklı hatalar). Kendi otomatik smoke testlerimizin trafiğin bir parçası olduğunu açıklarız.

Bir sonraki sağlayıcı değerlendirmesi için bir filtre

Çok dilli herhangi bir toplantı platformunu değerlendiriyorsanız — bizimki ya da bir başkası — okunmaya değer sayfa metodolojidir. Rakamların kendisi işin kolay kısmıdır.

Bu kategorideki her sağlayıcı için pratik bir filtre:

• Gerçek trafik üzerinde, dil çiftine ve aya göre kalite verisi isteyin. Seçilmiş bir benchmark değil. Bir toplam değil.
• Hakeminin ne olduğunu, açıkça neyi ölçmediğini ve son altı ayda neyin değiştiğini sorun.
• Bir çiftin skoru düştüğünde ne olduğunu sorun — kimseye söylüyorlar mı, yoksa sessizce mi düzeltiyorlar?

Sağlayıcının üç yanıtı da yazılı olarak varsa, onu ciddiyetle değerlendirin. Yoksa satın aldığınız şey çeviri kalitesi değil, pazarlamadır.

Kendiniz deneyin

• Canlı demoyu deneyin — üretimdeki çeviri hattını sizin sesiniz üzerinde çalıştırır, herkese açık benchmark'ı puanlayan aynı hakemle skorlar ve çıktıyı size gösterir.
• Benchmark'ı inceleyin — yayımlanmış her dil çifti, her ay, tüm dağılımıyla.
• Metodolojiyi okuyun — rakamların nasıl hesaplandığı, neleri kapsadığı, neleri kapsamadığı.

Bunların hiçbiri için sözümüze güvenmeniz gerekmeyecek. Mesele de bu.

Kaynaklar: yukarıdaki hakem tanımlayıcıları, eşik değerleri ve çıkarma kuralları yayındaki kodla doğrulanmıştır ve /benchmark/methodology adresinde yayımlanmıştır; hakemler Vercel AI Gateway üzerinden sunulmaktadır; en üstte alıntılanan pazarlama iddiaları kategoriye özgü tipik ifadelerdir, adı geçen bir sağlayıcıdan alıntı değildir; Ağustos 2026'da kontrol edilmiştir.