Çeviri kalitesi pazarlaması neden bozuk — ve biz bunun yerine ne yayımlıyoruz

Herhangi bir canlı çeviri tedarikçisinin sitesini açın. Hep aynı tür rakamları görürsünüz:

• "200+ dil"
• "6.000+ dil çifti"
• "Dünyada ilk" / "En yüksek doğruluk"
• "%99 doğruluk"

Şimdi bu tedarikçi sayfalarının herhangi birinde, yönetmek üzere olduğunuz bir toplantı için bu rakamların ne anlama geldiğini bulmaya çalışın. Dil bazında kalite. Yeniden üretilebilir metodoloji. Örneklem büyüklüğü. Zaman içindeki skor. Modelin nerede zayıf kaldığına dair dürüst açıklama.

Bulamazsınız. Pazarlama metinlerinde yok, dokümantasyonda da nadiren var.

Bu, kategorinin denge noktasıdır ve üç nedenden dolayı var olur:

1. Çoğu tedarikçi kendi çeviri motoruna sahip değildir. İstekleri OpenAI, Google, DeepL, Microsoft veya bunların bir kombinasyonu üzerinden yönlendirirler. Dil çifti bazında kalite verisi yayımlamak, başkasının modelini karşılaştırmalı olarak ölçmek olurdu; bunun pazarlama değeri yoktur.
2. Dürüst kalite verisini bir ilan panosuna sığdırmak zordur. Tek bir skor gürültülüdür. Dağılım daha faydalıdır ama sıkıştırması daha zordur. last-six-months trend daha da faydalıdır ve sıkıştırması daha da zordur.
3. Satın alma ekipleri henüz itiraz etmedi. Alıcılar pazarlama rakamlarını olduğu gibi kabul ediyor ve denge böylece sürüyor.

Bu denge sürmeyecek. Bir sonraki alıcı kuşağı (ilaç, hukuk, finans, denetim, kamu sektörü) "kaç dil var" sorusundan çok daha zor sorular soracak. /benchmark sayfasını, bir tedarikçinin sözüne güvenmek zorunda kalmamaları gerektiğini düşündüğümüz için hazırladık.

Pazarlama rakamlarının size söylemedikleri

"200+ dil", tedarikçinin 200 dilde metin üreten bir modeli olduğu anlamına gelir. Bu dillerdeki kalite, büyük çiftlerde (EN↔DE, EN↔ES, EN↔FR) üretim düzeyinden, düşük kaynaklı çiftlerde zor kullanılabilir düzeye kadar değişir. Dil çifti bazında bir döküm olmadan, toplantınızın bu çizginin hangi tarafına düşeceğini bilemezsiniz.

"6.000+ dil çifti", 80 kaynak dil üzerinde N × N kombinatoriğidir. 6.000 çifti desteklediğinizi söylemek işin kolay kısmıdır. Belirli bir çiftin bir CAPA incelemesi, bir sözleşme müzakeresi veya bir kazanç görüşmesi için yeterince iyi olduğunu söylemek ise broşürde olmayan kısımdır.

"%99 doğruluk", neyin ölçüldüğü, hangi referansa karşı, hangi örneklemde, hangi değerlendirici tarafından ölçüldüğü belirtilmeden içeriksizdir. Çeviri kalitesinin evrensel bir skaler değeri yoktur. Dil çiftine, içerik alanına, ses kalitesine (sesli çeviri için), gecikme bütçesine ve belirli kullanım durumu için "yeterince iyi"nin ne anlama geldiğine bağlı bir dağılımı vardır.

Bir alıcının gerçekten bilmesi gerekenler

Bir müşteri görüşmesinde bir çifte güvenmeden önce bir ev sahibinin (host) sorması gereken sorular:

1. Dil çifti bazında kalite: bu sistem özellikle DE↔EN, EN↔AR, JA↔KO çiftlerinde nasıl performans gösteriyor?
2. Örneklem büyüklüğü: bildirdiğiniz rakam kaç çalıştırmaya dayanıyor? On mu? On bin mi?
3. Metodoloji: çevirileri kim değerlendiriyor, hangi referansa karşı, hangi ölçütle?
4. Ortalama değil, dağılım: en kötü %10 nasıl görünüyor? En iyi %10? Medyan?
5. Zaman içindeki kayma: belirli bir çift, en son rakam yayımladığınızdan beri iyileşti mi, kötüleşti mi?
6. Neyi ölçmediğiniz: kıyaslamanız neyi açıkça kapsam dışı bırakıyor?

Bunların hiçbiri yanıtlanamaz değil. Sadece kimsenin pazarlama sayfasında yer almıyorlar.

Biz ne yayımlıyoruz

/benchmark bizim yanıtımızdır. Metodoloji /benchmark/methodology adresindedir ve bu yazıyı okuyacağınızı bilmeden çok önce yazılmıştır.

Onu kategori normlarından ayıran üç şey var.

1. Gerçek trafik, seçilmiş bir test seti değil

Herkese açık kıyaslamadaki her skor, gerçek bir /demo test çalıştırmasından gelir. İyi performans gösteren çiftleri önceden seçmeyiz. Bir alıcının demosuna hizmet eden işlem hattının ta kendisi ölçülür.

2. Değerlendirici adıyla bellidir

Birincil: google/gemini-3.5-flash. Yedek: anthropic/claude-sonnet-5. İkisi de Vercel AI Gateway üzerinden çalışır. Değerlendirici metodolojinin bir parçasıdır ve adıyla açıklanır. Değerlendiriciyi değiştirdiğimizde (modeller emekli olduğu için değiştirdik), geçmiş satırlar onları gerçekten puanlayan değerlendiriciyi taşır; eski skorlar sessizce yeniden puanlanmaz.

3. Veri, ortalama değil dağılımdır

Yayımlanan her satır tek bir sayı değil, medyan, p10, p90, min, maks ve örneklem büyüklüğünü gösterir. Bir çeviri çifti için tek bir sayı gürültüdür. Dağılımın şekli ise sinyaldir.

Kategorinin henüz benimsemediği uygulamalar

• Düşük skorlu çiftler gizlenmez. Herkese açık dizin ≥ 10 farklı IP, ≥ 10 çalıştırma, medyan ≥ 60 koşuluna bağlıdır; ancak herkes herhangi bir çifte doğrudan bağlantı verebilir ve bu ay kötü performans gösterenler dahil gerçek rakamları görebilir.
• Bilinen sorunlar belgelenir. Sohbet testi altyapısı 2026'nın başında birkaç hafta boyunca bozuk kaldığında, bu dönem dizinden çıkarıldı ve metodoloji sayfasında yazılı olarak not edildi. Geçmiş sessizce yeniden yazılmaz.
• Özellikle iddia ETMEDİKLERİMİZ, metodoloji sayfasında ayrı bir bölümdür. LLM değerlendiricisinin kendisinin nerede kusurlu olduğunu söyleriz. Neyi ölçmediğimizi söyleriz (gecikme, maliyet, kullanıcı memnuniyeti, çeviri daha çalışmadan önceki ASR kaynaklı hatalar). Kendi otomatik duman testlerimizin de trafiğin bir parçası olduğunu açıklarız.

Bir sonraki tedarikçi değerlendirmesi için bir filtre

Çok dilli herhangi bir toplantı platformunu değerlendiriyorsanız (bizimki ya da bir başkası), okumaya değer sayfa metodolojidir. Rakamların kendisi işin kolay kısmıdır.

Bu kategorideki her tedarikçi için pratik bir filtre:

• Gerçek trafik üzerinden, dil çifti ve ay bazında kalite verisi isteyin. Seçilmiş bir kıyaslama değil. Bir toplam değil.
• Değerlendiricilerinin ne olduğunu, neyi açıkça ölçmediklerini ve son altı ayda neyin değiştiğini sorun.
• Bir çiftin skoru düştüğünde ne olduğunu sorun: bunu birine söylüyorlar mı, yoksa sessizce mi düzeltiyorlar?

Tedarikçinin üç yanıtı da yazılı olarak varsa, onu ciddiyetle değerlendirin. Yoksa çeviri kalitesi değil, pazarlama satın alıyorsunuz.

Kendiniz deneyin

• Canlı demoyu deneyin: üretimdeki çeviri işlem hattını sizin sesinizle çalıştırır, çıktıyı herkese açık kıyaslamayı puanlayan aynı değerlendiriciyle puanlar ve sonucu size gösterir.
• Kıyaslamayı görün: yayımlanmış her dil çifti, her ay, dağılımın tamamıyla birlikte.
• Metodolojiyi okuyun: rakamların nasıl hesaplandığı, neleri kapsadığı, neleri kapsamadığı.

Bunların hiçbiri için sözümüze güvenmeniz gerekmeyecek. Mesele de bu.

Kaynaklar: yukarıdaki değerlendirici tanımlayıcıları, eşik değerleri ve çıkarma kuralları yayındaki koda karşı doğrulanmıştır ve /benchmark/methodology adresinde yayımlanmıştır; değerlendiriciler Vercel AI Gateway üzerinden sunulmaktadır; en başta alıntılanan pazarlama iddiaları kategoriye özgü tipik ifadelerdir, adı belirtilmiş bir tedarikçiden alıntı değildir; Ağustos 2026'da kontrol edilmiştir.