Yapay Zeka Çeviri Kalitesi Karşılaştırması

Çünkü dil sayısı büyümeye devam ediyor. Ürüne eklediğimiz her dil haftalık karşılaştırma çalıştırmasına dahil olur ve yayın eşiğini geçer geçmez endekse girer; yeni bir dil de nadiren bir yıldır ayarladığımız bir çiftin seviyesinden başlar. Öne çıkan rakam, çeyrek boyunca yayımlanan tüm çiftlerin medyanıdır; bu yüzden yerleşik her çift aynı kalsa ya da iyileşse bile bir grup yeni gelen onu aşağı çeker. Yeni çiftler biz ayarladıkça yükselir ve endeks toparlanır. Tek bir dildeki ilerlemeyi görmek için aşağıdan o dilin çift sayfasını açın: bu trend başka hiçbir şeyle sulandırılmaz.

Her test, bir referans metni (sohbet) gönderir ya da bir referans ses dosyasını (ses) ürünün kullandığı aynı canlı işlem hattından geçirir; bir LLM hakemi de çıktıyı kanonik bir referans çeviriye göre 0 ile 100 arasında puanlar. Puanlar bantlara ayrılır: 90 ve üzeri mükemmel, 70–89 iyi, 50–69 orta, 50'nin altı zayıf. Konuşma tanıma ve hakem de gürültülü olduğundan tek bir çalıştırma onlarca puan oynayabilir; bu nedenle bir çifti tek bir sayıya göre değil, bir aylık medyanına ve aralığına göre değerlendirin.

Sesli çeviri uçtan uca tek bir puandır: konuşma tanıma artı çeviri. Sohbet ise yalnızca yazılan metnin çevirisidir. Tanıma hataları sesli çeviri puanına yansır; bu nedenle sesli çeviri çiftlerinin ortalaması daha düşüktür ve yayımlanma eşiği de daha düşüktür: sohbet için 60 iken sesli çeviri için 45. Ekibiniz çoğunlukla yazıyorsa bakmanız gereken sohbet puanıdır; çoğunlukla konuşuyorsa sesli çeviri puanına güvenin.

Hayır. Karşılaştırma sentetiktir: otomatik test paketimiz her hafta sabit bir FLORES-200 referans setini işlem hattından geçirir ve bu rakamların tek kaynağı budur. Demoda yürüttüğünüz oturumlar ne puanlanır ne de karşılaştırmaya kaydedilir; toplantılarınız da bunun için asla kullanılmaz.

Yukarıdaki tablodan ilgili dil çiftinin kendi sayfasını açın: sayfada aylık medyan, aralık ve örneklem boyutu ile aylar arasındaki eğilim yer alır. Kendi içeriğinizle denemek için test ortamını açın — karşılaştırmanın çalıştığı iki panelli düzenin aynısı — ve kendi dilinizde konuşun ya da yazın; hiçbir şey kendiliğinden başlamaz ve hiçbir şey kaydedilmez. Bir dil çifti listede yoksa henüz yayımlanma eşiğini geçmemiştir veya henüz üründe yer almıyordur. Düşük puanlara doğrudan bağlantıyla ulaşılabilir; onları gizlemeyiz.