Terjemahan AI Kualitas Benchmark

Karena jumlah bahasa terus bertambah. Setiap bahasa yang kami tambahkan ke produk ikut dalam pengujian benchmark mingguan dan masuk ke indeks begitu melewati ambang publikasi — dan bahasa baru jarang langsung mencapai level pasangan yang sudah kami optimalkan selama setahun. Angka utamanya adalah median dari seluruh pasangan yang dipublikasikan pada kuartal tersebut, sehingga sejumlah bahasa baru menurunkannya meskipun setiap pasangan yang sudah mapan bertahan atau meningkat. Pasangan baru itu kemudian naik seiring penyempurnaan kami, dan indeks pun pulih. Untuk melihat kemajuan satu bahasa, buka halaman pasangannya di bawah: tren itu tidak terpengaruh oleh hal lain.

Setiap pengujian mengirim teks referensi (chat) atau memutar file audio referensi (suara) melalui pipeline langsung yang sama dengan yang digunakan produk, lalu juri LLM memberi skor 0 sampai 100 pada hasilnya terhadap terjemahan referensi kanonis. Skor dibagi dalam beberapa tingkat: 90 ke atas sangat baik, 70–89 baik, 50–69 cukup, di bawah 50 lemah. Satu pengujian bisa berbeda puluhan poin karena pengenalan suara dan juri sama-sama mengandung noise, jadi nilailah sebuah pasangan dari median dan rentangnya selama sebulan, bukan dari satu angka.

Suara adalah satu skor end-to-end: pengenalan suara ditambah terjemahan. Chat hanya terjemahan teks yang diketik. Kesalahan pengenalan masuk ke skor suara, sehingga pasangan bahasa untuk suara rata-rata lebih rendah dan memiliki batas minimum publikasi yang lebih rendah — 45 dibandingkan 60 untuk chat. Jika tim Anda lebih banyak mengetik, lihat angka chat; jika lebih banyak berbicara, percayai angka suara.

Tidak. Benchmark ini bersifat sintetis: rangkaian pengujian otomatis kami memutar set referensi FLORES-200 yang tetap melalui pipeline setiap minggu, dan itulah satu-satunya sumber angka-angka ini. Sesi yang dijalankan orang di demo tidak diberi skor maupun disimpan ke dalam benchmark, dan meeting Anda tidak pernah digunakan untuk itu.

Buka halaman tersendiri dari pasangan bahasa tersebut melalui tabel di atas: halaman itu menampilkan median, rentang, dan ukuran sampel per bulan, serta tren antarbulan. Untuk memeriksanya dengan materi Anda sendiri, buka test rig — pengaturan dua panel yang sama dengan yang digunakan benchmark — lalu berbicara atau ketik dalam bahasa Anda; tidak ada yang berjalan sendiri dan tidak ada yang disimpan. Jika suatu pasangan bahasa tidak tercantum, berarti belum melewati batas minimum publikasi atau belum tersedia di produk. Skor rendah tetap dapat diakses melalui tautan langsung; kami tidak menyembunyikannya.