Mengapa pemasaran kualitas terjemahan bermasalah — dan apa yang kami publikasikan sebagai gantinya

Buka situs vendor terjemahan langsung mana pun. Anda akan melihat jenis angka yang sama:

• "200+ bahasa"
• "6.000+ pasangan bahasa"
• "Yang pertama di dunia" / "Akurasi tertinggi"
• "Akurat 99%"

Sekarang coba cari — di halaman vendor mana pun — apa arti angka-angka itu bagi meeting yang akan Anda jalankan. Kualitas per bahasa. Metodologi yang dapat direproduksi. Ukuran sampel. Skor dari waktu ke waktu. Keterbukaan yang jujur tentang di mana model ini lemah.

Anda tidak akan menemukannya. Tidak di materi pemasaran, dan jarang di dokumentasi.

Inilah titik keseimbangan dalam kategori ini. Hal ini ada karena tiga alasan:

1. Sebagian besar vendor tidak memiliki mesin terjemahan sendiri. Mereka meneruskan permintaan lewat OpenAI, Google, DeepL, Microsoft, atau kombinasinya. Mempublikasikan data kualitas per pasangan bahasa berarti mengukur model milik pihak lain — tidak ada nilai pemasaran di dalamnya.
2. Data kualitas yang jujur sulit dipasang di papan reklame. Satu skor itu berisik (noisy). Distribusi lebih berguna tetapi lebih sulit diringkas. tren enam bulan terakhir lebih berguna lagi, dan lebih sulit lagi diringkas.
3. Bagian pengadaan belum menekan balik. Pembeli menerima angka pemasaran begitu saja, sehingga keseimbangan ini bertahan.

Keseimbangan ini tidak akan bertahan. Gelombang pembeli berikutnya — farmasi, hukum, keuangan, audit, sektor publik — akan mengajukan pertanyaan yang lebih sulit daripada "berapa banyak bahasa". Kami membangun /benchmark karena kami yakin mereka tidak seharusnya hanya mengandalkan perkataan vendor.

Apa yang tidak disampaikan angka-angka pemasaran

"200+ bahasa" berarti vendor memiliki model yang menghasilkan teks dalam 200 bahasa. Kualitas di antara bahasa-bahasa itu bervariasi, dari tingkat produksi untuk pasangan utama (EN↔DE, EN↔ES, EN↔FR) hingga nyaris tidak dapat digunakan untuk pasangan dengan sumber daya rendah. Tanpa rincian per pasangan bahasa, Anda tidak bisa tahu meeting Anda akan berada di sisi mana dari garis itu.

"6.000+ pasangan bahasa" adalah kombinatorika N × N dari 80 bahasa sumber. Menyatakan bahwa Anda mendukung 6.000 pasangan adalah bagian yang mudah. Menyatakan bahwa suatu pasangan tertentu cukup baik untuk tinjauan CAPA, negosiasi kontrak, atau earnings call — itulah bagian yang tidak ada di brosur.

"Akurat 99%", tanpa menyebutkan apa yang diukur, terhadap referensi apa, pada sampel apa, dan oleh juri siapa — tidak berisi apa-apa. Kualitas terjemahan tidak memiliki skalar universal. Yang ada adalah distribusi yang bergantung pada pasangan bahasa, domain konten, kualitas audio (untuk suara), anggaran latensi, dan apa arti "cukup baik" untuk kasus penggunaan tertentu.

Apa yang sebenarnya perlu diketahui pembeli

Pertanyaan yang sebaiknya diajukan host sebelum mempercayakan suatu pasangan bahasa pada panggilan dengan klien:

1. Kualitas per pasangan bahasa — bagaimana performanya pada DE↔EN, EN↔AR, JA↔KO, secara spesifik?
2. Ukuran sampel — angka yang Anda laporkan didasarkan pada berapa kali pengujian? Sepuluh? Sepuluh ribu?
3. Metodologi — siapa yang menilai terjemahannya, terhadap referensi apa, dengan rubrik apa?
4. Distribusi, bukan rata-rata — seperti apa 10% kasus terburuk? 10% terbaik? Mediannya?
5. Pergeseran dari waktu ke waktu — apakah suatu pasangan bahasa menjadi lebih baik atau lebih buruk sejak terakhir kali Anda mempublikasikan angkanya?
6. Apa yang tidak Anda ukur — apa yang secara eksplisit tidak tercakup dalam benchmark Anda?

Tidak ada dari pertanyaan ini yang tidak bisa dijawab. Hanya saja tidak ada di halaman pemasaran siapa pun.

Apa yang kami publikasikan

/benchmark adalah jawaban kami. Metodologinya ada di /benchmark/methodology — ditulis sebelum kami tahu Anda akan membaca ini.

Tiga hal membedakannya dari norma kategori ini.

1. Lalu lintas nyata, bukan rangkaian uji yang dikurasi

Setiap skor dalam benchmark publik berasal dari uji coba /demo yang nyata. Kami tidak memilih lebih dulu pasangan bahasa yang berkinerja baik. Pipeline yang melayani demo seorang pembeli adalah pipeline yang sama yang diukur.

2. Juri disebutkan namanya

Utama: google/gemini-3.5-flash. Cadangan: anthropic/claude-sonnet-5. Keduanya melalui Vercel AI Gateway. Juri adalah bagian dari metodologi — diungkapkan dengan nama. Ketika kami mengganti juri (pernah terjadi, karena model dipensiunkan), baris historis mencatat juri yang benar-benar memberi skor; skor lama tidak pernah dinilai ulang secara diam-diam.

3. Distribusi adalah datanya, bukan rata-rata

Setiap baris yang dipublikasikan menampilkan median, p10, p90, min, maks, dan ukuran sampel — bukan satu angka. Satu angka untuk sebuah pasangan terjemahan hanyalah noise. Bentuk distribusinyalah yang menjadi sinyal.

Praktik yang belum diadopsi kategori ini

• Pasangan berskor rendah tidak disembunyikan. Indeks publik dibatasi pada ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — tetapi siapa pun dapat membuka tautan langsung ke pasangan mana pun dan melihat angka sebenarnya, termasuk pasangan yang sedang berkinerja buruk bulan ini.
• Masalah yang diketahui didokumentasikan. Ketika harness uji chat rusak selama beberapa minggu di awal 2026, periode itu dikeluarkan dari indeks dan dicatat secara tertulis di halaman metodologi. Riwayat tidak ditulis ulang secara diam-diam.
• Apa yang sengaja TIDAK kami klaim merupakan satu bagian tersendiri di halaman metodologi. Kami menyebutkan di mana juri LLM itu sendiri tidak sempurna. Kami menyebutkan apa yang tidak kami ukur (latensi, biaya, kepuasan pengguna, kesalahan sisi ASR sebelum terjemahan dijalankan). Kami mengungkapkan bahwa smoke test otomatis kami sendiri termasuk dalam lalu lintas tersebut.

Filter untuk evaluasi vendor berikutnya

Jika Anda mengevaluasi platform meeting multibahasa mana pun — milik kami atau milik yang lain — metodologi adalah halaman yang layak dibaca. Angka-angkanya sendiri adalah bagian yang mudah.

Filter praktis untuk vendor mana pun dalam kategori ini:

• Minta data kualitas per pasangan bahasa, per bulan, pada lalu lintas nyata. Bukan benchmark yang dikurasi. Bukan agregat.
• Tanyakan apa juri mereka, apa yang secara eksplisit tidak mereka ukur, dan apa yang berubah dalam enam bulan terakhir.
• Tanyakan apa yang terjadi ketika skor suatu pasangan bahasa turun — apakah mereka memberi tahu seseorang, atau memperbaikinya secara diam-diam?

Jika vendor memiliki ketiga jawaban itu secara tertulis, evaluasilah dengan serius. Jika tidak, Anda membeli pemasaran — bukan kualitas terjemahan.

Coba sendiri

• Coba demo langsung — menjalankan pipeline terjemahan produksi pada audio Anda, menilainya dengan juri yang sama yang menilai benchmark publik, dan menampilkan hasilnya kepada Anda.
• Lihat benchmark — setiap pasangan bahasa yang dipublikasikan, setiap bulan, dengan distribusi lengkapnya.
• Baca metodologi — bagaimana angka-angka dihitung, apa yang disertakan, dan apa yang tidak.

Anda tidak perlu mempercayai begitu saja perkataan kami. Itulah intinya.

Sumber: pengenal juri, ambang batas gating, dan aturan penekanan data di atas telah diverifikasi terhadap kode yang dirilis dan dipublikasikan di /benchmark/methodology; juri dilayani melalui Vercel AI Gateway; klaim pemasaran yang dikutip di bagian atas adalah rumusan yang lazim dalam kategori ini, bukan kutipan dari vendor tertentu; diperiksa Agustus 2026.