Mengapa pemasaran kualitas terjemahan itu bermasalah — dan apa yang kami publikasikan sebagai gantinya

Buka situs vendor terjemahan langsung (live translation) mana pun. Anda akan melihat jenis angka yang sama:

• "200+ bahasa"
• "6.000+ pasangan bahasa"
• "Yang pertama di dunia" / "Akurasi tertinggi"
• "99% akurat"

Sekarang coba cari — di halaman vendor mana pun — apa arti angka-angka itu bagi sebuah meeting yang akan Anda adakan. Kualitas per bahasa. Metodologi yang dapat direproduksi. Ukuran sampel. Skor dari waktu ke waktu. Keterbukaan yang jujur tentang di mana model itu lemah.

Anda tidak akan menemukannya. Tidak di materi pemasaran, dan jarang di dokumentasinya.

Inilah titik keseimbangan dari kategori ini. Keseimbangan itu ada karena tiga hal:

1. Sebagian besar vendor tidak memiliki mesin terjemahan sendiri. Mereka merutekan lewat OpenAI, Google, DeepL, Microsoft, atau kombinasinya. Mempublikasikan data kualitas per pasangan bahasa berarti melakukan benchmark terhadap model milik pihak lain — tidak ada nilai pemasaran di dalamnya.
2. Data kualitas yang jujur sulit dipasang di papan reklame. Satu skor tunggal penuh derau (noise). Sebuah distribusi lebih berguna tetapi lebih sulit diringkas. Sebuah last-six-months trend lebih berguna lagi, dan lebih sulit lagi diringkas.
3. Bagian pengadaan belum menekan balik. Para pembeli menerima angka pemasaran begitu saja, sehingga keseimbangan itu bertahan.

Keseimbangan itu tidak akan bertahan. Generasi pembeli berikutnya — farmasi, hukum, keuangan, audit, sektor publik — akan mengajukan pertanyaan yang lebih berat daripada "berapa banyak bahasa". Kami membangun /benchmark karena kami yakin mereka tidak seharusnya hanya bergantung pada pernyataan vendor.

Apa yang tidak dikatakan oleh angka-angka pemasaran

"200+ bahasa" berarti vendor memiliki model yang dapat menghasilkan teks dalam 200 bahasa. Kualitas di antara bahasa-bahasa itu bervariasi, dari kelas produksi untuk pasangan utama (EN↔DE, EN↔ES, EN↔FR) hingga nyaris tidak dapat dipakai untuk pasangan dengan sumber daya rendah. Tanpa rincian per pasangan, Anda tidak dapat mengetahui di sisi mana dari garis itu meeting Anda akan berada.

"6.000+ pasangan bahasa" adalah kombinatorika N × N dari 80 bahasa sumber. Menyatakan bahwa Anda mendukung 6.000 pasangan adalah bagian yang mudah. Menyatakan bahwa pasangan tertentu cukup baik untuk tinjauan CAPA, negosiasi kontrak, atau earnings call — itulah bagian yang tidak ada di brosur.

"99% akurat", tanpa menyebutkan apa yang diukur, terhadap referensi apa, pada sampel apa, dinilai oleh juri apa — tidak punya isi. Kualitas terjemahan tidak memiliki skalar universal. Ia memiliki distribusi yang bergantung pada pasangan bahasa, domain konten, kualitas audio (untuk suara), anggaran latensi, dan apa arti "cukup baik" untuk kasus penggunaan tertentu.

Apa yang sebenarnya perlu diketahui pembeli

Pertanyaan yang sebaiknya diajukan host sebelum memercayai sebuah pasangan bahasa untuk panggilan dengan klien:

1. Kualitas per pasangan — bagaimana performanya pada DE↔EN, EN↔AR, JA↔KO, secara spesifik?
2. Ukuran sampel — angka yang Anda laporkan didasarkan pada berapa kali pengujian? Sepuluh? Sepuluh ribu?
3. Metodologi — siapa yang menilai terjemahannya, terhadap referensi apa, dengan rubrik apa?
4. Distribusi, bukan rata-rata — seperti apa 10% kasus terburuk? 10% terbaik? Mediannya?
5. Pergeseran dari waktu ke waktu — apakah sebuah pasangan menjadi lebih baik atau lebih buruk sejak terakhir kali Anda mempublikasikan angkanya?
6. Apa yang tidak Anda ukur — apa yang secara eksplisit tidak ditangkap oleh benchmark Anda?

Tidak satu pun dari ini mustahil dijawab. Hanya saja semuanya tidak ada di halaman pemasaran siapa pun.

Apa yang kami publikasikan

/benchmark adalah jawaban kami. Metodologinya ada di /benchmark/methodology — ditulis sebelum kami tahu Anda akan membaca ini.

Ada tiga hal yang membedakannya dari norma kategori ini.

1. Lalu lintas nyata, bukan rangkaian uji yang dikurasi

Setiap skor dalam benchmark publik berasal dari uji coba /demo yang nyata. Kami tidak memilih lebih dulu pasangan yang berkinerja baik. Pipeline yang sama yang melayani demo seorang pembeli adalah yang diukur.

2. Juri disebutkan namanya

Utama: google/gemini-3.5-flash. Cadangan: anthropic/claude-sonnet-5. Keduanya melalui Vercel AI Gateway. Juri adalah bagian dari metodologi — diungkapkan dengan nama. Ketika kami mengganti juri (sudah pernah, karena model dipensiunkan), baris historis mencatat juri yang benar-benar memberi skor; skor lama tidak pernah dinilai ulang secara diam-diam.

3. Distribusi adalah datanya, bukan rata-ratanya

Setiap baris yang dipublikasikan menampilkan median, p10, p90, min, maks, dan ukuran sampel — bukan satu angka. Satu angka untuk sebuah pasangan terjemahan hanyalah derau. Bentuk distribusinyalah yang menjadi sinyal.

Praktik yang belum diadopsi kategori ini

• Pasangan berskor rendah tidak disembunyikan. Indeks publik dibatasi pada ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — tetapi siapa pun dapat membuka tautan langsung ke pasangan mana pun dan melihat angka sebenarnya, termasuk pasangan yang sedang berkinerja buruk bulan ini.
• Masalah yang diketahui didokumentasikan. Ketika harness uji chat rusak selama beberapa minggu di awal 2026, periode itu dikeluarkan dari indeks dan dicatat secara tertulis di halaman metodologi. Riwayat tidak ditulis ulang secara diam-diam.
• Apa yang sengaja TIDAK kami klaim adalah satu bagian tersendiri di halaman metodologi. Kami menyebutkan di mana juri LLM itu sendiri tidak sempurna. Kami menyebutkan apa yang tidak kami ukur (latensi, biaya, kepuasan pengguna, kesalahan sisi ASR sebelum terjemahan dijalankan). Kami mengungkapkan bahwa uji smoke otomatis kami sendiri termasuk dalam lalu lintas.

Filter untuk evaluasi vendor berikutnya

Jika Anda mengevaluasi platform meeting multibahasa mana pun — milik kami atau milik lain — metodologi adalah halaman yang layak dibaca. Angka-angkanya sendiri adalah bagian yang mudah.

Filter praktis untuk vendor mana pun di kategori ini:

• Minta data kualitas per pasangan bahasa, per bulan, pada lalu lintas nyata. Bukan benchmark yang dikurasi. Bukan agregat.
• Tanyakan apa juri mereka, apa yang secara eksplisit tidak mereka ukur, dan apa yang berubah dalam enam bulan terakhir.
• Tanyakan apa yang terjadi ketika skor sebuah pasangan turun — apakah mereka memberi tahu seseorang, atau memperbaikinya secara diam-diam?

Jika vendor memiliki ketiga jawaban itu secara tertulis, evaluasilah dengan serius. Jika tidak, Anda sedang membeli pemasaran — bukan kualitas terjemahan.

Coba sendiri

• Coba demo langsung — menjalankan pipeline terjemahan produksi pada audio Anda, menilainya dengan juri yang sama yang menilai benchmark publik, dan menampilkan hasilnya kepada Anda.
• Lihat benchmark — setiap pasangan bahasa yang dipublikasikan, setiap bulan, dengan distribusi lengkap.
• Baca metodologi — bagaimana angka-angka dihitung, apa yang disertakan, apa yang tidak.

Anda tidak perlu percaya begitu saja pada kata-kata kami. Itulah intinya.

Sumber: pengenal juri, ambang batas penyaringan, dan aturan penekanan di atas telah diverifikasi terhadap kode yang dirilis dan dipublikasikan di /benchmark/methodology; para juri dilayani melalui Vercel AI Gateway; klaim pemasaran yang dikutip di bagian atas adalah rumusan khas kategori, bukan kutipan dari vendor tertentu; diperiksa pada Agustus 2026.