Mengapa pemasaran kualiti terjemahan bermasalah — dan apa yang kami terbitkan sebagai gantinya

Buka laman web mana-mana vendor terjemahan langsung. Anda akan melihat jenis angka yang sama:

• "200+ languages"
• "6,000+ language pairs"
• "World's first" / "Highest accuracy"
• "99% accurate"

Sekarang cuba cari — pada mana-mana halaman vendor tersebut — apa maksud angka-angka itu bagi mesyuarat yang akan anda adakan. Kualiti bagi setiap bahasa. Metodologi yang boleh diulang. Saiz sampel. Skor dari semasa ke semasa. Pendedahan jujur tentang di mana model itu lemah.

Anda tidak akan menemuinya. Bukan dalam teks pemasaran, dan jarang sekali dalam dokumentasi.

Inilah keseimbangan yang wujud dalam kategori ini. Ia wujud kerana tiga perkara:

1. Kebanyakan vendor tidak memiliki enjin terjemahan mereka sendiri. Mereka menyalurkan melalui OpenAI, Google, DeepL, Microsoft, atau gabungan beberapa daripadanya. Menerbitkan data kualiti bagi setiap pasangan bermakna membuat penanda aras terhadap model milik orang lain — tiada nilai pemasaran dalam hal itu.
2. Data kualiti yang jujur sukar dipaparkan pada papan iklan. Satu skor sahaja bersifat bising. Taburan lebih berguna tetapi lebih sukar dipadatkan. last-six-months trend lebih berguna lagi, dan lebih sukar lagi.
3. Pihak perolehan belum lagi menolak. Pembeli menerima angka pemasaran seadanya, maka keseimbangan itu bertahan.

Keseimbangan itu tidak akan bertahan. Golongan pembeli seterusnya — farmaseutikal, undang-undang, kewangan, audit, sektor awam — akan mengemukakan soalan yang lebih sukar daripada "berapa banyak bahasa." Kami membina /benchmark kerana kami percaya mereka tidak sepatutnya perlu bergantung pada kata-kata vendor semata-mata.

Apa yang angka pemasaran tidak beritahu anda

"200+ languages" bermaksud vendor mempunyai model yang menghasilkan teks dalam 200 bahasa. Kualiti merentasi bahasa-bahasa tersebut berbeza-beza, daripada tahap pengeluaran bagi pasangan utama (EN↔DE, EN↔ES, EN↔FR) hingga hampir tidak boleh digunakan bagi pasangan bersumber rendah. Tanpa pecahan bagi setiap pasangan, anda tidak dapat mengetahui di sebelah mana garisan itu mesyuarat anda akan berada.

"6,000+ language pairs" ialah kombinatorik N × N pada 80 bahasa sumber. Mengatakan anda menyokong 6,000 pasangan ialah bahagian yang mudah. Mengatakan mana-mana satu pasangan itu cukup baik untuk semakan CAPA, rundingan kontrak, atau panggilan hasil pendapatan — itulah bahagian yang tiada dalam risalah.

"99% accurate", tanpa menyatakan apa yang diukur, berdasarkan rujukan apa, pada sampel apa, oleh penilai mana — adalah kosong kandungan. Kualiti terjemahan tidak mempunyai skalar sejagat. Ia mempunyai taburan yang bergantung pada pasangan bahasa, domain kandungan, kualiti audio (untuk suara), bajet kependaman, dan apa maksud "cukup baik" bagi kes penggunaan tertentu.

Apa yang pembeli sebenarnya perlu tahu

Soalan yang patut ditanya oleh hos sebelum mempercayai sesuatu pasangan untuk panggilan pelanggan:

1. Kualiti bagi setiap pasangan — bagaimana prestasinya pada DE↔EN, EN↔AR, JA↔KO, secara khusus?
2. Saiz sampel — berapa banyak larian yang menjadi asas angka yang dilaporkan? Sepuluh? Sepuluh ribu?
3. Metodologi — siapa yang menilai terjemahan, berdasarkan rujukan apa, dengan rubrik apa?
4. Taburan, bukan purata — bagaimana rupa 10% kes terburuk? 10% terbaik? Median?
5. Hanyutan dari semasa ke semasa — adakah sesuatu pasangan bertambah baik atau bertambah buruk sejak kali terakhir anda menerbitkan angka?
6. Apa yang tidak anda ukur — apa yang secara jelas tidak dicakup oleh penanda aras anda?

Tiada satu pun daripada soalan ini yang tidak boleh dijawab. Cuma ia tidak terdapat pada halaman pemasaran sesiapa.

Apa yang kami terbitkan

/benchmark ialah jawapan kami. Metodologinya terdapat di /benchmark/methodology — ditulis sebelum kami tahu anda akan membaca ini.

Tiga perkara yang membezakannya daripada norma kategori ini.

1. Trafik sebenar, bukan set ujian terpilih

Setiap skor dalam penanda aras awam datang daripada larian ujian /demo yang sebenar. Kami tidak memilih terlebih dahulu pasangan yang berprestasi baik. Saluran paip yang sama yang melayani demo seorang pembeli ialah yang diukur.

2. Penilai dinamakan

Utama: google/gemini-3.5-flash. Sandaran: anthropic/claude-sonnet-5. Kedua-duanya melalui Vercel AI Gateway. Penilai ialah sebahagian daripada metodologi — didedahkan dengan nama. Apabila kami menukar penilai (kami pernah, kerana model dipersarakan), baris sejarah membawa penilai yang sebenarnya memberi skor kepadanya; skor lama tidak pernah dinilai semula secara senyap.

3. Taburan ialah datanya, bukan purata

Setiap baris yang diterbitkan menunjukkan median, p10, p90, min, maks, dan saiz sampel — bukan satu angka. Satu angka bagi sesuatu pasangan terjemahan hanyalah gangguan. Bentuk taburan itulah isyaratnya.

Amalan yang belum diguna pakai oleh kategori ini

• Pasangan berskor rendah tidak disembunyikan. Indeks awam disaring pada ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — tetapi sesiapa sahaja boleh memaut terus ke mana-mana pasangan dan melihat angka sebenar, termasuk pasangan yang berprestasi buruk bulan ini.
• Isu yang diketahui didokumentasikan. Apabila harness ujian sembang rosak selama beberapa minggu pada awal 2026, tempoh itu digugurkan daripada indeks dan dicatat secara bertulis pada halaman metodologi. Sejarah tidak ditulis semula secara senyap.
• Apa yang sengaja TIDAK kami dakwa ialah satu bahagian penuh pada halaman metodologi. Kami nyatakan di mana penilai LLM itu sendiri tidak sempurna. Kami nyatakan apa yang tidak kami ukur (kependaman, kos, kepuasan pengguna, ralat di sisi ASR sebelum terjemahan dijalankan). Kami dedahkan bahawa ujian asap automatik kami sendiri adalah sebahagian daripada trafik.

Penapis untuk penilaian vendor yang seterusnya

Jika anda sedang menilai mana-mana platform mesyuarat berbilang bahasa — kami atau yang lain — metodologi ialah halaman yang patut dibaca. Angka itu sendiri ialah bahagian yang mudah.

Penapis praktikal untuk mana-mana vendor dalam kategori ini:

• Minta data kualiti bagi setiap pasangan bahasa dan setiap bulan pada trafik sebenar. Bukan penanda aras terpilih. Bukan agregat.
• Tanya siapa penilai mereka, apa yang secara jelas tidak mereka ukur, dan apa yang telah berubah dalam enam bulan lepas.
• Tanya apa yang berlaku apabila skor sesuatu pasangan menurun — adakah mereka memberitahu sesiapa, atau membetulkannya secara senyap?

Jika vendor mempunyai ketiga-tiga jawapan secara bertulis, nilailah mereka dengan serius. Jika tidak, anda sedang membeli pemasaran — bukan kualiti terjemahan.

Cuba sendiri

• Cuba demo langsung — menjalankan saluran paip terjemahan pengeluaran pada audio anda, menilainya dengan penilai yang sama yang menilai penanda aras awam, dan menunjukkan hasilnya kepada anda.
• Lihat penanda aras — setiap pasangan bahasa yang diterbitkan, setiap bulan, dengan taburan penuh.
• Baca metodologi — bagaimana angka dikira, apa yang disertakan, apa yang tidak.

Anda tidak perlu bergantung pada kata-kata kami untuk mana-mana daripadanya. Itulah intinya.

Sumber: pengecam penilai, ambang saringan dan peraturan penggugguran di atas telah disahkan terhadap kod yang dihantar dan diterbitkan di /benchmark/methodology; penilai disajikan melalui Vercel AI Gateway; dakwaan pemasaran yang dipetik di bahagian atas ialah frasa lazim dalam kategori ini, bukan petikan daripada vendor tertentu; disemak pada Ogos 2026.