Metodologi

Penanda aras kualiti terjemahan InterMIND dihasilkan secara automatik oleh suite ujian kami sendiri: larian sintetik mingguan menjalankan saluran terjemahan yang sama yang menggerakkan /demo awam, ke atas set rujukan tetap, dengan cara yang sama untuk setiap pasangan bahasa. Ia bersifat sintetik dan boleh diulang — tiada apa-apa di sini yang dipilih atau disusun secara selektif, dan tiada manusia dalam proses pemarkahan.

Cara satu ujian berfungsi

Satu larian ujian memainkan fail audio rujukan (ujian suara) atau menghantar teks rujukan (ujian sembang) daripada bahasa sumber melalui saluran terjemahan langsung kami ke bahasa sasaran. Terjemahan yang dihasilkan dinilai pada skala 0–100 oleh penilai LLM berdasarkan terjemahan rujukan kanonik.

Penilai LLM: google/gemini-3.8-flash sebagai utama, anthropic/claude-sonnet-5 sebagai sandaran (melalui Vercel AI Gateway). Prompt, rubrik dan teks rujukan yang sama digunakan untuk semua pasangan.

Cara satu bulan dikumpulkan

1. Setiap larian penanda aras penuh yang selesai direkodkan dalam demo_test_runs bersama skor setiap bahasa sasaran. Pratonton pasangan tunggal dikecualikan — hanya larian penuh berbilang bahasa yang menyumbang kepada median.
2. Bagi setiap (bahasa sumber, bahasa sasaran, jenis ujian, minggu), kami simpan larian terkini, kemudian kumpulkan mengikut bulan — supaya satu sumber tidak dapat mengubah median dengan mengulang sesuatu pasangan dalam seminggu.
3. Daripada set yang telah dinyahduplikasi, kami mengira median, min, maks, p10, p90, purata dan saiz sampel.
4. Kami mengambil rakaman snapshot bagi skor individu supaya apabila sesuatu bulan ditutup, angka-angka itu kekal stabil walaupun larian mentah dipadam oleh TTL.

Bila sesuatu pasangan muncul dalam indeks awam

Satu baris (pasangan × jenis ujian × bulan) layak untuk indeks awam dan peta laman apabila ia melepasi saiz sampel minimum dan ambang median skor (ambang yang lebih rendah untuk suara, yang tidak dapat mengelak daripada hingar ASR). Oleh sebab set data datang daripada satu sumber automatik dan bukannya ramai pelawat bebas, keperluan sumber unik dilonggarkan untuk data sintetik ini — ambang saiz sampel dan kualiti tetap terpakai.

Pasangan yang tidak mencapai ambang masih boleh diakses melalui pautan terus — ambang itu hanya mengawal apa yang dilihat oleh enjin carian. Kami tidak menyembunyikan skor rendah daripada sesiapa yang memintanya secara langsung.

Apa yang sengaja TIDAK kami dakwa

• Satu skor tunggal tidak boleh dipercayai. Pasangan yang berprestasi baik boleh berubah 30 mata antara larian kerana ASR dan penilaian LLM kedua-duanya mengandungi hingar. Itulah sebabnya setiap halaman memaparkan taburan, bukan satu nombor.
• Penilai LLM itu sendiri tidak sempurna. Kami mungkin bertukar atau menggunakan dua penilai pada masa hadapan; baris sejarah akan membawa pengecam penilai apabila itu berlaku.
• Penanda aras ini tidak mengukur latensi, kos, ketersediaan atau kepuasan pengguna. Perkara itu terdapat di tempat lain.
• Set data ini bersifat sintetik — dihasilkan oleh suite automatik kami sendiri, bukan oleh trafik pihak ketiga yang bebas. Kami menyatakannya secara terbuka dan tidak membayangkan wujudnya panel luar.

Sikap jujur

Apabila kualiti sesuatu bulan menurun bagi sesuatu pasangan — ia kekal kelihatan. Apabila pepijat dibaiki dan bulan berikutnya melonjak — peningkatan itu kelihatan pada halaman yang sama. Kami tidak pernah menulis semula agregat sejarah. Pentadbir hanya boleh menyembunyikan bulan tertentu daripada indeks awam; mereka tidak boleh mengubah angka yang telah diterbitkan.

Isu diketahui yang menjejaskan data sejarah

• Harness ujian sembang, sebelum 2026-04-23: saluran ujian sembang automatik mengalami kegagalan bagi sesetengah bahasa. Agregat sembang daripada bulan-bulan terdahulu mungkin menunjukkan skor yang lebih rendah daripada kualiti terjemahan sebenar pada tempoh tersebut. Bulan yang terjejas disimpan dalam pangkalan data tetapi disorokkan daripada indeks awam; carta aliran akan menunjukkan perubahan mendadak pada titik pembaikan.

Soalan

Tidak bersetuju dengan sesuatu di sini? Buka isu atau hubungi kami. Kami akan mengemas kini halaman ini dan mencatat perubahan itu.