Penanda Aras Kualiti Terjemahan AI

Kerana set bahasa terus bertambah. Setiap bahasa yang kami tambah pada produk akan menyertai larian penanda aras mingguan dan memasuki indeks sebaik sahaja ia melepasi ambang penerbitan — dan bahasa baharu jarang bermula pada tahap yang sama seperti pasangan yang telah kami laras selama setahun. Angka utama ialah median merentas semua pasangan yang diterbitkan bagi suku tahun itu, jadi sekumpulan pendatang baharu menariknya turun walaupun setiap pasangan yang mantap kekal atau bertambah baik. Pasangan baharu kemudian meningkat apabila kami melarasnya, dan indeks pulih semula. Untuk melihat kemajuan bagi satu bahasa, buka halaman pasangannya di bawah: trend itu tidak dicairkan oleh apa-apa yang lain.

Setiap ujian menghantar teks rujukan (sembang) atau memainkan fail audio rujukan (suara) melalui saluran langsung yang sama digunakan oleh produk, dan seorang hakim LLM memberi markah output daripada 0 hingga 100 berbanding terjemahan rujukan kanonik. Markah jatuh dalam beberapa band: 90 ke atas cemerlang, 70–89 baik, 50–69 sederhana, di bawah 50 lemah. Satu larian boleh berayun sehingga berpuluh mata kerana pengecaman pertuturan dan hakim kedua-duanya tidak stabil, jadi nilaikan sesuatu pasangan berdasarkan median dan julatnya sepanjang sebulan, bukan satu nombor.

Suara ialah satu markah hujung ke hujung: pengecaman pertuturan ditambah terjemahan. Sembang ialah terjemahan teks yang ditaip sahaja. Ralat pengecaman masuk dalam markah suara, jadi pasangan suara purata lebih rendah dan mempunyai ambang penerbitan yang lebih rendah — 45 berbanding 60 untuk sembang. Jika pasukan anda kebanyakannya menaip, nombor sembang ialah yang perlu dilihat; jika kebanyakannya bercakap, percayai nombor suara.

Tidak. Penanda aras ini bersifat sintetik: suite automatik kami memainkan set rujukan FLORES-200 yang tetap melalui saluran paip setiap minggu, dan itulah satu-satunya sumber nombor ini. Sesi yang dijalankan orang pada demo tidak dinilai dan tidak disimpan ke dalam penanda aras, dan mesyuarat anda tidak pernah digunakan untuknya.

Buka halaman pasangan itu sendiri daripada jadual di atas: halaman itu menunjukkan median, julat dan saiz sampel setiap bulan, serta trend merentas bulan. Untuk menyemaknya dengan bahan anda sendiri, buka ppelantar ujian — persediaan dua panel yang sama yang digunakan penanda aras — dan bertutur atau taip dalam bahasa anda; tiada apa-apa bermula dengan sendirinya dan tiada apa-apa disimpan. Jika sesuatu pasangan tidak disenaraikan, ia belum melepasi ambang penerbitan atau belum ada dalam produk. Markah rendah kekal boleh dicapai melalui pautan terus; kami tidak menyembunyikannya.