Συγκριτική αξιολόγηση ποιότητας μετάφρασης με AI

Επειδή το σύνολο των γλωσσών διευρύνεται διαρκώς. Κάθε γλώσσα που προσθέτουμε στο προϊόν εντάσσεται στην εβδομαδιαία εκτέλεση της συγκριτικής αξιολόγησης και μπαίνει στον δείκτη μόλις ξεπεράσει το όριο δημοσίευσης — και μια νέα γλώσσα σπάνια ξεκινά από το επίπεδο ενός ζεύγους που βελτιστοποιούμε εδώ και έναν χρόνο. Ο κεντρικός αριθμός είναι ο διάμεσος όλων των δημοσιευμένων ζευγών για το τρίμηνο, οπότε μια ομάδα νεοεισερχομένων τον τραβά προς τα κάτω, ακόμη κι όταν κάθε καθιερωμένο ζεύγος διατηρείται ή βελτιώνεται. Στη συνέχεια τα νέα ζεύγη ανεβαίνουν καθώς τα βελτιστοποιούμε, και ο δείκτης ανακάμπτει. Για να δείτε την πρόοδο μιας συγκεκριμένης γλώσσας, ανοίξτε τη σελίδα του ζεύγους της παρακάτω: αυτή η τάση δεν αλλοιώνεται από τίποτα άλλο.

Κάθε δοκιμή στέλνει ένα κείμενο αναφοράς (συνομιλία) ή αναπαράγει ένα αρχείο ήχου αναφοράς (φωνή) μέσα από την ίδια ζωντανή διαδικασία που χρησιμοποιεί το προϊόν, και ένας κριτής LLM βαθμολογεί το αποτέλεσμα από 0 έως 100 σε σύγκριση με μια κανονική μετάφραση αναφοράς. Οι βαθμολογίες κατατάσσονται σε κλίμακες: 90 και άνω είναι άριστο, 70–89 καλό, 50–69 μέτριο, κάτω από 50 αδύναμο. Μία μεμονωμένη εκτέλεση μπορεί να διαφέρει κατά δεκάδες βαθμούς, επειδή τόσο η αναγνώριση ομιλίας όσο και ο κριτής παρουσιάζουν θόρυβο, οπότε κρίνετε ένα ζεύγος από τον διάμεσο και το εύρος του σε διάστημα ενός μήνα, όχι από έναν μόνο αριθμό.

Η φωνή έχει μία βαθμολογία από άκρο σε άκρο: αναγνώριση ομιλίας συν μετάφραση. Η συνομιλία είναι μετάφραση μόνο του πληκτρολογημένου κειμένου. Τα σφάλματα αναγνώρισης καταλήγουν στη βαθμολογία της φωνής, γι' αυτό τα ζεύγη φωνής έχουν κατά μέσο όρο χαμηλότερες τιμές και χαμηλότερο όριο δημοσίευσης — 45 έναντι 60 για τη συνομιλία. Αν η ομάδα σας κυρίως πληκτρολογεί, κοιτάξτε τον αριθμό της συνομιλίας· αν κυρίως μιλάει, εμπιστευτείτε τον αριθμό της φωνής.

Όχι. Η συγκριτική αξιολόγηση είναι συνθετική: η αυτοματοποιημένη σουίτα μας περνά κάθε εβδομάδα ένα σταθερό σύνολο αναφοράς FLORES-200 μέσα από τη ροή επεξεργασίας, και αυτή είναι η μοναδική πηγή αυτών των αριθμών. Οι συνεδρίες που εκτελούν οι χρήστες στο demo ούτε βαθμολογούνται ούτε αποθηκεύονται στη συγκριτική αξιολόγηση, και τα meetings σας δεν χρησιμοποιούνται ποτέ γι' αυτήν.

Ανοίξτε τη σελίδα του ίδιου του ζεύγους από τον παραπάνω πίνακα: εμφανίζει τη διάμεσο, το εύρος και το μέγεθος δείγματος ανά μήνα, καθώς και την τάση στη διάρκεια των μηνών. Για να το ελέγξετε με δικό σας υλικό, ανοίξτε το περιβάλλον δοκιμών — την ίδια διάταξη δύο πάνελ στην οποία εκτελείται η συγκριτική αξιολόγηση — και μιλήστε ή πληκτρολογήστε στη γλώσσα σας· τίποτα δεν ξεκινά από μόνο του και τίποτα δεν αποθηκεύεται. Αν ένα ζεύγος δεν εμφανίζεται, είτε δεν έχει περάσει ακόμη το όριο δημοσίευσης είτε δεν υπάρχει ακόμη στο προϊόν. Οι χαμηλές βαθμολογίες παραμένουν προσβάσιμες μέσω άμεσου συνδέσμου· δεν τις κρύβουμε.