Γιατί το μάρκετινγκ για την ποιότητα μετάφρασης είναι προβληματικό — και τι δημοσιεύουμε εμείς

Ανοίξτε την ιστοσελίδα οποιουδήποτε παρόχου μετάφρασης σε πραγματικό χρόνο. Θα δείτε τους ίδιους τύπους αριθμών:

• «200+ γλώσσες»
• «6.000+ γλωσσικά ζεύγη»
• «Το πρώτο στον κόσμο» / «Η υψηλότερη ακρίβεια»
• «99% ακρίβεια»

Δοκιμάστε τώρα να βρείτε — σε οποιαδήποτε από αυτές τις σελίδες — τι σημαίνουν αυτοί οι αριθμοί για ένα meeting που πρόκειται να πραγματοποιήσετε. Ποιότητα ανά γλώσσα. Αναπαραγώγιμη μεθοδολογία. Μέγεθος δείγματος. Εξέλιξη του σκορ στον χρόνο. Ειλικρινής αποκάλυψη των σημείων όπου το μοντέλο είναι αδύναμο.

Δεν θα το βρείτε. Ούτε στο διαφημιστικό κείμενο, και σπάνια στην τεκμηρίωση.

Αυτή είναι η ισορροπία της κατηγορίας. Υπάρχει εξαιτίας τριών πραγμάτων:

1. Οι περισσότεροι πάροχοι δεν διαθέτουν δική τους μηχανή μετάφρασης. Δρομολογούν τα αιτήματα μέσω OpenAI, Google, DeepL, Microsoft ή κάποιου συνδυασμού τους. Η δημοσίευση δεδομένων ποιότητας ανά ζεύγος θα σήμαινε benchmarking του μοντέλου κάποιου άλλου — και αυτό δεν έχει καμία αξία για το μάρκετινγκ.
2. Τα ειλικρινή δεδομένα ποιότητας δύσκολα χωράνε σε μια διαφημιστική πινακίδα. Ένα μεμονωμένο σκορ έχει θόρυβο. Μια κατανομή είναι πιο χρήσιμη, αλλά πιο δύσκολο να συμπυκνωθεί. Μια τάση των τελευταίων έξι μηνών είναι ακόμη πιο χρήσιμη, και ακόμη πιο δύσκολη.
3. Οι τμήματα προμηθειών δεν έχουν ακόμη αντιδράσει. Οι αγοραστές δέχονται τους αριθμούς του μάρκετινγκ όπως είναι, και έτσι η ισορροπία διατηρείται.

Η ισορροπία αυτή δεν θα διατηρηθεί. Η επόμενη γενιά αγοραστών — φαρμακευτικές εταιρείες, νομικές υπηρεσίες, χρηματοοικονομικός τομέας, ελεγκτικές εταιρείες, δημόσιος τομέας — θα θέσει δυσκολότερες ερωτήσεις από το «πόσες γλώσσες». Δημιουργήσαμε το /benchmark επειδή πιστεύουμε ότι δεν θα πρέπει να χρειάζεται να εμπιστεύονται τον λόγο ενός παρόχου.

Τι δεν σας λένε οι αριθμοί του μάρκετινγκ

Το «200+ γλώσσες» σημαίνει ότι ο πάροχος διαθέτει ένα μοντέλο που παράγει κείμενο σε 200 γλώσσες. Η ποιότητα σε αυτές τις γλώσσες κυμαίνεται από επίπεδο παραγωγής για τα μεγάλα ζεύγη (EN↔DE, EN↔ES, EN↔FR) έως μόλις χρησιμοποιήσιμη για ζεύγη με λίγους διαθέσιμους πόρους. Χωρίς ανάλυση ανά ζεύγος, δεν μπορείτε να ξέρετε σε ποια πλευρά αυτού του ορίου θα βρεθεί το meeting σας.

Το «6.000+ γλωσσικά ζεύγη» είναι συνδυαστική N × N πάνω σε 80 γλώσσες-πηγές. Το να δηλώνετε ότι υποστηρίζετε 6.000 ζεύγη είναι το εύκολο μέρος. Το να δηλώνετε ότι ένα συγκεκριμένο ζεύγος είναι αρκετά καλό για μια αναθεώρηση CAPA, μια διαπραγμάτευση συμβολαίου ή μια παρουσίαση αποτελεσμάτων — αυτό είναι το μέρος που δεν υπάρχει στο φυλλάδιο.

Το «99% ακρίβεια», χωρίς να προσδιορίζεται τι μετρήθηκε, με βάση ποια αναφορά, σε ποιο δείγμα, από ποιον κριτή, δεν έχει περιεχόμενο. Η ποιότητα μετάφρασης δεν έχει καθολικό βαθμωτό μέγεθος. Έχει μια κατανομή που εξαρτάται από το γλωσσικό ζεύγος, τον θεματικό τομέα του περιεχομένου, την ποιότητα του ήχου (για τη φωνή), το όριο καθυστέρησης και το τι σημαίνει «αρκετά καλό» για τη συγκεκριμένη περίπτωση χρήσης.

Τι χρειάζεται πραγματικά να γνωρίζει ένας αγοραστής

Οι ερωτήσεις που εμφανίζονται σε πραγματικές αξιολογήσεις DPA και διαδικασίες προμηθειών:

1. Ποιότητα ανά ζεύγος — πώς αποδίδει συγκεκριμένα στα DE↔EN, EN↔AR, JA↔KO;
2. Μέγεθος δείγματος — σε πόσες εκτελέσεις βασίζεται ο αριθμός που αναφέρετε; Δέκα; Δέκα χιλιάδες;
3. Μεθοδολογία — ποιος κρίνει τις μεταφράσεις, με βάση ποια αναφορά, με ποιο rubric;
4. Κατανομή, όχι μέσος όρος — πώς φαίνεται το χειρότερο 10%; Το καλύτερο 10%; Η διάμεσος;
5. Μεταβολή στον χρόνο — έχει βελτιωθεί ή χειροτερέψει ένα συγκεκριμένο ζεύγος από την τελευταία φορά που δημοσιεύσατε αριθμό;
6. Τι δεν μετράτε — τι δεν καλύπτει ρητά το benchmark σας;

Καμία από αυτές δεν είναι αναπάντητη. Απλώς δεν βρίσκονται στη σελίδα μάρκετινγκ κανενός.

Τι δημοσιεύουμε

Το /benchmark είναι η απάντησή μας. Η μεθοδολογία βρίσκεται στο /benchmark/methodology — γράφτηκε πριν ξέρουμε ότι θα διαβάζατε αυτό το κείμενο.

Τρία πράγματα το ξεχωρίζουν από τα πρότυπα της κατηγορίας.

1. Πραγματική κίνηση, όχι επιλεγμένη σουίτα

Κάθε σκορ στο δημόσιο benchmark προέρχεται από πραγματική δοκιμαστική εκτέλεση στο /demo. Δεν επιλέγουμε εκ των προτέρων ζεύγη που αποδίδουν καλά. Η ίδια ροή επεξεργασίας που εξυπηρετεί το demo ενός αγοραστή είναι αυτή που μετριέται.

2. Ο κριτής κατονομάζεται

Κύριος: google/gemini-3.5-flash. Εφεδρικός: anthropic/claude-sonnet-5. Και οι δύο μέσω Vercel AI Gateway. Ο κριτής αποτελεί μέρος της μεθοδολογίας — γνωστοποιείται ονομαστικά. Όταν αλλάζουμε κριτή (το έχουμε κάνει, καθώς τα μοντέλα αποσύρονται), οι ιστορικές εγγραφές φέρουν τον κριτή που τις βαθμολόγησε πραγματικά· οι παλιές βαθμολογίες δεν επαναβαθμολογούνται ποτέ σιωπηλά.

3. Η κατανομή είναι τα δεδομένα, όχι ο μέσος όρος

Κάθε δημοσιευμένη γραμμή εμφανίζει διάμεσο, p10, p90, ελάχιστο, μέγιστο και μέγεθος δείγματος — όχι έναν μεμονωμένο αριθμό. Ένας μεμονωμένος αριθμός για ένα ζεύγος μετάφρασης είναι θόρυβος. Το σχήμα της κατανομής είναι το σήμα.

Πρακτικές που η κατηγορία δεν έχει υιοθετήσει

• Τα ζεύγη με χαμηλό σκορ δεν κρύβονται. Ο δημόσιος δείκτης φιλτράρεται με ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — όμως οποιοσδήποτε μπορεί να μεταβεί απευθείας σε οποιοδήποτε ζεύγος και να δει τους πραγματικούς αριθμούς, συμπεριλαμβανομένων των ζευγών που τον τρέχοντα μήνα έχουν κακή απόδοση.
• Τα γνωστά προβλήματα τεκμηριώνονται. Όταν το chat-test harness ήταν χαλασμένο για μερικές εβδομάδες νωρίτερα το 2026, η περίοδος αυτή αποκλείστηκε από τον δείκτη και σημειώθηκε γραπτώς στη σελίδα της μεθοδολογίας. Το ιστορικό δεν ξαναγράφεται σιωπηλά.
• Τι ΔΕΝ ισχυριζόμαστε σκόπιμα είναι ολόκληρη ενότητα στη σελίδα της μεθοδολογίας. Λέμε πού ο ίδιος ο LLM κριτής είναι ατελής. Λέμε τι δεν μετράμε (καθυστέρηση, κόστος, ικανοποίηση χρηστών, σφάλματα από την πλευρά του ASR πριν καν εκτελεστεί η μετάφραση). Γνωστοποιούμε ότι οι δικές μας αυτοματοποιημένες δοκιμές smoke αποτελούν μέρος της κίνησης.

Ένα φίλτρο για την επόμενη αξιολόγηση παρόχου

Αν αξιολογείτε οποιαδήποτε πολύγλωσση πλατφόρμα meeting — τη δική μας ή άλλη — η μεθοδολογία είναι η σελίδα που αξίζει να διαβάσετε. Οι ίδιοι οι αριθμοί είναι το εύκολο μέρος.

Ένα πρακτικό φίλτρο για κάθε πάροχο αυτής της κατηγορίας:

• Ζητήστε δεδομένα ποιότητας ανά γλωσσικό ζεύγος και ανά μήνα, σε πραγματική κίνηση. Όχι επιλεγμένο benchmark. Όχι συγκεντρωτικά στοιχεία.
• Ρωτήστε ποιος είναι ο κριτής τους, τι δεν μετρούν ρητά και τι έχει αλλάξει τους τελευταίους έξι μήνες.
• Ρωτήστε τι συμβαίνει όταν πέφτει το σκορ ενός ζεύγους — το ανακοινώνουν σε κάποιον ή το διορθώνουν σιωπηλά;

Αν ο πάροχος έχει και τις τρεις απαντήσεις γραπτώς, αξιολογήστε τον σοβαρά. Αν όχι, αγοράζετε μάρκετινγκ — όχι ποιότητα μετάφρασης.

Δοκιμάστε το μόνοι σας

• Δοκιμάστε το ζωντανό demo — εκτελεί την παραγωγική ροή μετάφρασης στον δικό σας ήχο, τον βαθμολογεί με τον ίδιο κριτή που βαθμολογεί το δημόσιο benchmark και σας εμφανίζει το αποτέλεσμα.
• Δείτε το benchmark — κάθε δημοσιευμένο γλωσσικό ζεύγος, κάθε μήνας, με πλήρη κατανομή.
• Διαβάστε τη μεθοδολογία — πώς υπολογίζονται οι αριθμοί, τι περιλαμβάνουν, τι δεν περιλαμβάνουν.

Δεν θα χρειαστεί να πάρετε τον λόγο μας για τίποτα από όλα αυτά. Αυτό είναι το νόημα.

Πηγές: τα αναγνωριστικά των κριτών, τα όρια φιλτραρίσματος και οι κανόνες αποκλεισμού που αναφέρονται παραπάνω επαληθεύονται με βάση τον κώδικα που έχει τεθεί σε παραγωγή και δημοσιεύονται στο /benchmark/methodology· οι κριτές παρέχονται μέσω του Vercel AI Gateway· οι ισχυρισμοί μάρκετινγκ που παρατίθενται στην αρχή είναι τυπικές διατυπώσεις της κατηγορίας, όχι αποσπάσματα από συγκεκριμένο πάροχο· ελέγχθηκε τον Αύγουστο 2026.