InterMIND

Μεθοδολογία

Το benchmark ποιότητας μετάφρασης του InterMIND παράγεται αυτόματα από τη δική μας σουίτα δοκιμών: μια εβδομαδιαία συνθετική εκτέλεση οδηγεί την ίδια ροή μετάφρασης που τροφοδοτεί το δημόσιο /demo πάνω σε ένα σταθερό σύνολο αναφοράς, με τον ίδιο τρόπο για κάθε ζεύγος γλωσσών. Είναι συνθετικό και αναπαραγώγιμο — τίποτα εδώ δεν έχει επιλεγεί επιλεκτικά ή «στημένα», και δεν υπάρχει άνθρωπος στη διαδικασία βαθμολόγησης.

Πώς λειτουργεί μία μεμονωμένη δοκιμή

Μια εκτέλεση δοκιμής αναπαράγει ένα αρχείο ήχου αναφοράς (δοκιμή φωνής) ή στέλνει ένα κείμενο αναφοράς (δοκιμή chat) από μια γλώσσα προέλευσης μέσα από την ενεργή ροή μετάφρασής μας προς μια γλώσσα-στόχο. Η μετάφραση που προκύπτει βαθμολογείται από 0 έως 100 από έναν κριτή LLM, με βάση μια κανονική μετάφραση αναφοράς.

Κριτής LLM: google/gemini-3.8-flash ως κύριος, anthropic/claude-sonnet-5 ως εφεδρικός (μέσω Vercel AI Gateway). Το ίδιο prompt, το ίδιο κριτήριο βαθμολόγησης και τα ίδια κείμενα αναφοράς χρησιμοποιούνται σε όλα τα ζεύγη.

Πώς συγκεντρώνεται ένας μήνας

  1. Κάθε ολοκληρωμένη πλήρης εκτέλεση του benchmark καταγράφεται στο demo_test_runs με βαθμολογίες ανά γλώσσα-στόχο. Οι προεπισκοπήσεις μεμονωμένων ζευγών εξαιρούνται — μόνο οι πλήρεις πολυγλωσσικές εκτελέσεις τροφοδοτούν τις διαμέσους.
  2. Για κάθε (γλώσσα προέλευσης, γλώσσα-στόχος, τύπος δοκιμής, εβδομάδα) κρατάμε την τελευταία εκτέλεση και στη συνέχεια συγκεντρώνουμε ανά μήνα — ώστε μία μεμονωμένη πηγή να μην μπορεί να μετακινήσει τις διαμέσους επαναλαμβάνοντας ένα ζεύγος μέσα στην ίδια εβδομάδα.
  3. Από το σύνολο χωρίς διπλότυπα υπολογίζουμε τη διάμεσο, το ελάχιστο, το μέγιστο, τα p10, p90, τον μέσο όρο και το μέγεθος δείγματος.
  4. Αποθηκεύουμε στιγμιότυπα των επιμέρους βαθμολογιών, ώστε μόλις κλείσει ένας μήνας, οι αριθμοί να παραμένουν σταθεροί ακόμη και αν οι ακατέργαστες εκτελέσεις διαγραφούν λόγω TTL.

Πότε ένα ζεύγος εμφανίζεται στον δημόσιο δείκτη

Μια γραμμή (ζεύγος × τύπος δοκιμής × μήνας) είναι επιλέξιμη για τον δημόσιο δείκτη και το sitemap όταν πληροί ένα ελάχιστο μέγεθος δείγματος και ένα κατώφλι διαμέσου βαθμολογίας (χαμηλότερο κατώφλι για τη φωνή, που περιλαμβάνει αναπόφευκτο θόρυβο ASR). Επειδή το σύνολο δεδομένων προέρχεται από μία ενιαία αυτοματοποιημένη πηγή και όχι από πολλούς ανεξάρτητους επισκέπτες, η απαίτηση μοναδικών πηγών χαλαρώνει για αυτά τα συνθετικά δεδομένα — τα κατώφλια μεγέθους δείγματος και ποιότητας εξακολουθούν να ισχύουν.

Τα ζεύγη που δεν τα πληρούν παραμένουν προσβάσιμα μέσω άμεσου συνδέσμου — τα κατώφλια ελέγχουν μόνο όσα βλέπουν οι μηχανές αναζήτησης. Δεν κρύβουμε τις χαμηλές βαθμολογίες από όποιον τις ζητήσει απευθείας.

Τι ΔΕΝ ισχυριζόμαστε σκόπιμα

  • Μία μεμονωμένη βαθμολογία δεν είναι αξιόπιστη. Ένα ζεύγος που συμπεριφέρεται καλά μπορεί να παρουσιάσει διακύμανση 30 μονάδων μεταξύ εκτελέσεων, επειδή τόσο το ASR όσο και η κρίση του LLM έχουν θόρυβο. Γι' αυτό κάθε σελίδα εμφανίζει μια κατανομή και όχι έναν μεμονωμένο αριθμό.
  • Ο ίδιος ο κριτής LLM δεν είναι τέλειος. Ενδέχεται να αλλάξουμε κριτή ή να χρησιμοποιήσουμε διπλό κριτή στο μέλλον· οι ιστορικές εγγραφές θα φέρουν το αναγνωριστικό του κριτή όταν συμβεί αυτό.
  • Το benchmark δεν μετρά καθυστέρηση, κόστος, διαθεσιμότητα ή ικανοποίηση χρηστών. Αυτά βρίσκονται αλλού.
  • Το σύνολο δεδομένων είναι συνθετικό — παράγεται από τη δική μας αυτοματοποιημένη σουίτα και όχι από ανεξάρτητη κίνηση τρίτων. Το γνωστοποιούμε ρητά αντί να υπονοούμε την ύπαρξη εξωτερικού πάνελ.

Ειλικρινείς επιλογές

Όταν ένας μήνας πέφτει σε ποιότητα για ένα συγκεκριμένο ζεύγος — παραμένει ορατός. Όταν διορθώνεται ένα σφάλμα και ο επόμενος μήνας παρουσιάζει άνοδο — η βελτίωση είναι ορατή στην ίδια σελίδα. Δεν ξαναγράφουμε ποτέ ιστορικά συγκεντρωτικά στοιχεία. Οι διαχειριστές μπορούν μόνο να αποκρύψουν μεμονωμένους μήνες από τον δημόσιο δείκτη· δεν μπορούν να αλλοιώσουν τους αριθμούς που έχουν ήδη δημοσιευθεί.

Γνωστά ζητήματα που επηρεάζουν ιστορικά δεδομένα

  • Περιβάλλον δοκιμών chat, πριν από τις 2026-04-23: η αυτοματοποιημένη ροή δοκιμών chat παρουσίαζε αποτυχίες ανά γλώσσα. Τα συγκεντρωτικά στοιχεία chat από προηγούμενους μήνες μπορεί να εμφανίζουν χαμηλότερες βαθμολογίες από την πραγματική ποιότητα μετάφρασης των περιόδων εκείνων. Οι επηρεαζόμενοι μήνες διατηρούνται στη βάση δεδομένων αλλά αποκρύπτονται από τον δημόσιο δείκτη· το γράφημα τάσης θα εμφανίζει απότομη μεταβολή τη στιγμή της διόρθωσης.

Ερωτήσεις

Διαφωνείτε με κάτι εδώ; Ανοίξτε ένα issue ή γράψτε μας. Θα ενημερώσουμε αυτή τη σελίδα και θα σημειώσουμε την αλλαγή.