Benchmark privind calitatea traducerii AI

Pentru că setul de limbi continuă să crească. Fiecare limbă pe care o adăugăm în produs intră în rularea săptămânală a benchmarkului și apare în indice imediat ce depășește pragul de publicare — iar o limbă nouă rareori pornește de la nivelul unei perechi pe care o ajustăm de un an. Cifra principală este mediana tuturor perechilor publicate în trimestru, așa că un grup de noi-venite o trage în jos, chiar dacă fiecare pereche consacrată se menține sau se îmbunătățește. Perechile noi urcă apoi pe măsură ce le ajustăm, iar indicele își revine. Pentru a vedea progresul unei limbi, deschide mai jos pagina perechii respective: tendința ei nu este diluată de nimic altceva.

Fiecare test trimite un text de referință (chat) sau redă un fișier audio de referință (voce) prin aceeași conductă live pe care o folosește produsul, iar un evaluator LLM notează rezultatul de la 0 la 100 în raport cu o traducere de referință canonică. Scorurile se încadrează în intervale: 90 și peste înseamnă excelent, 70–89 bun, 50–69 acceptabil, sub 50 slab. O singură rulare poate varia cu zeci de puncte, deoarece recunoașterea vorbirii și evaluatorul sunt ambele zgomotoase, așa că judecă o pereche după mediana și intervalul ei pe o lună, nu după o singură cifră.

Vocea are un singur scor cap-coadă: recunoașterea vorbirii plus traducerea. Chatul înseamnă doar traducerea textului scris. Erorile de recunoaștere se reflectă în scorul vocal, așa că perechile vocale au în medie valori mai mici și un prag de publicare mai scăzut — 45 față de 60 pentru chat. Dacă echipa ta scrie mai mult, uită-te la cifra pentru chat; dacă vorbește mai mult, ai încredere în cifra pentru voce.

Nu. Benchmarkul este sintetic: suita noastră automată rulează în fiecare săptămână prin pipeline un set de referință FLORES-200 fix, iar aceasta este singura sursă a acestor cifre. Sesiunile pe care oamenii le rulează în demo nu sunt nici evaluate, nici salvate în benchmark, iar meeting-urile tale nu sunt folosite niciodată pentru el.

Deschide pagina proprie a perechii din tabelul de mai sus: arată mediana, intervalul și dimensiunea eșantionului pe lună, precum și tendința de-a lungul lunilor. Pentru a verifica pe materialul tău, deschide standul de testare — aceeași configurare cu două panouri în care rulează benchmarkul — și vorbește sau scrie în limba ta; nimic nu pornește de la sine și nimic nu se salvează. Dacă o pereche nu apare în listă, fie nu a depășit încă pragul de publicare, fie nu există încă în produs. Scorurile mici rămân accesibile prin link direct; nu le ascundem.