Metodologie

Benchmarkul de calitate a traducerii InterMIND este generat automat de propria noastră suită de teste: o rulare sintetică săptămânală folosește același pipeline de traducere care stă la baza paginii publice /demo, pe un set de referință fix, în același mod pentru fiecare pereche de limbi. Este sintetic și reproductibil — nimic de aici nu este selectat sau ales cu grijă pentru a arăta bine, iar în procesul de evaluare nu intervine niciun om.

Cum funcționează un singur test

O rulare de test redă un fișier audio de referință (test vocal) sau trimite un text de referință (test de chat) dintr-o limbă sursă, prin pipeline-ul nostru de traducere live, către o limbă țintă. Traducerea rezultată este evaluată de un judecător LLM cu un scor de la 0 la 100, prin comparație cu o traducere de referință canonică.

Judecător LLM: google/gemini-3.8-flash principal, anthropic/claude-sonnet-5 de rezervă (prin Vercel AI Gateway). Același prompt, aceeași grilă de evaluare și aceleași texte de referință sunt folosite pentru toate perechile.

Cum se agregă o lună

1. Fiecare rulare completă a benchmarkului este înregistrată în demo_test_runs, cu scoruri pe fiecare limbă țintă. Previzualizările pentru o singură pereche sunt excluse — doar rulările complete, multilingve, contribuie la mediane.
2. Pentru fiecare combinație (limbă sursă, limbă țintă, tip de test, săptămână) păstrăm cea mai recentă rulare, apoi agregăm pe lună — astfel o singură sursă nu poate influența medianele repetând o pereche în aceeași săptămână.
3. Din setul deduplicat calculăm mediana, minimul, maximul, p10, p90, media și dimensiunea eșantionului.
4. Salvăm un instantaneu al scorurilor individuale, astfel încât, odată ce o lună se încheie, cifrele rămân stabile chiar și după ce rulările brute sunt șterse prin TTL.

Când apare o pereche în indexul public

Un rând (pereche × tip de test × lună) este eligibil pentru indexul public și pentru sitemap atunci când depășește o dimensiune minimă a eșantionului și un prag minim al scorului median (un prag mai scăzut pentru voce, care implică inevitabil zgomot ASR). Deoarece setul de date provine dintr-o singură sursă automată, și nu din mulți vizitatori independenți, cerința de surse unice este relaxată pentru aceste date sintetice — pragurile pentru dimensiunea eșantionului și pentru calitate se aplică în continuare.

Perechile care nu ating pragurile rămân accesibile prin link direct — pragurile controlează doar ceea ce văd motoarele de căutare. Nu ascundem scorurile scăzute de nimeni care le cere direct.

Ce NU afirmăm în mod deliberat

• Un scor singular nu este de încredere. O pereche care se comportă bine poate oscila cu 30 de puncte între rulări, deoarece atât ASR, cât și evaluarea LLM sunt zgomotoase. De aceea fiecare pagină arată o distribuție, nu un singur număr.
• Judecătorul LLM în sine este imperfect. Este posibil să îl schimbăm sau să folosim doi judecători în viitor; rândurile istorice vor purta identificatorul judecătorului atunci când se va întâmpla acest lucru.
• Benchmarkul nu măsoară latența, costul, disponibilitatea sau satisfacția utilizatorilor. Acestea se găsesc în altă parte.
• Setul de date este sintetic — produs de propria noastră suită automată, nu de trafic independent al unor terți. Declarăm acest lucru explicit, în loc să sugerăm existența unui panel extern.

Decizii transparente

Când o lună scade ca și calitate pentru o anumită pereche — rămâne vizibilă. Când o eroare este remediată și luna următoare înregistrează un salt — îmbunătățirea este vizibilă pe aceeași pagină. Nu rescriem niciodată agregatele istorice. Administratorii pot doar să ascundă luni individuale din indexul public; ei nu pot modifica cifrele care au fost deja publicate.

Probleme cunoscute care afectează datele istorice

• Suita de teste de chat, înainte de 2026-04-23: pipeline-ul automat de teste de chat a avut erori pe anumite limbi. Agregatele de chat din lunile anterioare pot arăta scoruri mai mici decât calitatea reală a traducerii din acele perioade. Lunile afectate sunt păstrate în baza de date, dar sunt excluse din indexul public; graficul de tendință va arăta o schimbare bruscă în momentul remedierii.

Întrebări

Nu ești de acord cu ceva din această pagină? Deschide un issue sau scrie-ne. Vom actualiza pagina și vom nota modificarea.