De ce marketingul calității traducerii nu funcționează — și ce publicăm noi în schimb

Deschideți site-ul oricărui furnizor de traducere live. Veți vedea aceleași tipuri de cifre:

• „200+ limbi"
• „6.000+ perechi de limbi"
• „Primul din lume" / „Cea mai mare precizie"
• „99% precizie"

Încercați acum să găsiți, pe oricare dintre paginile acelor furnizori, ce înseamnă aceste cifre pentru o întâlnire pe care urmează să o susțineți. Calitatea pe fiecare limbă. Metodologie reproductibilă. Dimensiunea eșantionului. Scorul în timp. O recunoaștere onestă a punctelor în care modelul este slab.

Nu veți găsi nimic din toate acestea. Nici în textele de marketing, și rareori în documentație.

Acesta este echilibrul categoriei. El există din trei motive:

1. Cei mai mulți furnizori nu dețin propriul motor de traducere. Ei trimit textul prin OpenAI, Google, DeepL, Microsoft sau o combinație a acestora. Publicarea calității pe fiecare pereche ar însemna să evaluezi modelul altcuiva — iar asta nu are nicio valoare de marketing.
2. Datele oneste despre calitate sunt greu de pus pe un panou publicitar. Un singur scor este zgomotos. O distribuție este mai utilă, dar mai greu de comprimat. Un last-six-months trend este și mai util, și încă mai greu de comprimat.
3. Achizițiile nu au pus încă presiune. Cumpărătorii acceptă cifrele de marketing ca atare, iar echilibrul se menține.

Echilibrul nu se va menține. Următoarea categorie de cumpărători — farmaceutic, juridic, financiar, audit, sector public — va pune întrebări mai dure decât „câte limbi". Am construit /benchmark pentru că ei nu ar trebui să fie nevoiți să creadă pe cuvânt un furnizor.

Ce nu vă spun cifrele de marketing

„200+ limbi" înseamnă că furnizorul are un model care generează text în 200 de limbi. Calitatea variază de la nivel de producție pentru perechile majore (EN↔DE, EN↔ES, EN↔FR) până la abia utilizabilă pentru perechile cu resurse puține. Fără o defalcare pe perechi, nu puteți ști de care parte a acestei linii va ajunge întâlnirea dvs.

„6.000+ perechi de limbi" este combinatorică N × N pe 80 de limbi sursă. A spune că susții 6.000 de perechi este partea ușoară. A spune că o anumită pereche este suficient de bună pentru o analiză CAPA, o negociere de contract sau o teleconferință pe rezultate financiare — aceasta este partea care lipsește din broșură.

„99% precizie", fără a preciza ce s-a măsurat, față de ce referință, pe ce eșantion, de către ce evaluator, nu are conținut. Calitatea traducerii nu are un scalar universal. Ea are o distribuție care depinde de perechea de limbi, de domeniul conținutului, de calitatea audio (pentru voce), de bugetul de latență și de ce înseamnă „suficient de bun" pentru cazul concret de utilizare.

Ce trebuie să știe de fapt un cumpărător

Întrebările pe care o gazdă ar trebui să le pună înainte de a avea încredere într-o pereche pentru un apel cu un client:

1. Calitatea pe pereche — cum se comportă aceasta pe DE↔EN, EN↔AR, JA↔KO, în mod concret?
2. Dimensiunea eșantionului — pe câte rulări se bazează cifra raportată? Zece? Zece mii?
3. Metodologia — cine evaluează traducerile, față de ce referință, după ce grilă?
4. Distribuția, nu media — cum arată cele mai slabe 10%? Dar cele mai bune 10%? Dar mediana?
5. Deriva în timp — s-a îmbunătățit sau s-a înrăutățit o anumită pereche de la ultima cifră publicată?
6. Ce nu măsurați — ce nu surprinde explicit benchmarkul dvs.?

Niciuna dintre aceste întrebări nu rămâne fără răspuns. Pur și simplu nu se află pe pagina de marketing a nimănui.

Ce publicăm noi

/benchmark este răspunsul nostru. Metodologia se află la /benchmark/methodology — scrisă înainte să știm că veți citi acest text.

Trei lucruri o deosebesc de normele categoriei.

1. Trafic real, nu o suită selectată

Fiecare scor din benchmarkul public provine dintr-o rulare reală de test /demo. Nu selectăm în prealabil perechile care se comportă bine. Același pipeline care deservește demonstrația unui cumpărător este cel care este măsurat.

2. Evaluatorul este numit

Principal: google/gemini-3.5-flash. De rezervă: anthropic/claude-sonnet-5. Ambele prin Vercel AI Gateway. Evaluatorul face parte din metodologie — este dezvăluit pe nume. Când schimbăm evaluatorul (am făcut-o, pe măsură ce modelele au fost retrase), rândurile istorice păstrează evaluatorul care le-a notat efectiv; scorurile vechi nu sunt niciodată renotate pe tăcute.

3. Distribuția este datul, nu media

Fiecare rând publicat arată mediana, p10, p90, minimul, maximul și dimensiunea eșantionului — nu un singur număr. Un singur număr pentru o pereche de traducere este zgomot. Forma distribuției este semnalul.

Practici pe care categoria nu le-a adoptat

• Perechile cu scor scăzut nu sunt ascunse. Indexul public este condiționat de ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — dar oricine poate accesa direct orice pereche prin link și poate vedea cifrele reale, inclusiv ale perechilor care merg prost luna aceasta.
• Problemele cunoscute sunt documentate. Când harness-ul de testare a chatului a fost defect câteva săptămâni la începutul lui 2026, acea perioadă a fost eliminată din index și consemnată în scris pe pagina de metodologie. Istoria nu este rescrisă pe tăcute.
• Ce NU susținem în mod deliberat este o secțiune întreagă a paginii de metodologie. Spunem unde evaluatorul LLM însuși este imperfect. Spunem ce nu măsurăm (latența, costul, satisfacția utilizatorilor, erorile din partea ASR dinaintea rulării traducerii). Dezvăluim că propriile noastre teste automate de tip smoke fac parte din trafic.

Un filtru pentru următoarea evaluare de furnizor

Dacă evaluați orice platformă multilingvă pentru întâlniri — a noastră sau a altcuiva — metodologia este pagina care merită citită. Cifrele în sine sunt partea ușoară.

Un filtru practic pentru orice furnizor din această categorie:

• Cereți date de calitate pe fiecare pereche de limbi și pe fiecare lună, pe trafic real. Nu un benchmark selectat. Nu un agregat.
• Întrebați care este evaluatorul lor, ce nu măsoară în mod explicit și ce s-a schimbat în ultimele șase luni.
• Întrebați ce se întâmplă când scorul unei perechi scade — anunță pe cineva sau remediază în tăcere?

Dacă furnizorul are toate cele trei răspunsuri în scris, evaluați-l cu seriozitate. Dacă nu, cumpărați marketing — nu calitate a traducerii.

Încercați singuri

• Încercați demonstrația live — rulează pipeline-ul de traducere din producție pe audio-ul dvs., îl notează cu același evaluator care notează benchmarkul public și vă arată rezultatul.
• Vedeți benchmarkul — fiecare pereche de limbi publicată, în fiecare lună, cu distribuția completă.
• Citiți metodologia — cum sunt calculate cifrele, ce includ și ce nu includ.

Nu va fi nevoie să ne credeți pe cuvânt în niciuna dintre privințe. Asta este ideea.

Surse: identificatorii evaluatorilor, pragurile de includere și regulile de eliminare de mai sus sunt verificate față de codul livrat și publicate la /benchmark/methodology; evaluatorii sunt furnizați prin Vercel AI Gateway; afirmațiile de marketing citate la început sunt formulări tipice categoriei, nu citate ale unui furnizor anume; verificat în august 2026.