Kodėl vertimo kokybės marketingas neveikia – ir ką skelbiame mes

Atidarykite bet kurio tiesioginio vertimo tiekėjo svetainę. Pamatysite tokio paties pobūdžio skaičius:

• „200+ kalbų"
• „6 000+ kalbų porų"
• „Pirmieji pasaulyje" / „Didžiausias tikslumas"
• „99 % tikslumas"

Dabar pabandykite rasti bet kuriame iš tų tiekėjų puslapių, ką tie skaičiai reiškia susitikimui, kurį netrukus vesite. Kokybė pagal kalbą. Atkuriama metodika. Imties dydis. Įvertis laikui bėgant. Sąžiningas atskleidimas, kur modelis silpnas.

Nerasite. Nei marketingo tekstuose, nei, dažniausiai, dokumentacijoje.

Tai šios kategorijos pusiausvyra. Ji egzistuoja dėl trijų priežasčių:

1. Dauguma tiekėjų neturi savo vertimo variklio. Jie nukreipia srautą per OpenAI, Google, DeepL, Microsoft ar jų derinį. Skelbti kokybės duomenis pagal porą reikštų lyginti svetimą modelį, o tai marketingui vertės neturi.
2. Sąžiningus kokybės duomenis sunku sutalpinti ant reklaminio stendo. Vienas įvertis yra triukšmingas. Pasiskirstymas naudingesnis, bet jį sunkiau suspausti. last-six-months trend (paskutinių šešių mėnesių tendencija) naudingesnė dar labiau ir dar sunkiau pateikiama.
3. Pirkimų specialistai dar nesipriešino. Pirkėjai priima marketingo skaičius už gryną pinigą, todėl pusiausvyra išlieka.

Pusiausvyra neišsilaikys. Kita pirkėjų karta – farmacija, teisė, finansai, auditas, viešasis sektorius – užduos sunkesnių klausimų nei „kiek kalbų". Sukūrėme /benchmark, nes manome, kad jiems neturėtų tekti tikėti tiekėjo žodžiu.

Ko marketingo skaičiai nepasako

„200+ kalbų" reiškia, kad tiekėjas turi modelį, kuris generuoja tekstą 200 kalbų. Kokybė tarp tų kalbų svyruoja nuo gamybinio lygio populiarioms poroms (EN↔DE, EN↔ES, EN↔FR) iki vos tinkamos naudoti retesnių kalbų poroms. Be skaidymo pagal porą nepasakysite, kuriame šios ribos pusėje atsidurs jūsų susitikimas.

„6 000+ kalbų porų" yra N × N kombinatorika iš 80 šaltinio kalbų. Pasakyti, kad palaikote 6 000 porų, lengviausia. Pasakyti, kad konkreti pora pakankamai gera CAPA peržiūrai, sutarties deryboms ar finansinių rezultatų skambučiui – to brošiūroje nerasite.

„99 % tikslumas" be nurodymo, kas buvo matuojama, pagal kokį etaloną, kokioje imtyje ir kokio vertintojo, yra tuščias teiginys. Vertimo kokybė neturi universalaus skaliaro. Ji turi pasiskirstymą, kuris priklauso nuo kalbų poros, turinio srities, garso kokybės (kalbant apie balsą), vėlinimo biudžeto ir to, ką konkrečiu atveju reiškia „pakankamai gerai".

Ką pirkėjui iš tiesų reikia žinoti

Klausimai, kuriuos šeimininkas turėtų užduoti prieš patikėdamas porą skambučiui su klientu:

1. Kokybė pagal porą – kaip tai veikia būtent DE↔EN, EN↔AR, JA↔KO?
2. Imties dydis – kiek bandymų yra jūsų pateikto skaičiaus pagrindas? Dešimt? Dešimt tūkstančių?
3. Metodika – kas vertina vertimus, pagal kokį etaloną, pagal kokią vertinimo schemą?
4. Pasiskirstymas, ne vidurkis – kaip atrodo blogiausi 10 %? Geriausi 10 %? Mediana?
5. Pokytis laikui bėgant – ar pora tapo geresnė, ar blogesnė nuo tada, kai paskutinį kartą paskelbėte skaičių?
6. Ko nematuojate – ko jūsų testas aiškiai neapima?

Į nė vieną iš šių klausimų neįmanoma atsakyti. Jie tiesiog neparašyti niekieno marketingo puslapyje.

Ką skelbiame mes

/benchmark yra mūsų atsakymas. Metodika pateikta /benchmark/methodology – ji parašyta dar nežinant, kad tai skaitysite.

Trys dalykai skiria ją nuo kategorijos normų.

1. Realus srautas, ne atrinktas testų rinkinys

Kiekvienas viešo testo įvertis gaunamas iš tikro /demo bandymo. Mes iš anksto neatrenkame gerai veikiančių porų. Matuojamas tas pats procesas, kuris aptarnauja pirkėjo demonstraciją.

2. Vertintojas įvardytas

Pagrindinis: google/gemini-3.5-flash. Atsarginis: anthropic/claude-sonnet-5. Abu per Vercel AI Gateway. Vertintojas yra metodikos dalis – jis atskleidžiamas vardu. Kai keičiame vertintoją (esame keitę, nes modeliai išeina iš apyvartos), istorinės eilutės išsaugo vertintoją, kuris jas iš tikrųjų įvertino; seni įverčiai niekada nėra tyliai perskaičiuojami.

3. Duomenys yra pasiskirstymas, ne vidurkis

Kiekvienoje paskelbtoje eilutėje rodoma mediana, p10, p90, minimumas, maksimumas ir imties dydis – ne vienas skaičius. Vienas skaičius vertimo porai yra triukšmas. Signalas yra pasiskirstymo forma.

Praktikos, kurių kategorija dar nepriėmė

• Mažų įverčių poros neslepiamos. Viešas indeksas atrenkamas pagal ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, tačiau bet kas gali tiesiogine nuoroda atsidaryti bet kurią porą ir pamatyti tikrus skaičius, įskaitant poras, kurioms šį mėnesį sekasi prastai.
• Žinomos problemos dokumentuojamos. Kai 2026 m. pradžioje kelias savaites neveikė pokalbių testavimo sistema, tas laikotarpis buvo pašalintas iš indekso ir raštu aprašytas metodikos puslapyje. Istorija tyliai nepaprasčiau perrašoma.
• Ko sąmoningai NEteigiame – tai visas metodikos puslapio skyrius. Sakome, kur pats LLM vertintojas yra netobulas. Sakome, ko nematuojame (vėlinimo, kainos, naudotojų pasitenkinimo, ASR klaidų, atsirandančių dar prieš vertimą). Atskleidžiame, kad į srautą įeina ir mūsų pačių automatiniai „smoke" testai.

Filtras kitam tiekėjų vertinimui

Jei vertinate bet kurią daugiakalbę susitikimų platformą – mūsų ar kitą – verta skaityti metodikos puslapį. Patys skaičiai yra lengvoji dalis.

Praktinis filtras bet kuriam šios kategorijos tiekėjui:

• Paprašykite kokybės duomenų pagal kalbų porą, kas mėnesį, realiame sraute. Ne atrinkto testo. Ne suvestinės.
• Paklauskite, koks jų vertintojas, ko jie aiškiai nematuoja ir kas pasikeitė per pastaruosius šešis mėnesius.
• Paklauskite, kas vyksta, kai poros įvertis nukrinta – ar jie kam nors pasako, ar taiso tyliai?

Jei tiekėjas turi visus tris atsakymus raštu, vertinkite jį rimtai. Jei ne – perkate marketingą, o ne vertimo kokybę.

Išbandykite patys

• Išbandykite tiesioginę demonstraciją – paleidžia gamybinį vertimo procesą su jūsų garsu, įvertina jį tuo pačiu vertintoju, kuris vertina viešą testą, ir parodo rezultatą.
• Peržiūrėkite testą – kiekviena paskelbta kalbų pora, kiekvienas mėnuo, su visu pasiskirstymu.
• Perskaitykite metodiką – kaip skaičiuojami skaičiai, ką jie apima ir ko neapima.

Jums nereikės tikėti mūsų žodžiu nė dėl vieno dalyko. Tame ir esmė.

Šaltiniai: aukščiau nurodyti vertintojų identifikatoriai, atrankos slenksčiai ir pašalinimo taisyklės patikrinti pagal išleistą kodą ir paskelbti adresu /benchmark/methodology; vertintojai teikiami per Vercel AI Gateway; viršuje cituoti marketingo teiginiai yra kategorijai būdingos formuluotės, ne konkretaus tiekėjo citatos; patikrinta 2026 m. rugpjūtį.