Miért rossz a fordítási minőséggel kapcsolatos marketing – és mit publikálunk helyette

Nyissa meg bármelyik élő fordítást kínáló szolgáltató oldalát. Ugyanilyen számokat fog látni:

• „200+ nyelv"
• „6000+ nyelvpár"
• „A világ első" / „Legmagasabb pontosság"
• „99%-os pontosság"

Most próbálja meg megtalálni bármelyik ilyen oldalon, mit jelentenek ezek a számok egy meetingen, amelyet éppen meg fog tartani. Nyelvenkénti minőség. Reprodukálható módszertan. Mintaméret. Pontszám az idő függvényében. Őszinte beszámoló arról, hol gyenge a modell.

Nem fogja megtalálni. Sem a marketingszövegekben, sem – ritka kivételtől eltekintve – a dokumentációban.

Ez a kategória egyensúlyi állapota. Három dolog miatt létezik:

1. A legtöbb szolgáltatónak nincs saját fordítómotorja. Az OpenAI, a Google, a DeepL, a Microsoft vagy ezek valamilyen kombinációja felé irányítanak. A nyelvpáronkénti minőségi adatok közzététele más cég modelljének mérését jelentené – ebben nincs marketingérték.
2. Az őszinte minőségi adatot nehéz óriásplakátra tenni. Egyetlen pontszám zajos. Az eloszlás hasznosabb, de nehezebben sűríthető. A last-six-months trend még hasznosabb, és még nehezebb.
3. A beszerzés még nem lépett fel követelőzően. A vevők névértéken elfogadják a marketingszámokat, így az egyensúly fennmarad.

Az egyensúly nem fog tartani. A vevők következő köre – gyógyszeripar, jogi terület, pénzügy, audit, közszféra – keményebb kérdéseket fog feltenni, mint hogy „hány nyelv". Azért építettük meg a /benchmark oldalt, mert úgy gondoljuk, hogy nem kellene a szolgáltató szavára hagyatkozniuk.

Mit nem mondanak el a marketingszámok

A „200+ nyelv" azt jelenti, hogy a szolgáltatónak van egy modellje, amely 200 nyelven állít elő szöveget. A minőség ezeken a nyelveken a főbb párok (EN↔DE, EN↔ES, EN↔FR) éles üzemre alkalmas szintjétől az alacsony erőforrású párok alig használható szintjéig terjed. Nyelvpáronkénti bontás nélkül nem lehet megmondani, hogy az Ön meetingje a határvonal melyik oldalára esik.

A „6000+ nyelvpár" az N × N kombinatorika 80 forrásnyelvre. Azt állítani, hogy 6000 párt támogatunk, a könnyű rész. Azt állítani, hogy egy adott pár elég jó egy CAPA-felülvizsgálathoz, egy szerződéses tárgyaláshoz vagy egy eredményközlő híváshoz – ez az a rész, amely nincs benne a prospektusban.

A „99%-os pontosság" tartalmatlan, ha nem árulják el, mit mértek, milyen referenciához képest, milyen mintán és milyen értékelővel. A fordítási minőségnek nincs univerzális skalárértéke. Eloszlása van, amely függ a nyelvpártól, a tartalom szakterületétől, a hangminőségtől (beszédnél), a késleltetési kerettől, és attól, hogy az adott felhasználási esetben mit jelent az „elég jó".

Amit a vevőnek valójában tudnia kell

Kérdések, amelyeket a házigazdának érdemes feltennie, mielőtt egy nyelvpárra rábíz egy ügyfélhívást:

1. Nyelvpáronkénti minőség – hogyan teljesít ez konkrétan a DE↔EN, EN↔AR, JA↔KO párokon?
2. Mintaméret – hány futtatáson alapul a közölt szám? Tizen? Tízezren?
3. Módszertan – ki értékeli a fordításokat, milyen referenciához képest, milyen szempontrendszerrel?
4. Eloszlás, nem átlag – hogyan néz ki a legrosszabb 10%? A legjobb 10%? A medián?
5. Időbeli elmozdulás – javult vagy romlott egy adott pár az utolsó közzétett szám óta?
6. Amit nem mérnek – mit nem fed le kifejezetten a benchmarkjuk?

Ezek közül egyik sem megválaszolhatatlan. Egyszerűen nincsenek rajta senki marketingoldalán.

Amit mi közzéteszünk

A /benchmark a mi válaszunk. A módszertan a /benchmark/methodology oldalon olvasható – még azelőtt megírtuk, hogy tudtuk volna, hogy Ön ezt olvasni fogja.

Három dolog különbözteti meg a kategória megszokott gyakorlatától.

1. Valós forgalom, nem válogatott tesztkészlet

A nyilvános benchmark minden pontszáma egy valódi /demo tesztfuttatásból származik. Nem választjuk ki előre a jól teljesítő nyelvpárokat. Ugyanaz a folyamat szolgál ki egy vevői demót, mint amelyet mérünk.

2. Az értékelő modell megnevezett

Elsődleges: google/gemini-3.5-flash. Tartalék: anthropic/claude-sonnet-5. Mindkettő a Vercel AI Gateway-en keresztül érhető el. Az értékelő a módszertan része, névvel közzétesszük. Amikor értékelőt cserélünk (megtörtént, mert a modelleket kivonják a forgalomból), a korábbi sorok azt az értékelőt őrzik, amely ténylegesen pontozta őket; a régi pontszámokat sosem pontozzuk újra csendben.

3. Az adat maga az eloszlás, nem az átlag

Minden közzétett sor mutatja a mediánt, a p10-et, a p90-et, a minimumot, a maximumot és a mintaméretet – nem egyetlen számot. Egy fordítási párra adott egyetlen szám zaj. Az eloszlás alakja a jel.

Gyakorlatok, amelyeket a kategória nem vett át

• Az alacsony pontszámú párokat nem rejtjük el. A nyilvános index belépési feltétele ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 – de bárki közvetlen linkkel megnyithat bármely párt, és láthatja a valós számokat, azokat a párokat is, amelyek ebben a hónapban rosszul teljesítenek.
• Az ismert hibákat dokumentáljuk. Amikor a chat-test harness 2026 elején néhány hétig hibásan működött, azt az időszakot kihagytuk az indexből, és írásban jeleztük a módszertani oldalon. A történelmet nem írjuk át csendben.
• Amit szándékosan NEM állítunk – ez a módszertani oldal egy teljes szakasza. Elmondjuk, hol tökéletlen maga az LLM-értékelő. Elmondjuk, mit nem mérünk (késleltetés, költség, felhasználói elégedettség, az ASR oldali hibák még a fordítás futása előtt). Azt is közöljük, hogy a saját automatizált smoke tesztjeink is részei a forgalomnak.

Szűrő a következő szolgáltatóértékeléshez

Ha bármilyen többnyelvű meetingplatformot értékel – a miénket vagy másikat –, a módszertan az az oldal, amelyet érdemes elolvasni. Maguk a számok a könnyű részt jelentik.

Egy gyakorlati szűrő a kategória bármely szolgáltatójához:

• Kérjen nyelvpáronkénti, havi bontású minőségi adatot valós forgalmon. Ne válogatott benchmarkot. Ne összesítést.
• Kérdezze meg, ki az értékelőjük, mit nem mérnek kifejezetten, és mi változott az elmúlt hat hónapban.
• Kérdezze meg, mi történik, ha egy pár pontszáma leesik – szólnak erről valakinek, vagy csendben kijavítják?

Ha a szolgáltatónak mindhárom válasza megvan írásban, értékelje őket komolyan. Ha nincs, akkor marketinget vásárol – nem fordítási minőséget.

Próbálja ki maga

• Próbálja ki az élő demót – az éles fordítási folyamatot futtatja az Ön hanganyagán, ugyanazzal az értékelővel pontozza, amely a nyilvános benchmarkot is pontozza, és megmutatja a kimenetet.
• Tekintse meg a benchmarkot – minden közzétett nyelvpár, minden hónapban, a teljes eloszlással.
• Olvassa el a módszertant – hogyan számítjuk a számokat, mit foglalnak magukban, és mit nem.

Nem kell elhinnie a mi szavunkat semmiből. Ez a lényeg.

Források: a fenti értékelő-azonosítók, belépési küszöbök és kihagyási szabályok a kiadott kóddal egyeztetve ellenőrzöttek, és a /benchmark/methodology oldalon publikáltak; az értékelőket a Vercel AI Gateway szolgálja ki; az elején idézett marketingállítások a kategóriára jellemző megfogalmazások, nem egy megnevezett szolgáltató idézetei; ellenőrizve 2026 augusztusában.