Zakaj je trženje kakovosti prevajanja pokvarjeno – in kaj objavljamo mi

Odprite spletno stran katerega koli ponudnika prevajanja v živo (live translation). Videli boste iste vrste številk:

• »200+ jezikov«
• »6.000+ jezikovnih parov«
• »Prvi na svetu« / »Najvišja natančnost«
• »99 % natančno«

Zdaj poskusite na katerikoli od teh strani najti, kaj te številke pomenijo za meeting, ki ga boste vodili. Kakovost po jezikih. Ponovljivo metodologijo. Velikost vzorca. Oceno skozi čas. Pošteno razkritje, kje je model šibak.

Ne boste je našli. Ne v tržnem besedilu, v dokumentaciji pa le redko.

To je ravnovesje te kategorije. Obstaja zaradi treh stvari:

1. Večina ponudnikov nima lastnega prevajalskega motorja. Prevode usmerjajo prek OpenAI, Googla, DeepL, Microsofta ali kombinacije teh. Objava kakovosti po parih bi pomenila preizkušanje tujega modela – to nima tržne vrednosti.
2. Poštene podatke o kakovosti je težko postaviti na plakat. Ena sama ocena je šumna. Porazdelitev je bolj uporabna, a jo je težje strniti. last-six-months trend je še bolj uporaben in še težji za predstavitev.
3. Nabava se še ni uprla. Kupci tržne številke sprejemajo kot dane in ravnovesje se ohranja.

Ravnovesje ne bo zdržalo. Naslednji razred kupcev – farmacija, pravo, finance, revizija, javni sektor – bo postavljal težja vprašanja kot »koliko jezikov«. /benchmark smo zgradili, ker menimo, da ponudniku ne bi smeli verjeti na besedo.

Kaj tržne številke ne povedo

»200+ jezikov« pomeni, da ima ponudnik model, ki izpiše besedilo v 200 jezikih. Kakovost med temi jeziki sega od produkcijske ravni za glavne pare (EN↔DE, EN↔ES, EN↔FR) do komaj uporabne pri jezikih z malo virov. Brez razčlenitve po parih ne morete vedeti, na kateri strani te meje bo pristal vaš meeting.

»6.000+ jezikovnih parov« je kombinatorika N × N na 80 izvornih jezikih. Trditi, da podpirate 6.000 parov, je lahki del. Trditi, da je kateri koli posamezen par dovolj dober za pregled CAPA, pogajanja o pogodbi ali predstavitev poslovnih rezultatov – to pa v brošuri ni.

»99 % natančno« brez navedbe, kaj je bilo izmerjeno, glede na kakšno referenco, na kakšnem vzorcu in s kakšnim sodnikom, je vsebinsko prazno. Kakovost prevoda nima univerzalne skalarne vrednosti. Ima porazdelitev, ki je odvisna od jezikovnega para, vsebinske domene, kakovosti zvoka (pri govoru), proračuna zakasnitve in tega, kaj pomeni »dovolj dobro« za posamezen primer uporabe.

Kaj mora kupec dejansko vedeti

Vprašanja, ki bi jih moral gostitelj postaviti, preden paru zaupa klic s stranko:

1. Kakovost po parih – kako se obnese na DE↔EN, EN↔AR, JA↔KO, konkretno?
2. Velikost vzorca – na koliko zagonih temelji vaša navedena številka? Deset? Deset tisoč?
3. Metodologija – kdo ocenjuje prevode, glede na kakšno referenco, s kakšnim kriterijem?
4. Porazdelitev, ne povprečje – kako izgleda najslabših 10 %? Najboljših 10 %? Mediana?
5. Premik skozi čas – je določen par postal boljši ali slabši od zadnje objavljene številke?
6. Česar ne merite – česa vaš benchmark izrecno ne zajame?

Na nobeno od teh vprašanj ni nemogoče odgovoriti. Preprosto niso na ničigavi tržni strani.

Kaj objavljamo

/benchmark je naš odgovor. Metodologija je na /benchmark/methodology – napisana, preden smo vedeli, da boste to brali.

Od običajnih praks v kategoriji ga ločujejo tri stvari.

1. Resnični promet, ne izbran nabor

Vsaka ocena v javnem benchmarku izvira iz resničnega testnega zagona na /demo. Parov, ki se dobro odrežejo, ne izbiramo vnaprej. Isti cevovod, ki streže kupčevi predstavitvi, je tisti, ki ga merimo.

2. Sodnik je poimenovan

Primarni: google/gemini-3.5-flash. Rezervni: anthropic/claude-sonnet-5. Oba prek Vercel AI Gateway. Sodnik je del metodologije – razkrit z imenom. Ko zamenjamo sodnika (to smo storili, ker se modeli umikajo), zgodovinske vrstice nosijo sodnika, ki jih je dejansko ocenil; stare ocene se nikoli tiho ne ocenijo znova.

3. Podatek je porazdelitev, ne povprečje

Vsaka objavljena vrstica prikazuje mediano, p10, p90, minimum, maksimum in velikost vzorca – ne ene same številke. Ena sama številka za prevajalski par je šum. Signal je oblika porazdelitve.

Prakse, ki jih kategorija ni sprejela

• Parov z nizko oceno ne skrivamo. Javni indeks je omejen s pogojem ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 – vendar lahko vsak neposredno odpre povezavo do katerega koli para in vidi prave številke, tudi za pare, ki se ta mesec slabo odrežejo.
• Znane težave so dokumentirane. Ko je bilo testno okolje klepeta (chat-test harness) nekaj tednov v začetku leta 2026 pokvarjeno, je to obdobje izločeno iz indeksa in pisno zabeleženo na strani z metodologijo. Zgodovina se ne prepisuje na tihem.
• Česa izrecno NE trdimo je celoten razdelek na strani z metodologijo. Povemo, kje je sam sodnik LLM nepopoln. Povemo, česa ne merimo (zakasnitve, stroška, zadovoljstva uporabnikov, napak na strani ASR, še preden se prevod sploh zažene). Razkrivamo, da so del prometa tudi naši lastni samodejni dimni testi (smoke tests).

Filter za naslednjo presojo ponudnika

Če presojate katero koli večjezično platformo za meetinge – našo ali drugo – je metodologija stran, ki jo je vredno prebrati. Same številke so lažji del.

Praktičen filter za vsakega ponudnika v tej kategoriji:

• Zahtevajte podatke o kakovosti po jezikovnih parih in po mesecih na resničnem prometu. Ne izbranega benchmarka. Ne agregata.
• Vprašajte, kdo je njihov sodnik, česa izrecno ne merijo in kaj se je spremenilo v zadnjih šestih mesecih.
• Vprašajte, kaj se zgodi, ko ocena para pade – povedo komu ali popravijo na tihem?

Če ima ponudnik vse tri odgovore pisno, ga presojajte resno. Če jih nima, kupujete trženje – ne kakovosti prevajanja.

Preizkusite sami

• Preizkusite demo v živo – požene produkcijski prevajalski cevovod na vašem zvoku, ga oceni z istim sodnikom, ki ocenjuje javni benchmark, in vam pokaže rezultat.
• Oglejte si benchmark – vsak objavljeni jezikovni par, vsak mesec, s celotno porazdelitvijo.
• Preberite metodologijo – kako se številke izračunajo, kaj vključujejo in česa ne.

Nobene od teh trditev vam ni treba sprejeti na našo besedo. V tem je bistvo.

Viri: identifikatorji sodnikov, pragovi za vključitev in pravila izločanja zgoraj so preverjeni glede na dostavljeno kodo in objavljeni na /benchmark/methodology; sodnika streže Vercel AI Gateway; tržne trditve, navedene na začetku, so za kategorijo tipične formulacije, ne citati imenovanega ponudnika; preverjeno avgusta 2026.