Metodologija

Primerjalni preizkus kakovosti prevajanja InterMIND samodejno ustvarja naš lasten testni sistem: tedenski sintetični zagon požene isti prevajalni cevovod, ki poganja javni /demo, nad fiksnim referenčnim naborom, za vsak jezikovni par na enak način. Je sintetičen in ponovljiv – nič tukaj ni izbrano ali olepšano, v ocenjevalni zanki pa ni človeka.

Kako poteka posamezen test

Testni zagon predvaja referenčno zvočno datoteko (glasovni test) ali pošlje referenčno besedilo (test klepeta) iz izvornega jezika prek našega delujočega prevajalnega cevovoda v ciljni jezik. Dobljeni prevod nato LLM sodnik oceni z 0–100 točkami glede na kanonični referenčni prevod.

LLM sodnik: primarno google/gemini-3.8-flash, rezervno anthropic/claude-sonnet-5 (prek Vercel AI Gateway). Za vse pare se uporabljajo isti poziv, ista merila in ista referenčna besedila.

Kako se združi posamezen mesec

1. Vsak zaključen celoten primerjalni zagon se zabeleži v demo_test_runs z ocenami po ciljnih jezikih. Predogledi posameznih parov so izključeni – mediane napajajo samo celotni večjezični zagoni.
2. Za vsako kombinacijo (izvorni jezik, ciljni jezik, vrsta testa, teden) obdržimo zadnji zagon, nato pa podatke združimo po mesecih – tako en sam vir ne more premakniti median s ponavljanjem para znotraj tedna.
3. Iz tako očiščenega nabora izračunamo mediano, minimum, maksimum, p10, p90, povprečje in velikost vzorca.
4. Posamezne ocene shranimo kot posnetek, da ostanejo številke po zaprtju meseca stabilne, tudi ko se surovi zagoni izbrišejo zaradi TTL.

Kdaj se par pojavi v javnem kazalu

Vrstica (par × vrsta testa × mesec) je primerna za javno kazalo in zemljevid strani (sitemap), ko doseže najmanjšo velikost vzorca in spodnjo mejo mediane ocene (za glas je meja nižja, ker ASR neizogibno prinaša šum). Ker nabor podatkov izvira iz enega samodejnega vira in ne iz mnogih neodvisnih obiskovalcev, je zahteva po edinstvenih virih za te sintetične podatke omiljena – meji za velikost vzorca in kakovost pa še vedno veljata.

Pari, ki teh meja ne dosežejo, ostanejo dostopni prek neposredne povezave – pragovi omejujejo samo to, kar vidijo iskalniki. Nizkih ocen ne skrivamo pred nikomer, ki jih neposredno zahteva.

Česa namenoma NE trdimo

• Posamezni oceni ni mogoče zaupati. Dobro delujoč par lahko med zagoni niha za 30 točk, ker sta ASR in presoja LLM oba šumna. Zato vsaka stran prikazuje porazdelitev, ne posamezne številke.
• Tudi LLM sodnik sam ni popoln. V prihodnje ga bomo morda zamenjali ali uporabili dva sodnika; zgodovinske vrstice bodo takrat nosile oznako sodnika.
• Primerjalni preizkus ne meri zakasnitve, stroškov, razpoložljivosti ali zadovoljstva uporabnikov. To je predmet drugih virov.
• Nabor podatkov je sintetičen – ustvarja ga naš lasten samodejni testni sistem, ne neodvisen promet tretjih strani. To izrecno razkrivamo, namesto da bi namigovali na zunanjo skupino ocenjevalcev.

Iskrene odločitve

Ko mesec za določen par pade v kakovosti, ostane viden. Ko je napaka odpravljena in naslednji mesec skoči, je izboljšanje vidno na isti strani. Zgodovinskih agregatov nikoli ne prepisujemo. Skrbniki lahko iz javnega kazala skrijejo samo posamezne mesece; številk, ki so bile že objavljene, ne morejo spremeniti.

Znane težave, ki vplivajo na zgodovinske podatke

• Testno ogrodje za klepet, pred 2026-04-23: samodejni cevovod za test klepeta je imel napake pri posameznih jezikih. Agregati klepeta iz zgodnejših mesecev lahko kažejo nižje ocene, kot je bila dejanska kakovost prevajanja v teh obdobjih. Prizadeti meseci so shranjeni v zbirki podatkov, vendar so skriti pred javnim kazalom; graf trenda bo ob popravku pokazal skok.

Vprašanja

Se z nečim tukaj ne strinjate? Odprite zadevo (issue) ali nam pišite. To stran bomo posodobili in spremembo zabeležili.