Módszertan

Az InterMIND fordítási minőségi benchmarkját saját tesztrendszerünk állítja elő automatikusan. Egy heti szintetikus futtatás ugyanazt a fordítási pipeline-t hajtja meg egy rögzített referenciakészleten, amely a nyilvános /demo oldalt is működteti, és ezt minden nyelvpárra azonos módon teszi. A futtatás szintetikus és reprodukálható: semmi sincs válogatva vagy kedvezően kiemelve, és a pontozásban nem vesz részt ember.

Hogyan működik egy teszt

Egy tesztfuttatás lejátszik egy referencia hangfájlt (hangteszt), vagy elküld egy referenciaszöveget (csevegési teszt) a forrásnyelvről az élő fordítási pipeline-on keresztül a célnyelvre. Az így kapott fordítást egy LLM-bíró pontozza 0–100 között egy kanonikus referenciafordításhoz képest.

LLM-bíró: elsődlegesen google/gemini-3.8-flash, tartalékként anthropic/claude-sonnet-5 (a Vercel AI Gateway-en keresztül). Minden nyelvpárnál ugyanazt a promptot, értékelési szempontrendszert és referenciaszövegeket használjuk.

Hogyan készül a havi összesítés

1. Minden befejezett teljes benchmark-futtatás rögzítésre kerül a demo_test_runs táblában, célnyelvenkénti pontszámokkal. Az egyetlen párra vonatkozó előnézeteket kizárjuk, csak a teljes, többnyelvű futtatások számítanak bele a mediánokba.
2. Minden (forrásnyelv, célnyelv, teszttípus, hét) kombinációból a legutóbbi futtatást tartjuk meg, majd havi szinten összesítünk. Így egyetlen forrás sem torzíthatja a mediánokat azzal, hogy egy héten belül megismétel egy párt.
3. Az így deduplikált halmazból kiszámítjuk a mediánt, a minimumot, a maximumot, a p10 és p90 értéket, az átlagot és a mintaméretet.
4. Az egyes pontszámokról pillanatképet mentünk, így a hónap lezárása után a számok stabilak maradnak akkor is, ha a nyers futtatásokat a TTL törli.

Mikor jelenik meg egy pár a nyilvános indexben

Egy (pár × tesztípus × hónap) sor akkor jogosult a nyilvános indexbe és a sitemapbe kerülésre, ha eléri a minimális mintaméretet és a mediánpontszám alsó küszöbét (a hangnál alacsonyabb a küszöb, mert az ASR-zaj elkerülhetetlen). Mivel az adathalmaz egyetlen automatizált forrásból származik, és nem sok független látogatótól, ennél a szintetikus adatnál enyhítettük az egyedi forrásokra vonatkozó követelményt. A mintaméretre és a minőségre vonatkozó küszöbök továbbra is érvényesek.

Azok a párok, amelyek nem érik el a küszöböket, közvetlen hivatkozással továbbra is elérhetők, mert a küszöbök csak azt szabályozzák, mit látnak a keresőmotorok. Az alacsony pontszámokat nem rejtjük el senki elől, aki közvetlenül rákérdez.

Amit szándékosan NEM állítunk

• Egyetlen pontszám nem megbízható. Egy jól teljesítő pár is ingadozhat 30 pontot a futtatások között, mert az ASR és az LLM-ítélet egyaránt zajos. Ezért minden oldalon eloszlás látható, nem egyetlen szám.
• Maga az LLM-bíró sem tökéletes. A jövőben lehet, hogy bírót váltunk, vagy két bírót használunk; ilyenkor a korábbi sorok tartalmazni fogják a bíró azonosítóját.
• A benchmark nem méri a késleltetést, a költséget, a rendelkezésre állást és a felhasználói elégedettséget. Ezek máshol találhatók.
• Az adathalmaz szintetikus: saját automatizált tesztrendszerünk állítja elő, nem független, külső forgalom. Ezt kifejezetten közöljük, ahelyett hogy külső testület látszatát keltenénk.

Őszinte megközelítés

Ha egy adott pár minősége egy hónapban romlik, az látható marad. Ha egy hibát kijavítunk, és a következő hónapban javul az eredmény, a javulás ugyanazon az oldalon látszik. A korábbi összesítéseket soha nem írjuk át. Az adminisztrátorok csak egyes hónapokat rejthetnek el a nyilvános indexből, a már közzétett számokat nem módosíthatják.

A korábbi adatokat érintő ismert problémák

• Csevegési teszt-környezet, 2026-04-23 előtt: az automatizált csevegési tesztek pipeline-ja nyelvenként hibákat produkált. A korábbi hónapok csevegési összesítései alacsonyabb pontszámokat mutathatnak, mint az adott időszakok tényleges fordítási minősége. Az érintett hónapok megmaradnak az adatbázisban, de a nyilvános indexből el vannak rejtve; a trenddiagramon a javítás időpontjában lépcsős változás látszik.

Kérdések

Nem ért egyet valamivel? Nyisson egy hibajegyet, vagy írjon nekünk. Frissítjük ezt az oldalt, és jelezzük a változást.