AI-fordítási minőség benchmark

Mert a nyelvek köre folyamatosan bővül. Minden nyelv, amelyet a termékhez adunk, bekerül a heti benchmarkfuttatásba, és amint eléri a közzétételi küszöböt, belép az indexbe – egy új nyelv pedig ritkán indul onnan, ahol egy évek óta hangolt nyelvpár áll. A kiemelt szám a negyedév összes közzétett nyelvpárjának mediánja, ezért az újonnan érkezők csoportja lehúzza, még akkor is, ha minden korábbi pár szintje stabil vagy javul. Az új párok hangolásunk nyomán felfelé indulnak, és az index helyreáll. Ha egyetlen nyelv fejlődését szeretné látni, nyissa meg az alábbi nyelvpár-oldalát: ezt a trendet semmi más nem hígítja.

Minden teszt egy referenciaszöveget küld el (chat), vagy egy referencia-hangfájlt játszik le (hang) ugyanazon az élő folyamaton keresztül, amelyet a termék is használ, majd egy LLM-bíráló 0-tól 100-ig pontozza a kimenetet egy kanonikus referenciafordításhoz képest. A pontszámok sávokba esnek: 90 és felette kiváló, 70–89 jó, 50–69 megfelelő, 50 alatt gyenge. Egyetlen futtatás eredménye akár több tíz pontot is ingadozhat, mert a beszédfelismerés és a bíráló is zajos, ezért a nyelvpárt egy hónapra vetített mediánja és tartománya alapján ítélje meg, ne egyetlen szám alapján.

A hang egyetlen végponttól végpontig számolt pontszám: beszédfelismerés plusz fordítás. A chat kizárólag a begépelt szöveg fordítása. A felismerési hibák a hangpontszámban jelennek meg, ezért a hangalapú nyelvpárok átlagosan alacsonyabbak, és náluk alacsonyabb a közzétételi küszöb is: 45, szemben a chat 60-as küszöbével. Ha a csapatod főleg gépel, a chatszám az irányadó; ha főleg beszél, a hangszámban bízz.

Nem. A benchmark szintetikus: az automatizált tesztcsomagunk hetente lejátszik egy rögzített FLORES-200 referenciakészletet a folyamaton keresztül, és ezek a számok kizárólag ebből származnak. A demóban futtatott munkameneteket sem pontozzuk, sem nem mentjük a benchmarkba, a ti meetingjeiteket pedig soha nem használjuk fel hozzá.

Nyisd meg a nyelvpár saját oldalát a fenti táblázatból: ott havi bontásban látod a mediánt, a tartományt és a mintaméretet, valamint a hónapokon átívelő trendet. Ha a saját anyagodon szeretnéd kipróbálni, nyisd meg a tesztfelületet – ugyanazt a kétpaneles felállást, amelyben a benchmark fut –, és beszélj vagy gépelj a saját nyelveden; semmi nem indul el magától, és semmi nem mentődik el. Ha egy nyelvpár nem szerepel a listán, akkor vagy még nem érte el a közzétételi küszöböt, vagy még nincs a termékben. Az alacsony pontszámok közvetlen linken továbbra is elérhetők; nem rejtjük el őket.