Metodika

„InterMIND“ vertimo kokybės etalonas (benchmark) kuriamas automatiškai mūsų pačių testų rinkinio: kas savaitę vykdomas sintetinis bandymas per tą patį vertimo srautą, kuris veikia viešoje /demo versijoje, apdoroja fiksuotą etaloninį rinkinį, ir tai daroma vienodai kiekvienai kalbų porai. Jis sintetinis ir atkartojamas – čia nieko nėra atrinkta ar parinkta palankiausia, o vertinimo procese nedalyvauja joks žmogus.

Kaip veikia vienas testas

Testo metu etaloninis garso įrašas (balso testas) arba etaloninis tekstas (pokalbių testas) iš šaltinio kalbos paleidžiamas per mūsų gyvą vertimo srautą į tikslo kalbą. Gautą vertimą LLM vertintojas įvertina skalėje nuo 0 iki 100, lygindamas su kanoniniu etaloniniu vertimu.

LLM vertintojas: pagrindinis – google/gemini-3.8-flash, atsarginis – anthropic/claude-sonnet-5 (per Vercel AI Gateway). Visoms poroms naudojami tie patys užklausos tekstas (prompt), vertinimo kriterijai ir etaloniniai tekstai.

Kaip agreguojamas mėnuo

Kiekvienas baigtas pilnas etalono bandymas įrašomas į demo_test_runs kartu su rezultatais pagal kiekvieną tikslo kalbą. Pavienių porų peržiūros neįtraukiamos – medianas sudaro tik pilni kelių kalbų bandymai.
Kiekvienai kombinacijai (šaltinio kalba, tikslo kalba, testo tipas, savaitė) paliekame naujausią bandymą, o tada agreguojame pagal mėnesį – taip vienas šaltinis negali pakreipti medianų kartodamas tą pačią porą per savaitę.
Iš išvalyto be pasikartojimų rinkinio skaičiuojame medianą, minimumą, maksimumą, p10, p90, vidurkį ir imties dydį.
Išsaugome atskirų rezultatų momentines kopijas, kad mėnesiui pasibaigus skaičiai išliktų stabilūs, net jei neapdoroti bandymų duomenys vėliau ištrinami pagal TTL.

Kada pora patenka į viešą indeksą

Eilutė (pora × testo tipas × mėnuo) tinka viešam indeksui ir svetainės žemėlapiui (sitemap), kai pasiekia minimalų imties dydį ir medianos įvertinimo slenkstį (balso testams slenkstis žemesnis, nes ASR triukšmo išvengti neįmanoma). Kadangi duomenys gaunami iš vieno automatizuoto šaltinio, o ne iš daugelio nepriklausomų lankytojų, šiems sintetiniams duomenims unikalių šaltinių reikalavimas švelninamas – imties dydžio ir kokybės slenksčiai vis tiek taikomi.

Poros, kurios slenksčių nepasiekia, lieka pasiekiamos tiesioginiu adresu – slenksčiai riboja tik tai, ką mato paieškos sistemos. Mažų įvertinimų neslepiame nuo nė vieno, kas jų paprašo tiesiogiai.

Ko sąmoningai NEtvirtiname

Vienas įvertinimas nėra patikimas. Gerai veikianti pora tarp bandymų gali svyruoti 30 balų, nes ir ASR, ir LLM vertinimas yra triukšmingi. Todėl kiekviename puslapyje rodome skirstinį, o ne vieną skaičių.
Pats LLM vertintojas yra netobulas. Ateityje galime jį pakeisti arba naudoti du vertintojus; tada istorinės eilutės turės vertintojo identifikatorių.
Etalonas nematuoja delsos, kainos, prieinamumo ar naudotojų pasitenkinimo. Tai matuojama kitur.
Duomenų rinkinys sintetinis – jį sukuria mūsų pačių automatizuotas rinkinys, o ne nepriklausomas trečiųjų šalių srautas. Tai sakome atvirai, o ne vaizduojame, kad egzistuoja išorinis vertintojų ratas.

Sąžiningi sprendimai

Kai konkrečios poros kokybė mėnesį nukrenta – tai lieka matoma. Kai klaida ištaisoma ir kitą mėnesį rezultatas pašoka – pagerėjimas matomas tame pačiame puslapyje. Istorinių agregatų niekada nerašome iš naujo. Administratoriai gali tik paslėpti atskirus mėnesius iš viešo indekso; jau paskelbtų skaičių pakeisti jie negali.

Žinomos problemos, darančios įtaką istoriniams duomenims

Pokalbių testų aplinka iki 2026-04-23: automatizuotame pokalbių testų sraute būta gedimų atskirų kalbų atveju. Ankstesnių mėnesių pokalbių agregatai gali rodyti žemesnius įvertinimus nei tikroji to laikotarpio vertimo kokybė. Paveikti mėnesiai saugomi duomenų bazėje, bet nerodomi viešame indekse; tendencijos diagramoje pataisymo vietoje matysis staigus pokytis.

Klausimai

Nesutinkate su kuo nors čia? Atidarykite issue arba parašykite mums. Atnaujinsime šį puslapį ir pažymėsime pakeitimą.