DI vertimo kokybės palyginamoji analizė

Nes kalbų rinkinys nuolat plečiasi. Kiekviena į produktą pridėta kalba įtraukiama į savaitinį palyginamąjį bandymą ir patenka į indeksą, vos peržengusi paskelbimo slenkstį – o nauja kalba retai pradeda ten, kur yra porą, kurią derinome metus. Pagrindinis skaičius yra visų ketvirčio paskelbtų porų mediana, todėl naujokų grupė ją patempia žemyn, net jei visos senosios poros išlaiko arba pagerina rezultatą. Vėliau naujos poros, mums jas derinant, kyla, o indeksas atsigauna. Norėdami matyti vienos kalbos pažangą, atidarykite jos poros puslapį žemiau: šios tendencijos niekas kitas neiškreipia.

Kiekvienas bandymas per tą patį tiesioginį procesą, kurį naudoja produktas, išsiunčia etaloninį tekstą (pokalbiams) arba paleidžia etaloninį garso įrašą (balsui), o LLM vertintojas vertina rezultatą nuo 0 iki 100, lygindamas su kanoniniu etaloniniu vertimu. Įverčiai skirstomi į juostas: 90 ir daugiau – puikus, 70–89 – geras, 50–69 – vidutinis, žemiau 50 – silpnas. Pavienis bandymas gali svyruoti dešimtimis balų, nes ir kalbos atpažinimas, ir vertintojas yra nestabilūs, todėl porą vertinkite pagal mėnesio medianą ir diapazoną, o ne pagal vieną skaičių.

Balso įvertis yra vienas, nuo pradžios iki pabaigos: kalbos atpažinimas ir vertimas. Pokalbių įvertis – tik įvesto teksto vertimas. Atpažinimo klaidos patenka į balso įvertį, todėl balso poros vidutiniškai gauna žemesnį įvertį ir turi žemesnę paskelbimo ribą – 45, o pokalbių – 60. Jei jūsų komanda daugiausia rašo, žiūrėkite į pokalbių rodiklį; jei daugiausia kalba – pasitikėkite balso rodikliu.

Ne. Palyginamoji analizė yra sintetinė: mūsų automatizuotas rinkinys kas savaitę paleidžia fiksuotą FLORES-200 etaloninį rinkinį per visą vertimo grandinę, ir tai yra vienintelis šių skaičių šaltinis. Demonstracinėje versijoje vykdomos sesijos nei vertinamos, nei įrašomos į palyginamąją analizę, o jūsų susitikimai niekada nenaudojami.

Atidarykite poros puslapį iš aukščiau esančios lentelės: jame rodoma mediana, diapazonas ir imties dydis pagal mėnesį bei tendencija per mėnesius. Norėdami patikrinti su savo medžiaga, atidarykite bandymų stendą – tą pačią dviejų sričių aplinką, kurioje vyksta palyginamoji analizė – ir kalbėkite ar rašykite savo kalba; niekas nepasileidžia savaime ir nieko neįrašoma. Jei poros sąraše nėra, ji dar nepasiekė paskelbimo ribos arba dar nėra produkte. Žemus įverčius vis tiek galima pasiekti tiesiogine nuoroda – jų neslepiame.