Primerjalni test kakovosti prevajanja z umetno inteligenco

Ker se nabor jezikov nenehno širi. Vsak jezik, ki ga dodamo izdelku, se pridruži tedenskemu primerjalnemu testu in vstopi v indeks, ko preseže prag za objavo – novi jezik pa redko začne tam, kjer je par, ki ga prilagajamo že leto dni. Glavna številka je mediana vseh objavljenih parov v četrtletju, zato skupina novincev potegne mediano navzdol, tudi ko vsi uveljavljeni pari ostanejo na isti ravni ali se izboljšajo. Novi pari nato z našim prilagajanjem napredujejo in indeks si opomore. Če želite videti napredek pri enem jeziku, odprite stran njegovega para spodaj: ta trend ni razredčen z ničemer drugim.

Vsak test pošlje referenčno besedilo (klepet) ali predvaja referenčno zvočno datoteko (glas) skozi isti živi cevovod, ki ga uporablja izdelek, sodnik LLM pa izhod oceni od 0 do 100 glede na kanonični referenčni prevod. Ocene se razvrstijo v razrede: 90 in več je odlično, 70–89 dobro, 50–69 zadovoljivo, pod 50 šibko. Posamezen test lahko niha za več deset točk, ker sta prepoznavanje govora in sodnik oba nenatančna, zato par presojajte po mediani in razponu v enem mesecu, ne po eni sami številki.

Glas je ena ocena od začetka do konca: prepoznavanje govora plus prevod. Klepet je prevod samega natipkanega besedila. Napake prepoznavanja se odražajo v oceni za glas, zato so glasovni pari v povprečju nižje ocenjeni in imajo nižji prag objave – 45 proti 60 pri klepetu. Če vaša ekipa večinoma tipka, je pomembna ocena za klepet; če večinoma govori, zaupajte oceni za glas.

Ne. Primerjalni test je sintetičen: naš avtomatiziran sklop testov vsak teden prek cevovoda predvaja fiksen referenčni nabor FLORES-200 in to je edini vir teh številk. Sej, ki jih ljudje izvedejo v predstavitvi, ne ocenjujemo niti ne shranjujemo v primerjalni test, vaši sestanki pa se zanj nikoli ne uporabljajo.

Odprite stran posameznega para v zgornji tabeli: prikazuje mediano, razpon in velikost vzorca po mesecih ter trend skozi mesece. Če želite par preveriti na lastnem gradivu, odprite testno okolje – enako dvopanejsko postavitev, v kateri teče primerjalni test – in govorite ali tipkajte v svojem jeziku; nič se ne zažene samo in nič se ne shrani. Če par ni naveden, še ni dosegel praga za objavo ali pa še ni v izdelku. Nizke ocene ostanejo dosegljive prek neposredne povezave; ne skrivamo jih.