AI překlad kvality Benchmark

Protože sada jazyků stále roste. Každý jazyk, který do produktu přidáme, se připojí k týdennímu běhu benchmarku a vstoupí do indexu, jakmile překročí hranici pro zveřejnění – a nový jazyk málokdy začíná na úrovni páru, který ladíme už rok. Hlavní číslo je medián všech publikovaných párů za kvartál, takže skupina nováčků ho stáhne dolů, i když všechny zavedené páry drží úroveň nebo se zlepšují. Nové páry pak s laděním stoupají a index se vzpamatuje. Chcete-li vidět pokrok u jednoho jazyka, otevřete níže stránku jeho páru: tento trend nic jiného nezkresluje.

Každý test pošle referenční text (chat) nebo přehraje referenční audiosoubor (hlas) stejným živým řetězcem, jaký používá produkt, a LLM hodnotitel ohodnotí výstup od 0 do 100 podle kanonického referenčního překladu. Skóre se dělí do pásem: 90 a více je vynikající, 70–89 dobré, 50–69 uspokojivé, pod 50 slabé. Jednotlivý test může kolísat o desítky bodů, protože rozpoznávání řeči i hodnotitel jsou zatíženi šumem, proto posuzujte pár podle mediánu a rozsahu za měsíc, ne podle jednoho čísla.

Hlas má jedno skóre od začátku do konce: rozpoznávání řeči plus překlad. Chat je překlad samotného psaného textu. Chyby rozpoznávání se promítnou do skóre hlasu, proto jsou hlasové páry v průměru níže a mají nižší práh zveřejnění – 45 oproti 60 u chatu. Pokud váš tým převážně píše, sledujte číslo pro chat; pokud převážně mluví, věřte číslu pro hlas.

Ne. Benchmark je syntetický: naše automatizovaná sada každý týden přehraje pevně danou referenční sadu FLORES-200 skrz celý řetězec zpracování a to je jediný zdroj těchto čísel. Relace, které lidé spouštějí v demu, se nehodnotí ani neukládají do benchmarku a vaše meetingy se pro něj nikdy nepoužívají.

Otevřete stránku dané dvojice z tabulky výše: zobrazí medián, rozsah a velikost vzorku za každý měsíc a také trend napříč měsíci. Chcete-li si to ověřit na vlastním materiálu, otevřete testovací prostředí – stejné dvoupanelové uspořádání, ve kterém běží benchmark – a mluvte nebo pište ve svém jazyce; nic se nespustí samo a nic se neukládá. Pokud dvojice není uvedena, buď ještě nepřekročila práh zveřejnění, nebo zatím není součástí produktu. Nízká skóre zůstávají dostupná přímým odkazem; neskrýváme je.