Benchmark jakości tłumaczenia AI

Ponieważ zestaw języków stale się powiększa. Każdy język dodany do produktu trafia do cotygodniowego przebiegu benchmarku i wchodzi do indeksu, gdy tylko przekroczy próg publikacji – a nowy język rzadko zaczyna z poziomu pary, którą dopracowujemy od roku. Wynik nagłówkowy to mediana ze wszystkich opublikowanych par w danym kwartale, więc grupa nowych par obniża go, nawet gdy wszystkie dotychczasowe pary utrzymują wynik lub się poprawiają. Nowe pary następnie rosną w miarę dopracowywania, a indeks się odbija. Aby zobaczyć postępy dla jednego języka, otwórz poniżej stronę jego pary: ten trend nie jest rozwodniony przez nic innego.

Każdy test wysyła tekst referencyjny (czat) lub odtwarza referencyjny plik audio (głos) przez ten sam potok na żywo, z którego korzysta produkt, a sędzia LLM ocenia wynik w skali od 0 do 100 względem kanonicznego tłumaczenia referencyjnego. Wyniki dzielą się na przedziały: 90 i więcej to doskonały, 70–89 dobry, 50–69 średni, poniżej 50 słaby. Pojedynczy przebieg może się różnić o kilkadziesiąt punktów, ponieważ zarówno rozpoznawanie mowy, jak i sędzia są obarczone szumem, dlatego parę należy oceniać według mediany i zakresu z całego miesiąca, a nie według jednej liczby.

Głos to jeden wynik od początku do końca: rozpoznawanie mowy plus tłumaczenie. Czat to samo tłumaczenie pisanego tekstu. Błędy rozpoznawania trafiają do wyniku głosu, dlatego pary głosowe mają średnio niższe wyniki i niższy próg publikacji – 45 wobec 60 dla czatu. Jeśli Twój zespół głównie pisze, patrz na wynik czatu; jeśli głównie mówi, kieruj się wynikiem głosu.

Nie. Benchmark jest syntetyczny: nasz zautomatyzowany zestaw testów co tydzień przepuszcza przez potok stały zestaw referencyjny FLORES-200 i to jedyne źródło tych liczb. Sesje uruchamiane w wersji demo nie są ani oceniane, ani zapisywane w benchmarku, a Twoje spotkania nigdy nie są do tego wykorzystywane.

Otwórz stronę danej pary z tabeli powyżej: pokazuje medianę, zakres i wielkość próby dla każdego miesiąca oraz trend w kolejnych miesiącach. Aby sprawdzić ją na własnym materiale, otwórz stanowisko testowe – ten sam układ z dwoma panelami, w którym działa benchmark – i mów lub pisz w swoim języku; nic nie uruchamia się samo i nic nie jest zapisywane. Jeśli pary nie ma na liście, to albo nie przekroczyła jeszcze progu publikacji, albo nie ma jej jeszcze w produkcie. Niskie wyniki pozostają dostępne pod bezpośrednim linkiem; nie ukrywamy ich.