Dlaczego marketing jakości tłumaczeń jest zepsuty — i co publikujemy zamiast niego

Wejdź na stronę dowolnego dostawcy tłumaczenia na żywo. Zobaczysz te same rodzaje liczb:

• „200+ języków”
• „6000+ par językowych”
• „Pierwszy na świecie” / „Najwyższa dokładność”
• „99% dokładności”

Spróbuj teraz znaleźć na którejkolwiek z tych stron, co te liczby oznaczają dla spotkania, które zaraz poprowadzisz. Jakość dla każdego języka. Powtarzalną metodologię. Wielkość próby. Wynik w czasie. Uczciwą informację o tym, gdzie model jest słaby.

Nie znajdziesz tego. Nie w tekstach marketingowych, a rzadko także w dokumentacji.

Taka jest równowaga w tej kategorii. Istnieje z trzech powodów:

1. Większość dostawców nie ma własnego silnika tłumaczeniowego. Kierują ruch przez OpenAI, Google, DeepL, Microsoft lub kombinację tych usług. Publikowanie jakości dla każdej pary byłoby testowaniem cudzego modelu — nie ma w tym wartości marketingowej.
2. Uczciwe dane o jakości trudno umieścić na billboardzie. Pojedynczy wynik jest zaszumiony. Rozkład jest użyteczniejszy, ale trudniejszy do streszczenia. trend z ostatnich sześciu miesięcy jest jeszcze użyteczniejszy i jeszcze trudniejszy do streszczenia.
3. Dział zakupów jeszcze się nie sprzeciwił. Kupujący przyjmują liczby marketingowe na wiarę, więc ta równowaga się utrzymuje.

Ta równowaga się nie utrzyma. Następna klasa kupujących — farmacja, prawo, finanse, audyt, sektor publiczny — zacznie zadawać trudniejsze pytania niż „ile języków”. Stworzyliśmy /benchmark, bo uważamy, że nie powinni musieć polegać na słowie dostawcy.

Czego nie mówią liczby marketingowe

„200+ języków” oznacza, że dostawca ma model generujący tekst w 200 językach. Jakość w tych językach waha się od poziomu produkcyjnego dla głównych par (EN↔DE, EN↔ES, EN↔FR) po ledwo użyteczną dla par o niewielkich zasobach. Bez zestawienia dla każdej pary nie da się stwierdzić, po której stronie tej granicy znajdzie się Twoje spotkanie.

„6000+ par językowych” to kombinatoryka N × N na 80 językach źródłowych. Zadeklarowanie obsługi 6000 par to łatwa część. Stwierdzenie, że konkretna para wystarcza do przeglądu CAPA, negocjacji umowy lub rozmowy o wynikach finansowych — tego już nie ma w broszurze.

„99% dokładności”, bez podania, co mierzono, względem jakiego wzorca, na jakiej próbie i przez jakiego sędziego, jest pozbawione treści. Jakość tłumaczenia nie ma uniwersalnej skali. Ma rozkład, który zależy od pary językowej, dziedziny treści, jakości dźwięku (w przypadku głosu), budżetu opóźnienia i tego, co oznacza „wystarczająco dobrze” w konkretnym zastosowaniu.

Co kupujący naprawdę powinien wiedzieć

Pytania, które gospodarz powinien zadać, zanim zaufa danej parze podczas rozmowy z klientem:

1. Jakość dla pary — jak to działa konkretnie dla DE↔EN, EN↔AR, JA↔KO?
2. Wielkość próby — na ilu uruchomieniach opiera się podany wynik? Dziesięciu? Dziesięciu tysiącach?
3. Metodologia — kto ocenia tłumaczenia, względem jakiego wzorca i według jakiej rubryki?
4. Rozkład, nie średnia — jak wygląda najgorsze 10%? Najlepsze 10%? Mediana?
5. Zmiana w czasie — czy dana para poprawiła się, czy pogorszyła od ostatniej publikacji wyniku?
6. Czego nie mierzycie — czego Wasz benchmark jawnie nie obejmuje?

Na żadne z tych pytań nie da się odpowiedzieć. Po prostu nie ma ich na niczyjej stronie marketingowej.

Co publikujemy

/benchmark to nasza odpowiedź. Metodologia jest dostępna pod adresem /benchmark/methodology — napisana, zanim dowiedzieliśmy się, że to przeczytasz.

Trzy rzeczy odróżniają go od norm w tej kategorii.

1. Rzeczywisty ruch, nie wyselekcjonowany zestaw

Każdy wynik w publicznym benchmarku pochodzi z prawdziwego uruchomienia testu /demo. Nie wybieramy z góry par, które wypadają dobrze. Ten sam potok, który obsługuje demo kupującego, jest tym, który mierzymy.

2. Sędzia jest wskazany z nazwy

Podstawowy: google/gemini-3.5-flash. Zapasowy: anthropic/claude-sonnet-5. Oba przez Vercel AI Gateway. Sędzia jest częścią metodologii — ujawniamy go z nazwy. Gdy zmieniamy sędziego (zdarzyło się to, bo modele są wycofywane), wiersze historyczne zachowują sędziego, który faktycznie je ocenił; stare wyniki nigdy nie są po cichu oceniane ponownie.

3. Danymi jest rozkład, nie średnia

Każdy opublikowany wiersz pokazuje medianę, p10, p90, min, max i wielkość próby — a nie jedną liczbę. Pojedyncza liczba dla pary tłumaczeniowej to szum. Sygnałem jest kształt rozkładu.

Praktyki, których ta kategoria nie przyjęła

• Pary o niskich wynikach nie są ukrywane. Publiczny indeks jest ograniczony warunkiem ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — ale każdy może wejść bezpośrednio linkiem do dowolnej pary i zobaczyć rzeczywiste liczby, także dla par, które w tym miesiącu wypadają słabo.
• Znane problemy są udokumentowane. Gdy na początku 2026 roku przez kilka tygodni nie działało środowisko testowe czatu, ten okres został wyłączony z indeksu i opisany na stronie metodologii. Historia nie jest po cichu przepisywana.
• Czego celowo NIE twierdzimy — to osobna sekcja na stronie metodologii. Piszemy, gdzie sam sędzia LLM jest niedoskonały. Piszemy, czego nie mierzymy (opóźnienia, kosztu, satysfakcji użytkowników, błędów ASR przed uruchomieniem tłumaczenia). Ujawniamy, że nasze własne automatyczne smoke testy są częścią ruchu.

Filtr na kolejną ocenę dostawcy

Jeśli oceniasz dowolną wielojęzyczną platformę do spotkań — naszą lub inną — to metodologia jest stroną wartą przeczytania. Same liczby to łatwa część.

Praktyczny filtr dla każdego dostawcy w tej kategorii:

• Poproś o dane o jakości dla każdej pary językowej, miesiąc po miesiącu, na rzeczywistym ruchu. Nie o wyselekcjonowany benchmark. Nie o agregat.
• Zapytaj, kim jest ich sędzia, czego jawnie nie mierzą i co zmieniło się w ciągu ostatnich sześciu miesięcy.
• Zapytaj, co się dzieje, gdy wynik pary spada — czy komuś o tym mówią, czy naprawiają to po cichu?

Jeśli dostawca ma wszystkie trzy odpowiedzi na piśmie, oceń go poważnie. Jeśli nie, kupujesz marketing — a nie jakość tłumaczenia.

Sprawdź sam

• Wypróbuj demo na żywo — uruchamia produkcyjny potok tłumaczeniowy na Twoim nagraniu, ocenia wynik tym samym sędzią, który ocenia publiczny benchmark, i pokazuje rezultat.
• Zobacz benchmark — każda opublikowana para językowa, każdy miesiąc, z pełnym rozkładem.
• Przeczytaj metodologię — jak liczone są wyniki, co obejmują, czego nie obejmują.

Nie będziesz musiał wierzyć nam na słowo w żadnej z tych kwestii. O to właśnie chodzi.

Źródła: identyfikatory sędziów, progi bramkowania i reguły wyłączania podane powyżej zostały zweryfikowane z wdrożonym kodem i opublikowane pod adresem /benchmark/methodology; sędziowie są udostępniani przez Vercel AI Gateway; cytowane na początku twierdzenia marketingowe to sformułowania typowe dla kategorii, a nie cytaty z konkretnego dostawcy; sprawdzono w sierpniu 2026.