Защо маркетингът на качеството на превода е счупен — и какво публикуваме ние

Отворете сайта на който и да е доставчик на превод на живо. Ще видите същите видове числа:

• „200+ езика"
• „6 000+ езикови двойки"
• „Първият в света" / „Най-висока точност"
• „99% точност"

Опитайте сега да намерите на страниците на тези доставчици какво означават тези числа за срещата, която предстои да проведете. Качество по език. Възпроизводима методология. Размер на извадката. Оценка във времето. Честно разкриване къде моделът е слаб.

Няма да го намерите. Нито в маркетинговите текстове, а рядко и в документацията.

Това е равновесието на категорията. Съществува заради три неща:

1. Повечето доставчици не притежават собствен двигател за превод. Те маршрутизират през OpenAI, Google, DeepL, Microsoft или комбинация от тях. Публикуването на данни за качеството по двойки би означавало да се оценява чужд модел — в това няма маркетингова стойност.
2. Честните данни за качеството трудно се поставят на билборд. Една оценка е шумна. Разпределението е по-полезно, но по-трудно се побира в кратко послание. тенденцията за последните шест месеца е още по-полезна и още по-трудна.
3. Отделите за доставки и покупки още не са натиснали. Купувачите приемат маркетинговите числа на доверие и затова равновесието се държи.

Равновесието няма да издържи. Следващият клас купувачи — фармация, право, финанси, одит, публичен сектор — ще задава по-трудни въпроси от „колко езика". Създадохме /benchmark, защото смятаме, че те не бива да приемат думата на доставчика на доверие.

Какво не ви казват маркетинговите числа

„200+ езика" означава, че доставчикът има модел, който генерира текст на 200 езика. Качеството между тези езици варира от продукционно ниво за основните двойки (EN↔DE, EN↔ES, EN↔FR) до едва използваемо за двойки с малко ресурси. Без разбивка по двойки не можете да разберете от коя страна на тази граница ще попадне вашата среща.

„6 000+ езикови двойки" е комбинаторика N × N върху 80 изходни езика. Да заявите, че поддържате 6 000 двойки, е лесната част. Да заявите, че конкретна двойка е достатъчно добра за CAPA преглед, договаряне на договор или отчет за приходите — това е частта, която не е в брошурата.

„99% точност", без да се уточнява какво е измерено, спрямо какъв еталон, върху каква извадка, от какъв judge — е без съдържание. Качеството на превода няма универсална скаларна стойност. То е разпределение, което зависи от езиковата двойка, областта на съдържанието, качеството на звука (за глас), бюджета за латентност и от това какво означава „достатъчно добро" за конкретния случай.

Какво купувачът всъщност трябва да знае

Въпросите, които домакинът трябва да зададе, преди да се довери на дадена двойка за разговор с клиент:

1. Качество по двойки — как се представя това при DE↔EN, EN↔AR, JA↔KO, конкретно?
2. Размер на извадката — на колко изпълнения се основава отчетеното число? Десет? Десет хиляди?
3. Методология — кой оценява преводите, спрямо какъв еталон, с каква рубрика?
4. Разпределение, не средна стойност — как изглеждат най-лошите 10%? Най-добрите 10%? Медианата?
5. Промяна във времето — станала ли е дадена двойка по-добра или по-лоша, откакто за последно сте публикували число?
6. Какво не измервате — какво вашият бенчмарк изрично не обхваща?

Нито един от тези въпроси не е без отговор. Те просто не са на ничия маркетингова страница.

Какво публикуваме

/benchmark е нашият отговор. Методологията е на /benchmark/methodology — написана, преди да знаем, че ще четете това.

Три неща го отличават от нормите в категорията.

1. Реален трафик, а не подбран набор

Всяка оценка в публичния бенчмарк идва от реално тестово изпълнение на /demo. Не подбираме предварително двойки, които се представят добре. Същият конвейер, който обслужва демото на купувача, е този, който се измерва.

2. Judge-ът е назован

Основен: google/gemini-3.5-flash. Резервен: anthropic/claude-sonnet-5. И двата през Vercel AI Gateway. Judge-ът е част от методологията — разкрит е по име. Когато сменяме judge-а (случвало се е, когато моделите се оттеглят), историческите редове носят judge-а, който действително ги е оценил; старите оценки никога не се преоценяват тихомълком.

3. Данните са разпределението, а не средната стойност

Всеки публикуван ред показва медиана, p10, p90, минимум, максимум и размер на извадката — а не едно-единствено число. Едно число за езикова двойка е шум. Формата на разпределението е сигналът.

Практики, които категорията не е възприела

• Двойките с ниска оценка не се крият. Публичният индекс е ограничен с ≥ 10 различни IP адреса, ≥ 10 изпълнения, медиана ≥ 60 — но всеки може да стигне директно до всяка двойка с линк и да види реалните числа, включително двойките, които този месец се представят зле.
• Известните проблеми са документирани. Когато тестовата рамка за чат беше повредена за няколко седмици в началото на 2026 г., този период е изключен от индекса и описан писмено на страницата с методологията. Историята не се пренаписва тихомълком.
• Какво умишлено НЕ твърдим е цял раздел на страницата с методологията. Казваме къде самият LLM judge е несъвършен. Казваме какво не измерваме (латентност, разходи, удовлетвореност на потребителите, грешки от страна на ASR още преди да започне преводът). Разкриваме, че собствените ни автоматизирани smoke тестове са част от трафика.

Филтър за следващата оценка на доставчик

Ако оценявате каквато и да е многоезична платформа за срещи — нашата или друга — методологията е страницата, която си струва да се прочете. Самите числа са лесната част.

Практичен филтър за всеки доставчик в тази категория:

• Поискайте данни за качеството по езикови двойки и по месеци върху реален трафик. Не подбран бенчмарк. Не обобщена стойност.
• Попитайте кой е техният judge, какво изрично не измерват и какво се е променило през последните шест месеца.
• Попитайте какво се случва, когато оценката на дадена двойка падне — съобщават ли го на някого, или го поправят тихомълком?

Ако доставчикът има и трите отговора в писмен вид, оценете го сериозно. Ако няма, купувате маркетинг — а не качество на превода.

Опитайте сами

• Опитайте демото на живо — пуска продукционния конвейер за превод върху вашето аудио, оценява го със същия judge, който оценява публичния бенчмарк, и ви показва резултата.
• Вижте бенчмарка — всяка публикувана езикова двойка, всеки месец, с пълното разпределение.
• Прочетете методологията — как се изчисляват числата, какво включват и какво не.

Няма да се наложи да приемате нашата дума на доверие за нищо от това. Това е целта.

Източници: идентификаторите на judge-овете, праговете за допускане и правилата за изключване по-горе са проверени спрямо внедрения код и публикувани на /benchmark/methodology; judge-овете се обслужват през Vercel AI Gateway; маркетинговите твърдения, цитирани в началото, са типични за категорията формулировки, а не цитати на конкретен доставчик; проверено през август 2026 г.