Чому маркетинг якості перекладу не працює — і що публікуємо ми

Відкрийте сайт будь-якого постачальника живого перекладу. Ви побачите однотипні цифри:

• «200+ мов»
• «6 000+ мовних пар»
• «Перший у світі» / «Найвища точність»
• «99% точності»

А тепер спробуйте знайти на будь-якій із цих сторінок, що ці цифри означають для зустрічі, яку ви збираєтеся провести. Якість за кожною мовою. Відтворювану методологію. Розмір вибірки. Динаміку оцінки в часі. Чесне розкриття того, де модель слабка.

Ви цього не знайдете. Ані в маркетингових текстах, ані, як правило, в документації.

Це рівновага, в якій перебуває вся категорія. Вона існує через три речі:

1. Більшість постачальників не володіють власним рушієм перекладу. Вони маршрутизують запити через OpenAI, Google, DeepL, Microsoft або комбінацію цих сервісів. Публікація якості за кожною парою означала б тестування чужої моделі — маркетингової цінності в цьому немає.
2. Чесні дані про якість важко розмістити на білборді. Одна оцінка містить шум. Розподіл корисніший, але його складніше стиснути. тренд за останні шість місяців корисніший ще більше, і його стиснути ще складніше.
3. Закупівельники ще не чинили опору. Покупці приймають маркетингові цифри на віру, тож рівновага зберігається.

Ця рівновага не втримається. Наступний клас покупців — фармацевтика, юристи, фінанси, аудит, держсектор — ставитиме складніші запитання, ніж «скільки мов». Ми створили /benchmark, бо вважаємо, що їм не варто покладатися лише на слово постачальника.

Чого не кажуть маркетингові цифри

«200+ мов» означає, що в постачальника є модель, яка видає текст 200 мовами. Якість для різних мов варіюється від рівня production для основних пар (EN↔DE, EN↔ES, EN↔FR) до ледь придатної для пар із малими ресурсами. Без розбивки за парами неможливо визначити, по який бік цієї межі опиниться ваша зустріч.

«6 000+ мовних пар» — це комбінаторика N × N на 80 вихідних мов. Заявити про підтримку 6 000 пар легко. Стверджувати, що конкретна пара достатньо хороша для перегляду CAPA, переговорів щодо контракту чи звіту про прибутки, — ось чого немає в брошурі.

«99% точності» без уточнення, що вимірювали, відносно якого еталона, на якій вибірці та яким суддею, — порожні слова. Якість перекладу не має універсального скалярного значення. Вона має розподіл, який залежить від мовної пари, предметної галузі, якості аудіо (для голосу), бюджету затримки та від того, що означає «достатньо добре» для конкретного випадку використання.

Що насправді потрібно знати покупцю

Запитання, які варто поставити організатору, перш ніж довіряти якійсь парі клієнтський дзвінок:

1. Якість за кожною парою — як це працює саме на DE↔EN, EN↔AR, JA↔KO?
2. Розмір вибірки — на скількох прогонах ґрунтується ваша заявлена цифра? На десяти? На десяти тисячах?
3. Методологія — хто оцінює переклади, відносно якого еталона, за якою рубрикою?
4. Розподіл, а не середнє — як виглядають найгірші 10%? Найкращі 10%? Медіана?
5. Дрейф у часі — чи покращилася або погіршилася певна пара відтоді, як ви востаннє публікували цифру?
6. Чого ви не вимірюєте — що ваш бенчмарк свідомо не охоплює?

Жодне з цих запитань не лишається без відповіді. Просто цих відповідей немає на маркетингових сторінках.

Що публікуємо ми

/benchmark — наша відповідь. Методологію описано на /benchmark/methodology — вона написана ще до того, як ми дізналися, що ви це читатимете.

Від норм категорії його відрізняють три речі.

1. Реальний трафік, а не підібраний набір

Кожна оцінка в публічному бенчмарку походить із реального тестового прогону /demo. Ми не добираємо наперед пари, які показують хороший результат. Той самий конвеєр, що обслуговує демо покупця, і є тим, що вимірюється.

2. Суддю названо

Основний: google/gemini-3.5-flash. Резервний: anthropic/claude-sonnet-5. Обидва через Vercel AI Gateway. Суддя — частина методології, і його названо на ім'я. Коли ми змінюємо суддю (так бувало, коли моделі виводили з обігу), історичні рядки зберігають того суддю, який їх насправді оцінював; старі оцінки ніколи не переоцінюються непомітно.

3. Дані — це розподіл, а не середнє

Кожен опублікований рядок показує медіану, p10, p90, мінімум, максимум і розмір вибірки, а не одне число. Одне число для пари перекладу — це шум. Форма розподілу — це сигнал.

Практики, яких категорія ще не перейняла

• Пари з низькою оцінкою не приховуються. Публічний індекс має поріг ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, але будь-хто може перейти за прямим посиланням до будь-якої пари й побачити реальні цифри, зокрема для пар, які цього місяця працюють погано.
• Відомі проблеми задокументовано. Коли на початку 2026 року кілька тижнів не працював тестовий інструментарій чату, цей період виключили з індексу й письмово зазначили на сторінці методології. Історію не переписують непомітно.
• Те, чого ми свідомо НЕ стверджуємо, — окремий розділ на сторінці методології. Ми кажемо, де сам LLM-суддя недосконалий. Ми кажемо, чого не вимірюємо (затримка, вартість, задоволеність користувачів, помилки ASR ще до запуску перекладу). Ми розкриваємо, що наші власні автоматизовані smoke-тести входять до трафіку.

Фільтр для наступної оцінки постачальника

Якщо ви оцінюєте будь-яку багатомовну платформу для зустрічей — нашу чи іншу, — саме методологія є сторінкою, яку варто прочитати. Самі цифри — це легка частина.

Практичний фільтр для будь-якого постачальника в цій категорії:

• Попросіть дані про якість за кожною мовною парою та за кожен місяць на реальному трафіку. Не підібраний бенчмарк. Не агрегат.
• Запитайте, хто їхній суддя, чого вони свідомо не вимірюють і що змінилося за останні шість місяців.
• Запитайте, що відбувається, коли оцінка пари падає — чи повідомляють вони про це комусь, чи виправляють непомітно?

Якщо постачальник має всі три відповіді в письмовому вигляді, оцінюйте його серйозно. Якщо ні — ви купуєте маркетинг, а не якість перекладу.

Спробуйте самі

• Спробуйте живе демо — запускає виробничий конвеєр перекладу на вашому аудіо, оцінює результат тим самим суддею, що й публічний бенчмарк, і показує вам вихідний текст.
• Перегляньте бенчмарк — кожна опублікована мовна пара, кожен місяць, із повним розподілом.
• Прочитайте методологію — як обчислюються цифри, що вони включають і чого не включають.

Вам не доведеться вірити нам на слово. У цьому й суть.

Джерела: ідентифікатори суддів, порогові значення індексу та правила виключення, наведені вище, перевірено за поставленим кодом і опубліковано на /benchmark/methodology; суддів обслуговує Vercel AI Gateway; маркетингові твердження, процитовані на початку, — типові для категорії формулювання, а не цитати конкретного постачальника; перевірено у серпні 2026 року.