ШІ-переклад якості Бенчмарк

Тому що набір мов постійно зростає. Кожна мова, яку ми додаємо до продукту, потрапляє до щотижневого запуску бенчмарку й входить в індекс, щойно долає поріг публікації, а нова мова рідко починає з того рівня, на якому перебуває пара, яку ми налаштовуємо вже рік. Головне число — це медіана за всіма опублікованими парами за квартал, тому група новачків знижує його, навіть якщо всі усталені пари тримають рівень або покращуються. Потім нові пари зростають у міру налаштування, і індекс відновлюється. Щоб побачити прогрес по одній мові, відкрийте сторінку її пари нижче: цей тренд нічим іншим не розбавлений.

Кожен тест надсилає еталонний текст (чат) або відтворює еталонний аудіофайл (голос) через той самий живий конвеєр, що його використовує продукт, а LLM-суддя оцінює результат від 0 до 100 щодо канонічного еталонного перекладу. Оцінки поділяються на діапазони: 90 і вище — відмінно, 70–89 — добре, 50–69 — задовільно, нижче 50 — слабко. Окремий запуск може відхилятися на десятки пунктів, оскільки розпізнавання мовлення і суддя дають шум, тому оцінюйте пару за медіаною та діапазоном за місяць, а не за одним числом.

Голос оцінюється одним наскрізним балом: розпізнавання мовлення плюс переклад. Чат — це переклад лише набраного тексту. Помилки розпізнавання потрапляють у оцінку голосу, тому голосові пари в середньому мають нижчі значення та нижчий поріг публікації — 45 проти 60 для чату. Якщо ваша команда здебільшого пише, дивіться на показник чату; якщо переважно говорить — довіряйте показнику голосу.

Ні. Бенчмарк синтетичний: наш автоматизований набір щотижня пропускає крізь конвеєр фіксований еталонний набір FLORES-200, і це єдине джерело цих цифр. Сесії, які користувачі запускають у демо, не оцінюються й не зберігаються в бенчмарку, а ваші зустрічі ніколи для нього не використовуються.

Відкрийте сторінку потрібної пари в таблиці вище: на ній показано медіану, діапазон і розмір вибірки по місяцях, а також тренд між місяцями. Щоб перевірити на власному матеріалі, відкрийте тестовий стенд — ту саму двопанельну конфігурацію, в якій працює бенчмарк — і говоріть або пишіть своєю мовою; нічого не запускається саме й нічого не зберігається. Якщо пари немає в списку, вона ще не досягла порогу публікації або ще не доступна в продукті. Низькі оцінки залишаються доступними за прямим посиланням; ми їх не приховуємо.