ИИ-перевод Качество Бенчмарк

Потому что набор языков постоянно расширяется. Каждый язык, который мы добавляем в продукт, попадает в еженедельный прогон бенчмарка и входит в индекс, как только преодолевает порог публикации, — а новый язык редко стартует с того уровня, на котором находится пара, которую мы настраиваем уже год. Главный показатель — это медиана по всем опубликованным парам за квартал, поэтому группа новичков тянет её вниз, даже если все устоявшиеся пары держатся на прежнем уровне или улучшаются. Затем новые пары растут по мере настройки, и индекс восстанавливается. Чтобы увидеть прогресс по конкретному языку, откройте страницу его пары ниже: этот тренд ничем другим не разбавлен.

Каждый тест отправляет эталонный текст (чат) или воспроизводит эталонный аудиофайл (голос) через тот же живой конвейер, который использует продукт, а LLM-судья оценивает результат от 0 до 100 относительно канонического эталонного перевода. Оценки делятся на диапазоны: 90 и выше — отлично, 70–89 — хорошо, 50–69 — удовлетворительно, ниже 50 — слабо. Результат одного прогона может колебаться на десятки баллов, поскольку и распознавание речи, и судья дают шумные оценки, поэтому оценивайте пару по её медиане и диапазону за месяц, а не по одному числу.

Голос — это единая сквозная оценка: распознавание речи плюс перевод. Чат — это перевод только набранного текста. Ошибки распознавания попадают в оценку голоса, поэтому голосовые пары в среднем показывают более низкие результаты и имеют более низкий порог публикации — 45 против 60 для чата. Если ваша команда в основном пишет, смотрите на показатель чата; если в основном говорит — доверяйте показателю голоса.

Нет. Бенчмарк синтетический: наш автоматизированный набор тестов каждую неделю прогоняет через конвейер фиксированный эталонный набор FLORES-200, и это единственный источник этих цифр. Сессии, которые пользователи запускают в демо, не оцениваются и не сохраняются в бенчмарк, а ваши встречи для него никогда не используются.

Откройте страницу самой пары в таблице выше: на ней показаны медиана, диапазон и размер выборки за каждый месяц, а также динамика по месяцам. Чтобы проверить пару на своих материалах, откройте тестовый стенд — ту же двухпанельную конфигурацию, в которой работает бенчмарк, — и говорите или печатайте на своём языке; ничего не запускается само и ничего не сохраняется. Если пары нет в списке, она ещё не преодолела порог публикации или её пока нет в продукте. Низкие оценки остаются доступны по прямой ссылке; мы их не скрываем.