Бенчмарк за качеството на AI превода

Защото наборът от езици непрекъснато расте. Всеки език, който добавяме към продукта, влиза в седмичния бенчмарк и попада в индекса, щом премине прага за публикуване – а новият език рядко започва от нивото на двойка, която настройваме от година. Водещото число е медианата за всички публикувани двойки за тримесечието, така че група новодошли го сваля, дори всяка утвърдена двойка да се задържа или подобрява. После новите двойки се повишават с настройването им и индексът се възстановява. За да видите напредъка при един език, отворете страницата на неговата двойка по-долу: този тренд не се размива от нищо друго.

Всеки тест изпраща референтен текст (чат) или възпроизвежда референтен аудиофайл (глас) през същия работещ на живо процес, който използва продуктът, а LLM съдия оценява резултата от 0 до 100 спрямо еталонен референтен превод. Оценките се разпределят в диапазони: 90 и нагоре е отлично, 70–89 е добро, 50–69 е задоволително, под 50 е слабо. Отделен тест може да се колебае с десетки точки, защото разпознаването на реч и съдията са шумни, затова преценявайте една двойка по медианата и диапазона є за месец, а не по едно число.

Гласът е една оценка от край до край: разпознаване на реч плюс превод. Чатът е превод само на написан текст. Грешките в разпознаването попадат в оценката за гласа, затова гласовите двойки са със средно по-ниски стойности и имат по-нисък праг за публикуване – 45 срещу 60 за чата. Ако екипът ви основно пише, гледайте числото за чата; ако основно говори, доверете се на числото за гласа.

Не. Бенчмаркът е синтетичен: нашият автоматизиран набор всяка седмица прекарва през системата фиксиран референтен набор от FLORES-200 и това е единственият източник на тези числа. Сесиите, които хората провеждат в демото, нито се оценяват, нито се запазват в бенчмарка, а вашите срещи никога не се използват за него.

Отворете собствената страница на двойката от таблицата по-горе: тя показва медиана, диапазон и размер на извадката по месеци, както и тенденцията през месеците. За да проверите на собствен материал, отворете тестовата среда – същата конфигурация с два панела, в която работи бенчмаркът – и говорете или пишете на вашия език; нищо не стартира само и нищо не се запазва. Ако една двойка не е в списъка, тя още не е достигнала прага за публикуване или още не е в продукта. Ниските оценки остават достъпни чрез директна връзка; не ги скриваме.