Методология

Бенчмаркът за качеството на превода на InterMIND се създава автоматично от нашия собствен набор от тестове: всяка седмица синтетичен прогон задейства същия преводен конвейер, който обслужва публичното /demo, върху фиксиран референтен набор и по един и същ начин за всяка езикова двойка. Прогонът е синтетичен и възпроизводим — нищо тук не е подбирано или избирано selectively, и в оценяването няма човек.

Как протича един тест

Тестовият прогон възпроизвежда референтен аудиофайл (гласов тест) или изпраща референтен текст (чат тест) от изходен език през нашия конвейер за превод в реално време към целеви език. Получаваният превод се оценява от 0 до 100 от LLM съдия спрямо каноничен референтен превод.

LLM съдия: основен е google/gemini-3.8-flash, резервен е anthropic/claude-sonnet-5 (чрез Vercel AI Gateway). За всички двойки се използват един и същ промпт, една и съща рубрика и едни и същи референтни текстове.

Как се агрегира един месец

Всеки завършен пълен прогон на бенчмарка се записва в demo_test_runs с резултати по целеви езици. Прегледите на единична двойка се изключват — само пълните многоезикови прогони участват в медианите.
За всяка комбинация (изходен език, целеви език, тип тест, седмица) запазваме последния прогон и след това агрегираме по месеци — така един източник не може да измества медианите, като повтаря една двойка в рамките на седмицата.
От дедупликирания набор изчисляваме медиана, минимум, максимум, p10, p90, средна стойност и размер на извадката.
Запазваме снимка на отделните резултати, така че след приключване на месеца числата остават стабилни, дори суровите прогони да бъдат изтрити по TTL.

Кога една двойка попада в публичния индекс

Ред (двойка × тип тест × месец) отговаря на условията за публичния индекс и sitemap, когато надхвърли минимален размер на извадката и праг на медианната оценка (по-нисък праг за гласа, който носи неизбежен ASR шум). Тъй като наборът от данни идва от един автоматизиран източник, а не от много независими посетители, изискването за уникални източници е смекчено за тези синтетични данни — праговете за размер на извадката и за качество продължават да важат.

Двойките, които не достигат прага, остават достъпни чрез директна връзка — праговете ограничават само онова, което виждат търсачките. Не скриваме ниските резултати от никого, който ги поиска директно.

Какво умишлено НЕ твърдим

Един-единствен резултат не е достоверен. Добре работеща двойка може да се люлее с 30 точки между прогоните, защото ASR и оценката на LLM са шумни. Затова всяка страница показва разпределение, а не едно число.
Самият LLM съдия е несъвършен. В бъдеще може да го сменим или да въведем двама съдии; когато това се случи, историческите редове ще носят идентификатор на съдията.
Бенчмаркът не измерва латентност, цена, наличност или удовлетвореност на потребителите. Те се следят другаде.
Наборът от данни е синтетичен — създаден от нашия собствен автоматизиран набор от тестове, а не от независим трафик на трети страни. Посочваме го изрично, вместо да внушаваме външен панел.

Честни позиции

Когато един месец отбележи спад в качеството за определена двойка — той остава видим. Когато грешка бъде поправена и следващият месец скочи — подобрението е видимо на същата страница. Никога не пренаписваме историческите агрегати. Администраторите могат само да скриват отделни месеци от публичния индекс; не могат да променят числата, които вече са публикувани.

Известни проблеми, засягащи историческите данни

Тестова среда за чат, преди 2026-04-23: автоматизираният конвейер за чат тестове имаше грешки по отделни езици. Агрегатите за чата от по-ранни месеци може да показват по-ниски резултати от действителното качество на превода през тези периоди. Засегнатите месеци се пазят в базата данни, но са скрити от публичния индекс; графиката на тенденцията ще покаже стъпаловидна промяна при поправката.

Въпроси

Не сте съгласни с нещо тук? Отворете issue или ни пишете. Ще обновим тази страница и ще отбележим промяната.