AI аударма сапасының бенчмаркі

Себебі тілдер тізімі үнемі кеңейіп отырады. Өнімге қосылған әр тіл апталық бенчмарк іске қосуына кіреді және жариялау шегінен өткен бойда индекске енеді, ал жаңа тіл біз бір жыл бойы баптаған жұптың деңгейінен сирек басталады. Негізгі көрсеткіш — тоқсан бойынша барлық жарияланған жұптың медианасы, сондықтан жаңа тілдер тобы барлық қалыптасқан жұп сақталып немесе жақсарып жатса да, оны төмендетеді. Кейін жаңа жұптар біз баптаған сайын өседі де, индекс қалпына келеді. Бір тілдің прогресін көру үшін төмендегі жұп бетін ашыңыз: ол трендті ештеңе бұрмаламайды.

Әр тест эталондық мәтінді (чат) жібереді немесе эталондық аудиофайлды (дауыс) өнім қолданатын сол тірі пайплайн арқылы ойнатады, ал LLM-төреші нәтижені канондық эталондық аудармамен салыстырып, 0-ден 100-ге дейін бағалайды. Баллдар деңгейлерге бөлінеді: 90 және одан жоғары — тамаша, 70–89 — жақсы, 50–69 — орташа, 50-den төмен — әлсіз. Сөйлеуді тану да, төреші де тұрақсыз болғандықтан, бір іске қосу нәтижесі ондаған балға ауытқуы мүмкін, сондықтан жұпты бір санмен емес, ай бойынша медианасы мен диапазоны арқылы бағалаңыз.

Дауыс — бір басынан аяғына дейінгі бағалау: сөйлеуді тану плюс аударма. Чат — тек терілген мәтіннің аудармасы. Тану қателері дауыс бағасына түседі, сондықтан дауыс жұптары орта есеппен төмен болады және жариялау шегі де төмен — чат үшін 60 болса, дауыс үшін 45. Егер сіздің команда көбіне теріп жазса, чат көрсеткішіне қараңыз; егер көбіне сөйлесе, дауыс көрсеткішіне сеніңіз.

Жоқ. Бенчмарк синтетикалық: біздің автоматтандырылған жиынтық FLORES-200 тіркелген эталондық жиынын жүйе арқылы әр апта сайын өткізеді, және осы сандардың жалғыз көзі сол. Демода адамдар өткізетін сессиялар бағаланбайды да, бенчмаркке сақталмайды да, ал сіздің кездесулеріңіз оған ешқашан пайдаланылмайды.

Жоғарыдағы кестеден жұптың өз бетін ашыңыз: онда ай сайынғы медиана, диапазон және таңдама көлемі, сондай-ақ айлар бойынша тренд көрсетіледі. Оны өз материалыңызда тексеру үшін сынақ стендін ашыңыз — бенчмарк жұмыс істейтін сондай екі панельді орта — және өз тіліңізде сөйлеңіз немесе теріңіз; ештеңе өздігінен басталмайды және ештеңе сақталмайды. Егер жұп тізімде жоқ болса, ол әлі жариялау шегінен өтпеген немесе өнімде әлі жоқ. Төмен бағалар тікелей сілтеме арқылы қолжетімді болып қалады; біз оларды жасырмаймыз.