Аударма сапасы туралы маркетинг неге бұзылған — және біз оның орнына нені жариялаймыз

Нақты уақыттағы аударма ұсынатын кез келген жеткізушінің сайтын ашыңыз. Сіз бәрінде бірдей сандарды көресіз:

• «200+ тіл»
• «6 000+ тіл жұбы»
• «Әлемдегі алғашқы» / «Ең жоғары дәлдік»
• «99% дәлдік»

Енді осы жеткізушілердің кез келген бетінен бұл сандардың сіз өткізейін деп жатқан кездесу үшін нені білдіретінін табуға тырысыңыз. Әр тіл бойынша сапа. Қайталанатын әдістеме. Таңдама көлемі. Уақыт бойынша балл динамикасы. Модельдің қай жерде әлсіз екені туралы адал ақпарат.

Оны таппайсыз. Маркетингтік мәтінде жоқ, құжаттамада да сирек кездеседі.

Бұл — санаттың тепе-теңдігі. Ол үш себептен пайда болған:

1. Жеткізушілердің көпшілігінің өз аударма қозғалтқышы жоқ. Олар OpenAI, Google, DeepL, Microsoft арқылы немесе осылардың үйлесімі арқылы жұмыс істейді. Әр жұп бойынша сапа деректерін жариялау — біреудің моделін бенчмаркке салу болар еді, ал мұнда маркетингтік пайда жоқ.
2. Адал сапа деректерін билбордқа шығару қиын. Жалғыз балл шулы келеді. Үлестірім пайдалырақ, бірақ оны қысқарту қиынырақ. соңғы алты айдағы тренд одан да пайдалы, бірақ оны жеткізу тіпті қиын.
3. Сатып алушылар әлі қарсылық білдірген жоқ. Сатып алушылар маркетингтік сандарды сол күйінде қабылдайды, сондықтан тепе-теңдік сақталып тұр.

Бұл тепе-теңдік сақталмайды. Келесі буын сатып алушылар — фармацевтика, құқық, қаржы, аудит, мемлекеттік сектор — «қанша тіл бар» дегеннен әлдеқайда күрделі сұрақтар қояды. Біз /benchmark бетін олар жеткізушінің сөзіне сенуге мәжбүр болмауы керек деп есептегендіктен жасадық.

Маркетингтік сандар сізге нені айтпайды

«200+ тіл» дегеніміз — жеткізушіде 200 тілде мәтін шығара алатын модель бар деген сөз. Бұл тілдер арасындағы сапа негізгі жұптар (EN↔DE, EN↔ES, EN↔FR) үшін өндірістік деңгейден бастап, ресурсы аз жұптар үшін әрең қолдануға жарайтын деңгейге дейін ауытқиды. Әр жұп бойынша бөлінісі болмаса, сіздің кездесуіңіз осы сызықтың қай жағына түсетінін біле алмайсыз.

«6 000+ тіл жұбы» — 80 бастапқы тілге қолданылған N × N комбинаторикасы. 6 000 жұпты қолдаймыз деп айту — ең оңай бөлігі. Белгілі бір жұптың CAPA шолуына, келісімшарт келіссөздеріне немесе қаржылық есеп бойынша қоңырауға жеткілікті жақсы екенін айту — брошюрада жоқ бөлігі осы.

«99% дәлдік» нені өлшегені, қандай эталонмен салыстырғаны, қандай таңдамада және қандай бағалаушымен тексергені көрсетілмесе, мазмұнсыз сөз. Аударма сапасының әмбебап скаляры жоқ. Оның үлестірімі тіл жұбына, мазмұн саласына, аудио сапасына (дауыс үшін), кідіріс бюджетіне және нақты қолдану жағдайы үшін «жеткілікті жақсы» дегеннің нені білдіретініне байланысты.

Сатып алушыға шын мәнінде нені білу керек

Нақты DPA шолуларында және сатып алу бағалауларында туындайтын сұрақтар:

1. Әр жұп бойынша сапа — бұл жүйе DE↔EN, EN↔AR, JA↔KO жұптарында нақты қалай жұмыс істейді?
2. Таңдама көлемі — көрсетілген сан қанша іске қосуға негізделген? Он? Он мың?
3. Әдістеме — аудармаларды кім бағалайды, қандай эталонмен, қандай рубрикамен?
4. Орташа емес, үлестірім — ең нашар 10% қандай? Ең жақсы 10% ше? Медиана ше?
5. Уақыт бойынша өзгеріс — соңғы рет сан жариялағаннан бері белгілі бір жұп жақсарды ма, нашарлады ма?
6. Нені өлшемейсіздер — сіздердің бенчмаркіңіз нені тікелей қамтымайды?

Бұл сұрақтардың ешқайсысы жауапсыз емес. Олар жай ғана ешкімнің маркетингтік бетінде жоқ.

Біз нені жариялаймыз

/benchmark — біздің жауабымыз. Әдістеме /benchmark/methodology бетінде — оны сіздің оқитыныңызды білмей тұрып жазғанбыз.

Оны санат нормаларынан үш нәрсе ерекшелейді.

1. Нақты трафик, іріктелген жиынтық емес

Жария бенчмарктегі әрбір балл нақты /demo тест іске қосуынан алынады. Біз жақсы нәтиже беретін жұптарды алдын ала таңдамаймыз. Сатып алушының демосына қызмет көрсететін конвейердің өзі өлшенеді.

2. Бағалаушы аталған

Негізгі: google/gemini-3.5-flash. Резервтік: anthropic/claude-sonnet-5. Екеуі де Vercel AI Gateway арқылы. Бағалаушы әдістеменің бөлігі болып табылады және аты аталып ашылады. Бағалаушыны ауыстырғанда (модельдер тоқтатылған кезде ауыстырғанбыз) тарихи жолдарда оларды шын мәнінде бағалаған бағалаушы көрсетіледі; ескі баллдар үнсіз қайта бағаланбайды.

3. Деректер — үлестірім, орташа емес

Жарияланған әрбір жол медиананы, p10, p90, min, max және таңдама көлемін көрсетеді — жалғыз сан емес. Аударма жұбы үшін жалғыз сан — шу. Үлестірімнің пішіні — сигнал.

Санат әлі қабылдамаған тәжірибелер

• Балы төмен жұптар жасырылмайды. Жария индекс ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 шарты бойынша сүзіледі, бірақ кез келген адам кез келген жұпқа тікелей сілтеме арқылы кіріп, нақты сандарды, соның ішінде осы айда нашар жұмыс істеп жатқан жұптарды да көре алады.
• Белгілі мәселелер құжатталған. 2026 жылдың басында чат-тест харнесі бірнеше апта бойы бұзылған кезде, сол кезең индекстен алынып тасталды және әдістеме бетінде жазбаша түрде көрсетілді. Тарих үнсіз қайта жазылмайды.
• Біз қасақана нені ЖАРИЯЛАМАЙМЫЗ — әдістеме бетіндегі толық бөлім. Біз LLM-бағалаушының өзі қай жерде жетілмегенін айтамыз. Нені өлшемейтінімізді айтамыз (кідіріс, шығын, пайдаланушы қанағаттануы, аударма іске қосылғанға дейінгі ASR жағындағы қателер). Өз автоматты смоук-тесттеріміздің трафиктің бөлігі екенін ашып айтамыз.

Келесі жеткізушіні бағалауға арналған сүзгі

Егер сіз кез келген көптілді кездесу платформасын — біздікін немесе басқасын — бағалап жатсаңыз, оқуға тұрарлық бет — әдістеме. Сандардың өзі — ең оңай бөлігі.

Осы санаттағы кез келген жеткізушіге арналған практикалық сүзгі:

• Нақты трафиктегі әр тіл жұбы бойынша, әр ай бойынша сапа деректерін сұраңыз. Іріктелген бенчмарк емес. Агрегат емес.
• Олардың бағалаушысы кім екенін, нені тікелей өлшемейтінін және соңғы алты айда не өзгергенін сұраңыз.
• Жұптың балы төмендегенде не болатынын сұраңыз — олар біреуге хабарлай ма, әлде үнсіз түзей ме?

Егер жеткізушінің үш жауабы да жазбаша түрде болса, оны байыпты бағалаңыз. Болмаса, сіз аударма сапасын емес, маркетингті сатып аласыз.

Өзіңіз байқап көріңіз

• Тікелей демоны байқап көріңіз — өндірістік аударма конвейерін сіздің аудиоңызда іске қосады, оны жария бенчмаркті бағалайтын бағалаушымен бағалайды және нәтижені көрсетеді.
• Бенчмаркті қараңыз — жарияланған әрбір тіл жұбы, әр ай бойынша, толық үлестіріммен.
• Әдістемені оқыңыз — сандар қалай есептеледі, оған не кіреді, не кірмейді.

Мұның ешқайсысына біздің сөзімізге сенудің қажеті жоқ. Негізгі мәселе осы.

Дереккөздер: жоғарыдағы бағалаушы идентификаторлары, сүзу шектері және жасыру ережелері жеткізілген кодпен тексерілген және /benchmark/methodology бетінде жарияланған; бағалаушылар Vercel AI Gateway арқылы қолжетімді; жоғарыда келтірілген маркетингтік тұжырымдар санат үшін типтік тұжырымдар, нақты жеткізушінің дәйексөздері емес; 2026 жылғы тамызда тексерілді.