ترجمے کے معیار کی مارکیٹنگ کیوں ناکام ہے — اور اس کے بجائے ہم کیا شائع کرتے ہیں

کسی بھی لائیو ٹرانسلیشن وینڈر کی ویب سائٹ کھولیں۔ آپ کو ہمیشہ اسی قسم کے اعداد و شمار نظر آئیں گے:

• "200+ زبانیں"
• "6,000+ زبانوں کے جوڑے"
• "دنیا میں پہلا" / "سب سے زیادہ درستگی"
• "99% درست"

اب ان میں سے کسی بھی وینڈر کے صفحے پر یہ تلاش کر کے دیکھیں کہ ان اعداد کا اس meeting کے لیے کیا مطلب ہے جو آپ منعقد کرنے والے ہیں۔ ہر زبان کا الگ معیار۔ دوبارہ دہرایا جا سکنے والا طریقۂ کار۔ نمونے کا حجم۔ وقت کے ساتھ اسکور۔ اس بات کا ایمانداری سے اعتراف کہ ماڈل کہاں کمزور ہے۔

آپ کو یہ نہیں ملے گا۔ نہ مارکیٹنگ کی عبارت میں، اور دستاویزات میں بھی شاذ و نادر۔

یہ اس شعبے کا جما ہوا توازن ہے۔ اس کی تین وجوہات ہیں:

1. زیادہ تر وینڈرز کا اپنا ترجمہ انجن نہیں ہوتا۔ وہ OpenAI، Google، DeepL، Microsoft یا ان کے کسی مجموعے کے ذریعے کام چلاتے ہیں۔ ہر جوڑے کے معیار کا ڈیٹا شائع کرنا کسی اور کے ماڈل کی بینچ مارکنگ کرنے کے مترادف ہوگا — اس میں مارکیٹنگ کا کوئی فائدہ نہیں۔
2. معیار کا ایماندار ڈیٹا بل بورڈ پر لگانا مشکل ہے۔ ایک اکیلا اسکور غیر مستحکم ہوتا ہے۔ تقسیم (distribution) زیادہ مفید ہے مگر اسے مختصر کرنا مشکل ہے۔ last-six-months trend اس سے بھی زیادہ مفید ہے، اور اسے سمیٹنا اور بھی مشکل ہے۔
3. خریداری کے شعبے نے ابھی تک سوال نہیں اٹھائے۔ خریدار مارکیٹنگ کے اعداد کو جوں کا توں قبول کر لیتے ہیں، اور یوں یہ توازن برقرار رہتا ہے۔

یہ توازن قائم نہیں رہے گا۔ خریداروں کی اگلی نسل — فارماسیوٹیکل، قانونی، مالیاتی، آڈٹ، سرکاری شعبہ — "کتنی زبانیں؟" سے کہیں زیادہ سخت سوالات پوچھے گی۔ ہم نے /benchmark اس لیے بنایا کہ ہمارے خیال میں انہیں کسی وینڈر کی بات پر آنکھ بند کر کے یقین نہیں کرنا چاہیے۔

مارکیٹنگ کے اعداد آپ کو کیا نہیں بتاتے

"200+ زبانیں" کا مطلب صرف یہ ہے کہ وینڈر کے پاس ایک ایسا ماڈل ہے جو 200 زبانوں میں متن پیدا کرتا ہے۔ ان زبانوں میں معیار بڑے جوڑوں (EN↔DE، EN↔ES، EN↔FR) کے لیے پروڈکشن درجے کا ہوتا ہے، جبکہ کم وسائل والے جوڑوں کے لیے بمشکل قابلِ استعمال۔ ہر جوڑے کی الگ تفصیل کے بغیر آپ یہ نہیں جان سکتے کہ آپ کی meeting اس لکیر کے کس طرف ہوگی۔

"6,000+ زبانوں کے جوڑے" دراصل 80 ماخذ زبانوں پر N × N ترکیبی حساب ہے۔ 6,000 جوڑوں کی معاونت کا دعویٰ کرنا آسان حصہ ہے۔ یہ کہنا کہ کوئی مخصوص جوڑا CAPA جائزے، معاہدے کے مذاکرات یا آمدنی کی کال کے لیے کافی اچھا ہے — یہ وہ حصہ ہے جو بروشر میں نہیں ہوتا۔

"99% درست" — یہ بتائے بغیر کہ کیا ناپا گیا، کس حوالے (reference) کے مقابلے میں، کس نمونے پر، اور کس جج کے ذریعے — بے مضمون دعویٰ ہے۔ ترجمے کے معیار کا کوئی عالمگیر واحد پیمانہ نہیں۔ یہ ایک تقسیم ہے جو زبانوں کے جوڑے، مواد کے شعبے، آڈیو کے معیار (آواز کے لیے)، تاخیر کی حد، اور اس بات پر منحصر ہے کہ مخصوص استعمال کے لیے "کافی اچھا" کا کیا مطلب ہے۔

ایک خریدار کو اصل میں کیا جاننا ضروری ہے

وہ سوالات جو حقیقی DPA جائزوں اور خریداری کی تشخیص میں سامنے آتے ہیں:

1. ہر جوڑے کا معیار — یہ DE↔EN، EN↔AR، JA↔KO پر خاص طور پر کیسی کارکردگی دکھاتا ہے؟
2. نمونے کا حجم — آپ کا بتایا گیا عدد کتنی رنز پر مبنی ہے؟ دس؟ دس ہزار؟
3. طریقۂ کار — ترجموں کا فیصلہ کون کر رہا ہے، کس حوالے کے مقابلے میں، اور کس معیار (rubric) کے ساتھ؟
4. اوسط نہیں، تقسیم — بدترین 10% کیسے ہیں؟ بہترین 10%؟ درمیانہ (median)؟
5. وقت کے ساتھ تبدیلی — کیا آپ کے آخری شائع شدہ عدد کے بعد کوئی جوڑا بہتر ہوا یا بگڑا؟
6. جو آپ نہیں ناپتے — آپ کا بینچ مارک واضح طور پر کیا شامل نہیں کرتا؟

ان میں سے کوئی بھی سوال ناقابلِ جواب نہیں۔ بس یہ کسی کے مارکیٹنگ صفحے پر موجود نہیں ہیں۔

ہم کیا شائع کرتے ہیں

/benchmark ہمارا جواب ہے۔ طریقۂ کار /benchmark/methodology پر موجود ہے — اور اسے اس سے پہلے لکھا گیا کہ ہمیں علم ہوتا کہ آپ اسے پڑھ رہے ہوں گے۔

تین چیزیں اسے اس شعبے کے عمومی معمولات سے ممتاز کرتی ہیں۔

1. حقیقی ٹریفک، منتخب کردہ مجموعہ نہیں

عوامی بینچ مارک کا ہر اسکور ایک حقیقی /demo ٹیسٹ رن سے آتا ہے۔ ہم اچھی کارکردگی والے جوڑے پہلے سے منتخب نہیں کرتے۔ جو پائپ لائن کسی خریدار کے ڈیمو کو چلاتی ہے، وہی ناپی جا رہی ہوتی ہے۔

2. جج کا نام ظاہر کیا جاتا ہے

بنیادی: google/gemini-3.5-flash۔ متبادل: anthropic/claude-sonnet-5۔ دونوں Vercel AI Gateway کے ذریعے۔ جج طریقۂ کار کا حصہ ہے — نام کے ساتھ ظاہر کیا گیا۔ جب ہم جج بدلتے ہیں (ہم نے بدلا ہے، کیونکہ ماڈل ریٹائر ہو جاتے ہیں)، تو تاریخی اندراجات میں وہی جج درج رہتا ہے جس نے واقعی انہیں اسکور کیا تھا؛ پرانے اسکور کبھی خاموشی سے دوبارہ اسکور نہیں کیے جاتے۔

3. تقسیم ہی ڈیٹا ہے، اوسط نہیں

ہر شائع شدہ قطار median، p10، p90، min، max اور نمونے کا حجم دکھاتی ہے — کوئی ایک عدد نہیں۔ ترجمے کے کسی جوڑے کے لیے ایک اکیلا عدد محض شور ہے۔ تقسیم کی شکل ہی اصل اشارہ ہے۔

وہ طریقے جو اس شعبے نے ابھی اپنائے نہیں

• کم اسکور والے جوڑے چھپائے نہیں جاتے۔ عوامی انڈیکس ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 کی شرط پر مشروط ہے — لیکن کوئی بھی شخص کسی بھی جوڑے کا براہِ راست لنک کھول کر اصل اعداد دیکھ سکتا ہے، بشمول وہ جوڑے جو اس مہینے خراب کارکردگی دکھا رہے ہیں۔
• معلوم مسائل دستاویزی ہیں۔ جب 2026 کے اوائل میں چند ہفتوں تک chat-test harness خراب رہا، تو اس مدت کو انڈیکس سے خارج کیا گیا اور methodology صفحے پر تحریری طور پر درج کیا گیا۔ تاریخ کو خاموشی سے دوبارہ نہیں لکھا جاتا۔
• جس کا ہم جان بوجھ کر دعویٰ نہیں کرتے — یہ methodology صفحے کا ایک مکمل حصہ ہے۔ ہم بتاتے ہیں کہ LLM جج خود کہاں ناقص ہے۔ ہم بتاتے ہیں کہ ہم کیا نہیں ناپتے (تاخیر، لاگت، صارف کا اطمینان، ترجمہ شروع ہونے سے پہلے ASR کی جانب کی غلطیاں)۔ ہم یہ بھی بتاتے ہیں کہ ہمارے اپنے خودکار smoke ٹیسٹ ٹریفک کا حصہ ہیں۔

اگلے وینڈر کی تشخیص کے لیے ایک چھلنی

اگر آپ کسی بھی کثیر لسانی meeting پلیٹ فارم کا جائزہ لے رہے ہیں — ہمارا ہو یا کسی اور کا — تو پڑھنے کے لائق صفحہ طریقۂ کار کا ہے۔ اعداد خود آسان حصہ ہیں۔

اس شعبے کے کسی بھی وینڈر کے لیے ایک عملی چھلنی:

• حقیقی ٹریفک پر ہر زبان کے جوڑے اور ہر مہینے کا معیاری ڈیٹا مانگیں۔ منتخب کردہ بینچ مارک نہیں۔ مجموعی اوسط نہیں۔
• پوچھیں کہ ان کا جج کون ہے، وہ واضح طور پر کیا نہیں ناپتے، اور گزشتہ چھ ماہ میں کیا بدلا ہے۔
• پوچھیں کہ جب کسی جوڑے کا اسکور گرتا ہے تو کیا ہوتا ہے — کیا وہ کسی کو بتاتے ہیں، یا خاموشی سے ٹھیک کر دیتے ہیں؟

اگر وینڈر کے پاس تینوں جوابات تحریری طور پر موجود ہیں تو سنجیدگی سے ان کا جائزہ لیں۔ اگر نہیں، تو آپ مارکیٹنگ خرید رہے ہیں — ترجمے کا معیار نہیں۔

خود آزما کر دیکھیں

• لائیو ڈیمو آزمائیں — آپ کی آڈیو پر پروڈکشن ترجمہ پائپ لائن چلاتا ہے، اسے اسی جج سے اسکور کرتا ہے جو عوامی بینچ مارک کو اسکور کرتا ہے، اور آپ کو نتیجہ دکھاتا ہے۔
• بینچ مارک دیکھیں — ہر شائع شدہ زبانوں کا جوڑا، ہر مہینہ، مکمل تقسیم کے ساتھ۔
• طریقۂ کار پڑھیں — اعداد کیسے شمار کیے جاتے ہیں، ان میں کیا شامل ہے، اور کیا نہیں۔

آپ کو ان میں سے کسی بھی بات پر ہماری بات ماننے کی ضرورت نہیں ہوگی۔ یہی اصل مقصد ہے۔

ماخذ: اوپر درج جج کے شناختی نام، گیٹنگ کی حدیں اور اخراج کے قواعد جاری شدہ کوڈ کے مقابلے میں تصدیق شدہ ہیں اور /benchmark/methodology پر شائع کیے گئے ہیں؛ جج Vercel AI Gateway کے ذریعے چلائے جاتے ہیں؛ شروع میں نقل کیے گئے مارکیٹنگ دعوے اس شعبے کے عمومی الفاظ ہیں، کسی نامزد وینڈر کے اقتباسات نہیں؛ اگست 2026 میں جانچا گیا۔