AI ترجمہ معیار بینچ مارک

کیونکہ زبانوں کا مجموعہ مسلسل بڑھ رہا ہے۔ پروڈکٹ میں شامل کی جانے والی ہر زبان ہفتہ وار بینچ مارک رن کا حصہ بن جاتی ہے اور اشاعت کی کم از کم حد پار کرتے ہی اشاریے میں شامل ہو جاتی ہے — اور نئی زبان شاذ ہی وہاں سے شروع ہوتی ہے جہاں ایسی جوڑی کھڑی ہو جسے ہم ایک سال سے بہتر بنا رہے ہیں۔ نمایاں عدد اس سہ ماہی کی تمام شائع شدہ جوڑیوں کا میڈین ہوتا ہے، اس لیے نئی زبانوں کا ایک گروپ اسے نیچے لے آتا ہے، حالانکہ تمام قائم جوڑیاں برقرار رہتی ہیں یا بہتر ہوتی ہیں۔ پھر جیسے جیسے ہم نئی جوڑیوں کو بہتر بناتے ہیں وہ اوپر آتی ہیں اور اشاریہ بحال ہو جاتا ہے۔ کسی ایک زبان کی پیش رفت دیکھنے کے لیے نیچے اس کے جوڑی کے صفحے کو کھولیں: وہ رجحان کسی اور چیز سے متاثر نہیں ہوتا۔

ہر ٹیسٹ ایک حوالہ متن (چیٹ) بھیجتا ہے یا ایک حوالہ آڈیو فائل (صوتی) چلاتا ہے، اسی لائیو پائپ لائن سے جو پروڈکٹ استعمال کرتی ہے، اور ایک LLM جج آؤٹ پٹ کو ایک مستند حوالہ ترجمے کے مقابل 0 سے 100 تک اسکور کرتا ہے۔ اسکور درجوں میں تقسیم ہوتے ہیں: 90 اور اس سے اوپر بہترین، 70–89 اچھا، 50–69 معقول، 50 سے کم کمزور۔ ایک اکیلا رن درجنوں پوائنٹس تک اوپر نیچے ہو سکتا ہے کیونکہ تقریر کی شناخت اور جج دونوں میں شور ہوتا ہے، اس لیے کسی جوڑی کو ایک عدد سے نہیں بلکہ ایک مہینے کے میڈین اور رینج سے پرکھیں۔

صوتی ترجمہ ایک مکمل (end-to-end) اسکور ہے: تقریر کی شناخت اور ترجمہ دونوں۔ چیٹ صرف ٹائپ کیے گئے متن کا ترجمہ ہے۔ شناخت کی غلطیاں صوتی اسکور میں شامل ہو جاتی ہیں، اس لیے صوتی جوڑیوں کا اوسط کم رہتا ہے اور ان کی اشاعت کی کم از کم حد بھی کم ہے — چیٹ کے 60 کے مقابلے میں 45۔ اگر آپ کی ٹیم زیادہ تر ٹائپ کرتی ہے تو چیٹ کا نمبر دیکھیں؛ اگر زیادہ تر بولتی ہے تو صوتی نمبر پر اعتماد کریں۔

نہیں۔ بینچ مارک مصنوعی (synthetic) ہے: ہمارا خودکار سویٹ ہر ہفتے FLORES-200 کا ایک مقررہ حوالہ سیٹ پائپ لائن میں چلاتا ہے، اور ان اعداد کا واحد ذریعہ یہی ہے۔ ڈیمو پر لوگوں کے چلائے گئے سیشنز نہ اسکور کیے جاتے ہیں اور نہ بینچ مارک میں محفوظ ہوتے ہیں، اور آپ کی میٹنگز اس کے لیے کبھی استعمال نہیں ہوتیں۔

اوپر دی گئی جدول سے اس جوڑی کا اپنا صفحہ کھولیں: اس میں ہر مہینے کا میڈین، رینج اور نمونے کا حجم، اور مہینوں کے درمیان رجحان نظر آتا ہے۔ اپنے مواد پر جانچنے کے لیے ٹیسٹ رِگ کھولیں — وہی دو پین والا سیٹ اپ جس میں بینچ مارک چلتا ہے — اور اپنی زبان میں بولیں یا ٹائپ کریں؛ کچھ بھی خود بخود شروع نہیں ہوتا اور کچھ بھی محفوظ نہیں ہوتا۔ اگر کوئی جوڑی فہرست میں نہیں ہے تو یا وہ ابھی اشاعت کی کم از کم حد پر پوری نہیں اتری یا ابھی پروڈکٹ میں موجود نہیں۔ کم اسکور براہِ راست لنک سے دستیاب رہتے ہیں؛ ہم انہیں چھپاتے نہیں۔