AI अनुवाद गुणवत्ता बेंचमार्क

क्योंकि भाषाओं का दायरा बढ़ता रहता है। प्रोडक्ट में हम जो भी भाषा जोड़ते हैं, वह साप्ताहिक बेंचमार्क रन में शामिल हो जाती है और प्रकाशन-सीमा पार करते ही सूचकांक में आ जाती है — और कोई नई भाषा शायद ही वहाँ से शुरू होती है जहाँ एक साल से ट्यून की जा रही जोड़ी खड़ी है। मुख्य संख्या उस तिमाही की सभी प्रकाशित जोड़ियों की माध्यिका है, इसलिए नई भाषाओं का एक समूह उसे नीचे खींच देता है, भले ही हर स्थापित जोड़ी स्थिर रहे या बेहतर हो। फिर जैसे-जैसे हम इन नई जोड़ियों को ट्यून करते हैं, वे ऊपर चढ़ती हैं और सूचकांक सुधर जाता है। किसी एक भाषा की प्रगति देखने के लिए नीचे उसका जोड़ी-पृष्ठ खोलें: उस रुझान में किसी और चीज़ का असर नहीं मिलता।

हर टेस्ट एक संदर्भ टेक्स्ट (चैट) भेजता है या एक संदर्भ ऑडियो फ़ाइल (वॉइस) चलाता है, उसी लाइव पाइपलाइन से जिसका उपयोग प्रोडक्ट करता है, और एक LLM जज आउटपुट को एक मानक संदर्भ अनुवाद के मुकाबले 0 से 100 तक स्कोर करता है। स्कोर श्रेणियों में बँटते हैं: 90 और उससे ऊपर उत्कृष्ट, 70–89 अच्छा, 50–69 ठीक-ठाक, 50 से नीचे कमज़ोर। स्पीच रिकग्निशन और जज दोनों में थोड़ा उतार-चढ़ाव रहता है, इसलिए एक रन कई अंकों तक ऊपर-नीचे हो सकता है; इसलिए किसी जोड़ी को एक संख्या से नहीं, बल्कि एक महीने की माध्यिका और रेंज से परखें।

वॉइस एक एंड-टू-एंड स्कोर है: स्पीच रिकग्निशन के साथ अनुवाद। चैट केवल टाइप किए गए टेक्स्ट का अनुवाद है। रिकग्निशन की त्रुटियाँ वॉइस स्कोर में गिनी जाती हैं, इसलिए वॉइस जोड़ियों का औसत कम रहता है और उनकी प्रकाशन-सीमा भी कम है — चैट के 60 के मुकाबले 45। अगर आपकी टीम ज़्यादातर टाइप करती है, तो चैट वाला आँकड़ा देखें; अगर ज़्यादातर बोलती है, तो वॉइस वाले आँकड़े पर भरोसा करें।

नहीं। बेंचमार्क सिंथेटिक है: हमारा स्वचालित सूट हर सप्ताह FLORES-200 का एक तय संदर्भ सेट पाइपलाइन से गुज़ारता है, और इन आँकड़ों का एकमात्र स्रोत यही है। डेमो पर लोग जो सत्र चलाते हैं, उन्हें न स्कोर किया जाता है और न बेंचमार्क में सहेजा जाता है, और आपकी मीटिंग इसके लिए कभी इस्तेमाल नहीं होतीं।

ऊपर दी गई तालिका से उस जोड़ी का अपना पेज खोलें: वहाँ हर महीने की माध्यिका, रेंज और नमूना आकार, और महीनों के बीच का ट्रेंड दिखता है। अपनी सामग्री पर जाँचने के लिए टेस्ट रिग खोलें — वही दो-पैनल सेटअप जिसमें बेंचमार्क चलता है — और अपनी भाषा में बोलें या टाइप करें; कुछ भी अपने आप शुरू नहीं होता और कुछ भी सहेजा नहीं जाता। अगर कोई जोड़ी सूची में नहीं है, तो या तो वह अभी प्रकाशन-सीमा पार नहीं कर पाई है या अभी प्रोडक्ट में उपलब्ध नहीं है। कम स्कोर वाली जोड़ियाँ सीधे लिंक से उपलब्ध रहती हैं; हम उन्हें छिपाते नहीं।