अनुवाद-गुणवत्ता की मार्केटिंग क्यों विफल है — और हम इसके बदले क्या प्रकाशित करते हैं

किसी भी लाइव-अनुवाद विक्रेता की साइट खोलिए। आपको हर जगह एक जैसे आँकड़े दिखेंगे:

• "200+ भाषाएँ"
• "6,000+ भाषा जोड़ियाँ"
• "दुनिया का पहला" / "सर्वोच्च सटीकता"
• "99% सटीक"

अब इनमें से किसी भी विक्रेता के पेज पर यह खोजने की कोशिश कीजिए कि इन आँकड़ों का आपकी आने वाली किसी मीटिंग के लिए क्या अर्थ है। प्रति-भाषा गुणवत्ता। दोहराई जा सकने वाली कार्यप्रणाली। नमूने का आकार। समय के साथ स्कोर। मॉडल कहाँ कमज़ोर है, इसका ईमानदार खुलासा।

आपको यह नहीं मिलेगा। न मार्केटिंग सामग्री में, और दस्तावेज़ों में भी कम ही।

यह इस श्रेणी का एक स्थापित संतुलन है। यह तीन कारणों से बना हुआ है:

1. अधिकांश विक्रेता अपना अनुवाद इंजन खुद नहीं चलाते। वे OpenAI, Google, DeepL, Microsoft या इनके किसी संयोजन से अनुवाद करवाते हैं। प्रति-जोड़ी गुणवत्ता का डेटा प्रकाशित करना किसी और के मॉडल की बेंचमार्किंग करना होगा — उसमें मार्केटिंग का कोई लाभ नहीं है।
2. ईमानदार गुणवत्ता डेटा को होर्डिंग पर लगाना कठिन है। एक अकेला स्कोर अस्थिर होता है। वितरण ज़्यादा उपयोगी है, पर उसे संक्षेप में कहना कठिन है। last-six-months trend (पिछले छह महीनों का रुझान) और भी उपयोगी है, और उसे संक्षेप में कहना और भी कठिन।
3. ख़रीद-प्रक्रिया ने अब तक सवाल नहीं उठाए हैं। ख़रीदार मार्केटिंग के आँकड़ों को ज्यों का त्यों मान लेते हैं, और इसलिए यह संतुलन बना रहता है।

यह संतुलन टिकेगा नहीं। ख़रीदारों की अगली पीढ़ी — फ़ार्मा, कानूनी, वित्तीय, ऑडिट, सार्वजनिक क्षेत्र — "कितनी भाषाएँ" से कहीं कठिन सवाल पूछेगी। हमने /benchmark इसलिए बनाया क्योंकि हमारा मानना है कि उन्हें किसी विक्रेता की बात पर आँख मूँदकर भरोसा नहीं करना पड़ना चाहिए।

मार्केटिंग के आँकड़े आपको क्या नहीं बताते

"200+ भाषाएँ" का मतलब सिर्फ़ इतना है कि विक्रेता के पास ऐसा मॉडल है जो 200 भाषाओं में टेक्स्ट बना सकता है। इन भाषाओं में गुणवत्ता प्रमुख जोड़ियों (EN↔DE, EN↔ES, EN↔FR) के लिए प्रोडक्शन-स्तर की होती है, जबकि कम-संसाधन वाली जोड़ियों के लिए मुश्किल से उपयोग लायक। प्रति-जोड़ी विश्लेषण के बिना आप नहीं जान सकते कि आपकी मीटिंग उस रेखा के किस ओर पड़ेगी।

"6,000+ भाषा जोड़ियाँ" 80 स्रोत भाषाओं पर N × N का साधारण गणित है। 6,000 जोड़ियों के समर्थन का दावा करना आसान हिस्सा है। यह कहना कि कोई विशेष जोड़ी CAPA समीक्षा, अनुबंध वार्ता या अर्निंग्स कॉल के लिए पर्याप्त अच्छी है — यही वह हिस्सा है जो ब्रोशर में नहीं मिलता।

"99% सटीक" — यदि यह न बताया जाए कि क्या मापा गया, किस संदर्भ के विरुद्ध, किस नमूने पर, किस जज द्वारा — तो यह सारहीन है। अनुवाद गुणवत्ता का कोई सार्वभौमिक एकल मान नहीं होता। उसका एक वितरण होता है, जो भाषा जोड़ी, सामग्री के क्षेत्र, ऑडियो गुणवत्ता (वॉइस के लिए), लेटेंसी बजट, और विशिष्ट उपयोग के लिए "पर्याप्त अच्छा" के अर्थ पर निर्भर करता है।

ख़रीदार को वास्तव में क्या जानना चाहिए

वे सवाल जो असली DPA समीक्षाओं और ख़रीद मूल्यांकनों में सामने आते हैं:

1. प्रति-जोड़ी गुणवत्ता — DE↔EN, EN↔AR, JA↔KO पर इसका प्रदर्शन विशेष रूप से कैसा है?
2. नमूने का आकार — आपका बताया गया आँकड़ा कितने रन पर आधारित है? दस? दस हज़ार?
3. कार्यप्रणाली — अनुवादों का मूल्यांकन कौन कर रहा है, किस संदर्भ के विरुद्ध, किस रूब्रिक के साथ?
4. औसत नहीं, वितरण — सबसे ख़राब 10% कैसे दिखते हैं? सबसे अच्छे 10%? माध्यिका?
5. समय के साथ बदलाव — आपने पिछली बार आँकड़ा प्रकाशित किया था, तब से कोई जोड़ी बेहतर हुई है या ख़राब?
6. आप क्या नहीं मापते — आपका बेंचमार्क स्पष्ट रूप से क्या नहीं पकड़ता?

इनमें से कोई भी सवाल अनुत्तरित नहीं है। बस ये किसी की मार्केटिंग पेज पर नहीं हैं।

हम क्या प्रकाशित करते हैं

/benchmark हमारा उत्तर है। कार्यप्रणाली /benchmark/methodology पर है — इसे हमने तब लिखा था जब हमें पता भी नहीं था कि आप इसे पढ़ेंगे।

तीन बातें इसे इस श्रेणी की सामान्य प्रथाओं से अलग करती हैं।

1. वास्तविक ट्रैफ़िक, चुनी हुई टेस्ट-सूची नहीं

सार्वजनिक बेंचमार्क का हर स्कोर एक वास्तविक /demo टेस्ट रन से आता है। हम अच्छा प्रदर्शन करने वाली जोड़ियों को पहले से नहीं चुनते। जो पाइपलाइन किसी ख़रीदार के डेमो को चलाती है, वही मापी जा रही है।

2. जज का नाम बताया गया है

प्राथमिक: google/gemini-3.5-flash। फ़ॉलबैक: anthropic/claude-sonnet-5। दोनों Vercel AI Gateway के माध्यम से। जज कार्यप्रणाली का हिस्सा है — नाम सहित घोषित। जब हम जज बदलते हैं (हमने बदला है, क्योंकि मॉडल रिटायर होते हैं), तो पुरानी पंक्तियों में वही जज दर्ज रहता है जिसने वास्तव में उन्हें स्कोर किया था; पुराने स्कोर कभी चुपचाप दोबारा स्कोर नहीं किए जाते।

3. वितरण ही डेटा है, औसत नहीं

प्रकाशित हर पंक्ति में माध्यिका, p10, p90, न्यूनतम, अधिकतम और नमूने का आकार दिखता है — कोई एक अकेली संख्या नहीं। किसी अनुवाद जोड़ी के लिए एक अकेली संख्या शोर है। वितरण का आकार ही संकेत है।

वे प्रथाएँ जो इस श्रेणी ने नहीं अपनाईं

• कम स्कोर वाली जोड़ियाँ छिपाई नहीं जातीं। सार्वजनिक इंडेक्स ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 की शर्त पर आधारित है — पर कोई भी किसी भी जोड़ी का सीधा लिंक खोलकर असली आँकड़े देख सकता है, उन जोड़ियों के भी जो इस महीने ख़राब प्रदर्शन कर रही हैं।
• ज्ञात समस्याएँ दर्ज की जाती हैं। जब 2026 की शुरुआत में कुछ हफ़्तों के लिए chat-test harness ख़राब था, तो उस अवधि को इंडेक्स से हटा दिया गया और कार्यप्रणाली पेज पर लिखित रूप में दर्ज किया गया। इतिहास को चुपचाप दोबारा नहीं लिखा जाता।
• जो दावे हम जानबूझकर नहीं करते — यह कार्यप्रणाली पेज पर एक पूरा खंड है। हम बताते हैं कि LLM जज स्वयं कहाँ अपूर्ण है। हम बताते हैं कि हम क्या नहीं मापते (लेटेंसी, लागत, उपयोगकर्ता संतुष्टि, अनुवाद शुरू होने से पहले की ASR-स्तर की त्रुटियाँ)। हम यह भी बताते हैं कि हमारे अपने स्वचालित स्मोक टेस्ट भी ट्रैफ़िक का हिस्सा हैं।

अगले विक्रेता मूल्यांकन के लिए एक कसौटी

यदि आप कोई भी बहुभाषी मीटिंग प्लेटफ़ॉर्म आँक रहे हैं — हमारा या किसी और का — तो पढ़ने लायक पेज कार्यप्रणाली का है। आँकड़े स्वयं तो आसान हिस्सा हैं।

इस श्रेणी के किसी भी विक्रेता के लिए एक व्यावहारिक कसौटी:

• वास्तविक ट्रैफ़िक पर प्रति-भाषा-जोड़ी, प्रति-माह गुणवत्ता डेटा माँगिए। चुना हुआ बेंचमार्क नहीं। कुल औसत नहीं।
• पूछिए कि उनका जज कौन है, वे स्पष्ट रूप से क्या नहीं मापते, और पिछले छह महीनों में क्या बदला है।
• पूछिए कि जब किसी जोड़ी का स्कोर गिरता है तो क्या होता है — क्या वे किसी को बताते हैं, या चुपचाप ठीक कर देते हैं?

यदि विक्रेता के पास तीनों के उत्तर लिखित में हैं, तो उसे गंभीरता से परखिए। यदि नहीं, तो आप मार्केटिंग ख़रीद रहे हैं — अनुवाद की गुणवत्ता नहीं।

ख़ुद आज़माइए

• लाइव डेमो आज़माएँ — आपके ऑडियो पर प्रोडक्शन अनुवाद पाइपलाइन चलाता है, उसी जज से स्कोर करता है जो सार्वजनिक बेंचमार्क को स्कोर करता है, और आपको आउटपुट दिखाता है।
• बेंचमार्क देखें — प्रकाशित हर भाषा जोड़ी, हर महीने, पूरे वितरण के साथ।
• कार्यप्रणाली पढ़ें — आँकड़े कैसे निकाले जाते हैं, उनमें क्या शामिल है, क्या नहीं।

आपको इनमें से किसी भी बात के लिए हमारे शब्दों पर भरोसा करने की ज़रूरत नहीं पड़ेगी। यही असली बात है।

स्रोत: ऊपर दिए गए जज के पहचानकर्ता, गेटिंग सीमाएँ और सप्रेशन नियम शिप किए गए कोड के विरुद्ध सत्यापित हैं और /benchmark/methodology पर प्रकाशित हैं; जज Vercel AI Gateway के माध्यम से चलाए जाते हैं; शुरुआत में उद्धृत मार्केटिंग दावे इस श्रेणी के सामान्य वाक्यांश हैं, किसी नामित विक्रेता के उद्धरण नहीं; अगस्त 2026 में जाँचा गया।