अपनी ही आवाज़ में बोलिए, उस भाषा में जो आप बोलते ही नहीं

रियल-टाइम अनुवाद का एक हिस्सा ऐसा है जिसे लगभग हर कोई ग़लत करता है और जिसके बारे में लगभग कोई बात नहीं करता: वह आवाज़ जो आप सुनते हैं।

आपके पास बेहतरीन स्पीच रिकग्निशन और बेहतरीन अनुवाद हो सकता है, फिर भी मीटिंग ऐसी लग सकती है जैसे कोई मशीन सूची पढ़ रही हो। वजह यह है कि आख़िरी चरण, यानी अनुवादित टेक्स्ट को वापस ध्वनि में बदलना, वह जगह है जहाँ ज़्यादातर टूल चुपचाप आपकी जगह एक ही सामान्य सिंथेटिक वाचक को बिठा देते हैं। कमरे में आठ लोग हैं और सबके लिए एक ही रोबोट की आवाज़। कौन बोल रहा है, किस बात पर ज़ोर है, बोलने वाले का व्यक्तित्व कैसा है, यह सब खो जाता है। बात समझ में आती है, पर वह बातचीत नहीं रहती।

InterMIND यह आख़िरी चरण अलग तरीक़े से करता है। जब आप बोलते हैं, तो बाक़ी प्रतिभागी अनुवाद को ऐसी आवाज़ में सुनते हैं जो साफ़ तौर पर आपकी अपनी होती है। उसमें आपकी आवाज़ का रंग और बोलने का आपका ढंग होता है, बस शब्द उनकी भाषा में होते हैं। यह अभी हू-ब-हू नक़ल नहीं है; मुद्दा यह है कि यह किसी तैयार वाचक की नहीं, आपकी आवाज़ है, और यह लगातार बेहतर हो रही है। यह हर प्रतिभागी के लिए, दोनों दिशाओं में, एक ही समय पर काम करता है।

यह पोस्ट Inside the four translation pipelines that run InterMIND का छूटा हुआ अध्याय है। उस लेख में बताया गया था कि ऑडियो कैसे अनुवादित ऑडियो बनता है। यह लेख इस बारे में है कि दूसरे छोर पर किसकी आवाज़ निकलती है।

हर कोई जो डिफ़ॉल्ट देता है, और वह सपाट क्यों है

अगर आपने किसी भी बड़े मीटिंग प्लेटफ़ॉर्म पर लाइव अनुवाद इस्तेमाल किया है, तो आप यह आवाज़ पहचानते होंगे। एक तटस्थ, एक-सी रफ़्तार वाली आवाज़ अनुवाद पढ़ती है। चाहे बोलने वाला आपका CEO हो जो टाउन हॉल शुरू कर रहा है, या कोई सहकर्मी जो मज़ाक कर रहा है, आवाज़ वही रहती है। इसके पीछे की तकनीक एक निश्चित वॉयस मॉडल वाला टेक्स्ट-टू-स्पीच है, और डिज़ाइन की धारणा यह है कि बात समझ में आ जाना काफ़ी है।

असली मीटिंग में यह काफ़ी नहीं है। मीटिंग में जो कुछ संप्रेषित होता है, उसका आधा हिस्सा यह है कि बात कौन कह रहा है और कैसे कह रहा है। आवाज़ हटा दीजिए तो चर्चा एक ऐसे ट्रांसक्रिप्ट में बदल जाती है जिसे संयोग से ज़ोर से पढ़ा जा रहा है। लोग एक-दूसरे की बात पर प्रतिक्रिया देना छोड़कर अपनी बारी का इंतज़ार करने लगते हैं।

इसके बजाय InterMIND क्या करता है

अनुवाद एक कैस्केडेड पाइपलाइन के रूप में चलता है। यानी एक ही मॉडल सब कुछ करने की कोशिश नहीं करता, बल्कि तीन विशेषीकृत चरण क्रम से चलते हैं। पहले दो चरणों के बारे में पाइपलाइन वाली पोस्ट में बताया गया है; इस पोस्ट का विषय आवाज़ वाला चरण है:

1. ASR — स्पीच रिकग्निशन। आपके शब्द आपकी अपनी भाषा में, आपके बोलते-बोलते, हमारे अपने इंजन पर ट्रांसक्राइब होते हैं। यह वही मीडिया सर्वर है जो कॉल को वहन करता है (Mind API, OVH France), ताकि वाक्य ख़त्म होने से पहले ही अनुवाद शुरू हो सके।
2. MT — अनुवाद। ट्रांसक्रिप्ट को स्थिर वाक्यांशों में बाँटा जाता है, जिन्हें क्लॉज़ कहते हैं। इससे आपके वाक्य पूरा करने से पहले ही अनुवाद शुरू हो सकता है, और हर वाक्यांश का श्रोता की भाषा में क्रमिक रूप से अनुवाद होता जाता है।
3. Zero-shot TTS — आवाज़ का संश्लेषण। हर अनुवादित वाक्यांश आपकी अपनी आवाज़ के नमूने का उपयोग करके वापस बोला जाता है और श्रोता तक स्ट्रीम किया जाता है।

यही तीसरा चरण, यानी ASR → MT → zero-shot TTS, यह प्रभाव पैदा करता है। "Zero-shot" का मतलब है कि सिस्टम को आपकी आवाज़ के लिए पहले से रिकॉर्ड किए गए नमूने या किसी प्रशिक्षण सत्र की ज़रूरत नहीं पड़ती। वह उसी मीटिंग के ऑडियो से आपकी आवाज़ का मॉडल बना लेता है जिसमें आप पहले से मौजूद हैं।

वॉर्म-अप: यह इतनी जल्दी आपकी तरह कैसे सुनाई देने लगता है

"अपनी आवाज़ का नमूना इस्तेमाल करें" में एक मुर्ग़ी-और-अंडे वाली समस्या छिपी है। कॉल की बिलकुल शुरुआत में सिस्टम ने आपकी आवाज़ का अच्छा मॉडल बनाने लायक़ आपको अभी सुना ही नहीं होता।

InterMIND इसे एक क्रमिक वॉर्म-अप से संभालता है:

• शुरुआती लगभग 5–10 सेकंड में, जब तक सिस्टम आपकी पर्याप्त स्पीच इकट्ठा कर रहा होता है, हर अनुवादित वाक्यांश उस ऑडियो खंड से संश्लेषित होता है जो आपके अभी-अभी अपनी स्रोत भाषा में कहे गए शब्दों से मेल खाता है। इस तरह आवाज़ आपकी असली, तात्कालिक स्पीच पर टिकी रहती है।
• जैसे ही पर्याप्त लंबा नमूना मिल जाता है, यानी 5–10 सेकंड के उस पड़ाव पर, सिस्टम उस पर टिक जाता है और उसके बाद की हर चीज़ को उसी से आवाज़ देता है।

व्यवहार में आपको कोई स्विच पलटता हुआ महसूस नहीं होता। बातचीत जैसे-जैसे आगे बढ़ती है, अनुवाद आपकी आवाज़ से ज़्यादा मिलने लगता है। वह आपकी आवाज़ की हू-ब-हू प्रति नहीं होता, पर साफ़ तौर पर आपकी होती है, किसी मशीन की नहीं, और मॉडल जितना ज़्यादा सुनता है, उतनी सुधरती जाती है। क्रमिक अनुवाद (वाक्य-दर-वाक्य नहीं, क्लॉज़-दर-क्लॉज़) और क्रमिक आवाज़ का मेल ही पूरी प्रक्रिया को लेटेंसी बजट के भीतर रखता है, और फिर भी आवाज़ इंसानी लगती है।

अपनी आवाज़ एक बार रिकॉर्ड करें, और वॉर्म-अप छोड़ दें

ऊपर बताया गया वॉर्म-अप डिफ़ॉल्ट रूप से होता है, बिना कुछ सेट किए। सितंबर 2026 से साइन-इन किए हुए उपयोगकर्ताओं के लिए एक वैकल्पिक दूसरा रास्ता भी है: Settings → Your voice in translation में एक सहेजा हुआ वॉयस सैंपल।

इसे रिकॉर्ड करना एक ही क्रिया है। Record my voice दबाइए, Speak now आने का इंतज़ार कीजिए, और एक से दस तक की संख्याएँ किसी भी क्रम में बोल दीजिए। स्पीच इंजन जैसे-जैसे हर संख्या सुनता है, वह कार्ड पर रोशन हो जाती है; जब दसों रोशन हो जाती हैं, तो सैंपल अपने-आप जाँचा और सहेजा जाता है। न कुछ वापस सुनना है, न पुष्टि करनी है, और कोई काउंटडाउन भी नहीं है: कार्ड आपकी रिकॉर्डिंग का वही हिस्सा रखता है जिसमें संख्याएँ हैं। शांत कमरा और हेडसेट सबसे अच्छा नतीजा देते हैं।

सहेजा हुआ सैंपल क्या बदलता है: आपकी अगली मीटिंग से सिंथेसाइज़र आपके अनुवाद को पहले ही वाक्यांश से इसी सैंपल के साथ आवाज़ देता है। इसलिए दूसरी तरफ़ के लोग वॉर्म-अप के बाद नहीं, पहले वाक्य से ही आपको आपकी अपनी आवाज़ में सुनते हैं। अंदर से यह वही zero-shot संश्लेषण है, बस शुरुआत बेहतर बिंदु से होती है; कॉल के दौरान लाइव वॉर्म-अप आवाज़ को निखारता रहता है।

रिकॉर्डिंग सहेजने से पहले जाँची जाती है। उसमें साफ़ स्पीच के 3 से 10 सेकंड होने चाहिए (यह सिंथेसाइज़र की इनपुट विंडो है)। अगर आवाज़ बहुत धीमी है, क्लिप हो रही है, ज़्यादातर चुप्पी है या पृष्ठभूमि के शोर में दबी है, तो कार्ड बताता है कि क्या ठीक करना है और दोबारा रिकॉर्ड करने को कहता है। वाक्यांश के रूप में संख्याएँ एक व्यावहारिक कारण से चुनी गईं: वे छोटी हैं, सभी 23 भाषाओं में पहचानी जा सकती हैं, और इंजन पुष्टि कर सकता है कि उसने दसों सुनीं, जिससे "क्या वह रिकॉर्डिंग काम कर गई?" का जवाब साफ़ दिखने वाले "हाँ" में बदल जाता है।

दो वॉयस सैंपल, दो जीवनकाल

यही वह हिस्सा है जिसके बारे में सुरक्षा या क़ानूनी टीम तुरंत पूछती है, इसलिए इसे सीधे-सीधे बताया जा रहा है। दो अलग सैंपल हैं, और उनका जीवनकाल अलग-अलग है।

लाइव सैंपल, जो मीटिंग के दौरान वॉर्म-अप में इस्तेमाल होता है, अस्थायी है। वह सिर्फ़ लाइव कॉन्फ़्रेंस सत्र के दौरान, अनुवाद को आवाज़ देने के काम में मौजूद रहता है, और कहीं भी संग्रहीत नहीं होता। रियल-टाइम सत्र को चलाने वाले Mind API और SDK कोई डेटा नहीं रखते; जो कुछ भी अस्थायी है, वह कॉन्फ़्रेंस सत्र ख़त्म होते ही मिट जाता है।

Settings से सहेजा हुआ सैंपल आपके खाते के साथ, एक ही उद्देश्य के लिए संग्रहीत होता है: आप जब भी किसी मीटिंग में शामिल होते हैं, वह अनुवाद इंजन को भेजा जाता है ताकि आपकी अनूदित स्पीच को उसी से आवाज़ दी जा सके, और किसी अन्य काम के लिए नहीं। वह तब तक रहता है जब तक आप कार्ड पर Remove नहीं दबाते, जिससे आप तुरंत मानक वॉर्म-अप पर लौट जाते हैं, और आपका खाता हटाए जाने पर वह भी उसके साथ हटा दिया जाता है। अतिथि इसे रिकॉर्ड नहीं कर सकते; यह डिज़ाइन से ही साइन-इन उपयोगकर्ताओं की सुविधा है।

यह साफ़ समझ लेना ज़रूरी है कि इनमें से कोई भी सैंपल क्या नहीं है: वह InterMIND की रिकॉर्डिंग सुविधाओं में से कोई नहीं है। किसी मीटिंग का वीडियो और ऑडियो रिकॉर्ड करना एक अलग, सोचा-समझा क़दम है जो आप जानबूझकर उठाते हैं, और जिसके अपने नियंत्रण हैं। वॉयस सैंपल स्पीच सिंथेसाइज़र का एक इनपुट है: लाइव मामले में अस्थायी, और सहेजे हुए मामले में आपके रखने या हटाने के अधीन।

कोई और यह क्यों नहीं देता

ऐसा नहीं है कि वॉयस क्लोनिंग कोई रहस्य है। बात यह है कि इसे लाइव, प्रति-प्रतिभागी, दोनों दिशाओं में, एक सेकंड से कम के बजट में, 23 भाषाओं में, और बिना ऐसा कुछ संग्रहीत किए जो आपने माँगा नहीं था करना, किसी पॉडकास्ट के लिए ऑफ़लाइन आवाज़ क्लोन करने से एक अलग ही समस्या है।

बड़े प्लेटफ़ॉर्म अपने अनुवाद को कैप्शन कवरेज और एक सुरक्षित वाचक आवाज़ के लिए अनुकूलित करते हैं। बड़े पैमाने पर यही सस्ता और मज़बूत डिफ़ॉल्ट है। हर वक्ता की अपनी आवाज़ बनाए रखने का मतलब है कि संश्लेषण चरण को हर प्रतिभागी को अलग-अलग ट्रैक करना होगा और उसी लेटेंसी बजट के भीतर रहना होगा जिसमें बाक़ी पाइपलाइन चलती है। हमने वॉयस इंजन ख़ुद बनाया है, अपने ही इंफ्रास्ट्रक्चर पर, और इसी वजह से यह समझौता करना हमारे हाथ में है। (इंजन हमारा अपना कोड क्यों है, इस पर और: What one InterMIND meeting is built from।)

आगे की दिशा: लिप-सिंक

अपनी आवाज़ बनाए रखना एक बड़े लक्ष्य का आधा हिस्सा है। दूसरा आधा आपका चेहरा है।

अभी आप दूसरे व्यक्ति को उसकी अपनी आवाज़ में सुनते हैं, लेकिन अगर आप कैमरे पर हैं, तो उसके होंठ अब भी उन्हीं शब्दों पर हिलते हैं जो उसने असल में कहे थे, एक ऐसी भाषा में जो आप नहीं पढ़ते। अगला क़दम है लिप-सिंक: वक्ता के होंठों को अनुवादित ऑडियो के हिसाब से दोबारा समयबद्ध करना, ताकि आपकी स्क्रीन पर वह आपकी भाषा बोलता हुआ दिखे।

दोनों को मिलाकर देखिए तो इस पूरे काम का उद्देश्य साफ़ हो जाता है। दो लोग जिनकी कोई साझा भाषा नहीं है, वीडियो कॉल पर आमने-सामने बैठे हैं और एक-दूसरे को ऐसे देख और सुन रहे हैं जैसे हर कोई दूसरे की भाषा का मूल वक्ता हो: वही आवाज़, वही चेहरा, बीच में कोई दुभाषिया नहीं, कोई रोबोट स्क्रिप्ट पढ़ता हुआ नहीं।

स्थिति साफ़ कर दें: आवाज़ आज उपलब्ध है; लिप-सिंक रोडमैप पर है, अभी जारी नहीं हुआ है। हम इस मंज़िल का ज़िक्र इसलिए कर रहे हैं कि आवाज़ पर किए जा रहे काम का महत्व इसी से समझ आता है: अपनी आवाज़ में अनुवाद अपने-आप में लक्ष्य नहीं है, यह "किसी से भी, किसी भी भाषा में, ख़ुद के रूप में बात करो" का पहला हिस्सा है।

इसे कहाँ सुनें

अपनी आवाज़ में अनुवाद आज उपलब्ध है, सभी 23 वॉयस भाषाओं में, वही भाषाएँ जो दस्तावेज़ों में सूचीबद्ध हैं। इसे अलग से चालू करने की ज़रूरत नहीं है: जब किसी मीटिंग में अनुवाद चालू होता है, तो प्रतिभागी अपने-आप एक-दूसरे को उनकी अपनी आवाज़ में सुनते हैं। हम ईमानदारी से बताएँगे कि स्थिति क्या है: आज आवाज़ पहले से ही साफ़ तौर पर आपकी लगती है, और समानता को और क़रीब लाने पर हम सक्रिय रूप से काम कर रहे हैं। जाकर सुनिए और ख़ुद परखिए।

• डेमो आज़माएँ — 23 भाषाओं में से किसी में भी आपके ऑडियो पर लाइव वॉयस पाइपलाइन चलाता है।
• गुणवत्ता के आँकड़े देखें — वही प्रोडक्शन पाइपलाइन, जिसे हर महीने FLORES-200 के विरुद्ध मापा जाता है, और हर भाषा-जोड़ी के लिए पूरा वितरण प्रकाशित किया जाता है।
• अपना वॉयस सैंपल रिकॉर्ड करें — साइन-इन करके एक से दस तक की संख्याओं का एक टेक, और पहले वाक्य से ही आपको आपकी अपनी आवाज़ मिलती है।
• दस्तावेज़ों में यह कैसे काम करता है — इस पोस्ट का संक्षिप्त रूप।
• इसे कैप्शन और खोजने योग्य ट्रांसक्रिप्ट के साथ देखें — एक ही मीटिंग में ये तीनों हिस्से साथ मिलकर कैसे काम करते हैं।

अनुवादित मीटिंग ऐसी लगनी चाहिए जैसे उसमें मौजूद असली लोग आपस में बात कर रहे हों। अपनी आवाज़ बनाए रखना वहाँ तक पहुँचने का रास्ता है।