تحدث بصوتك الخاص — بلغة لا تتقنها
إليك الجزء من الترجمة في الوقت الفعلي الذي يخطئ فيه الجميع تقريباً، والذي لا يتحدث عنه أحد تقريباً: الصوت الذي تسمعه.
قد يكون لديك تعرف ممتاز على الكلام وترجمة ممتازة، وتنتهي ومع ذلك باجتماع يبدو وكأنه آلة تقرأ قائمة. لأن الخطوة الأخيرة — تحويل النص المترجم إلى صوت مرة أخرى — هي المكان الذي تستبدل فيه معظم الأدوات بصوتك بصوت قارئ اصطناعي عام بهدوء. ثمانية أشخاص في الغرفة، وصوت روبوت واحد لهم جميعاً. تفقد من يتحدث، والتأكيد، والشخصية. مفهوم، ولكنه ليس محادثة.
يقوم InterMIND بالخطوة الأخيرة بشكل مختلف. عندما تتحدث، يسمع المشاركون الآخرون الترجمة بصوت يمكن التعرف عليه بأنه صوتك — يحمل طبقة صوتك وطريقتك في التحدث — ينطق الآن بالكلمات بلغتهم. إنه ليس انطباعاً خالياً من العيوب بعد؛ والنقطة الأساسية هي أنه أنت بدلاً من قارئ جاهز، وأنه يتحسن. يعمل هذا لكل مشارك، في كلا الاتجاهين، في نفس الوقت.
هذا المنشور هو الفصل المفقود من داخل خطوط أنابيب الترجمة الأربعة التي تشغل InterMIND: شرح ذلك المنشور كيف يصبح الصوت صوتاً مترجماً. هذا المنشور يتحدث عن صوت من يخرج من الطرف الآخر.
الإعداد الافتراضي الذي يقدمه الجميع، ولماذا هو مسطح
إذا كنت قد استخدمت الترجمة الفورية في أي من منصات الاجتماعات الكبيرة، فأنت تعرف الصوت. صوت محايد، بإيقاع متساوٍ يقرأ الترجمة. إنه نفس الصوت سواء كان المتحدث هو رئيسك التنفيذي يفتح اجتماعاً عاماً للشركة أو زميلاً يلقي نكتة. التقنية الكامنة وراء ذلك هي تحويل النص إلى كلام باستخدام نموذج صوتي ثابت واحد، والافتراض في التصميم هو أن الوضوح كافٍ.
في اجتماع حقيقي، الأمر ليس كذلك. نصف ما ينقله الاجتماع هو من يقول الكلام وكيفية قوله. تجرد الصوت وتكون قد حولت نقاشاً إلى نص مكتوب يُنطق بصوت عالٍ. يتوقف الناس عن التفاعل مع بعضهم البعض ويبدأون في انتظار دورهم.
ماذا يفعل InterMIND بدلاً من ذلك
تعمل الترجمة كـ خط أنابيب متسلسل — ثلاث مراحل متخصصة بالتتابع بدلاً من نموذج واحد يحاول القيام بكل شيء. المرحلتان الأوليتان مغطيتان في منشور خطوط الأنابيب؛ خطوة الصوت هي ما يتحدث عنه هذا المنشور:
- ASR — التعرف على الكلام. تُكتب كلماتك بلغتك الخاصة، في متصفحك، أثناء تحدثك. (تشغيله محلياً يوفر رحلة ذهاب وإياب ويمنح أقل تأخير ممكن قبل أن تبدأ الترجمة حتى.)
- MT — الترجمة. يُجمّع النص المنسوخ في أجزاء جمل مستقرة — بنود — بحيث يمكن أن تبدأ الترجمة قبل أن تنتهي من الجملة، وتُترجم كل جزء تدريجياً إلى لغة المستمع.
- Zero-shot TTS — تركيب الصوت. يُنطق كل جزء مترجم مرة أخرى باستخدام عينة من صوتك الخاص، ويُبث إلى المستمع.
إن هذه المرحلة الثالثة — ASR → MT → zero-shot TTS — هي التي تنتج التأثير. تعني "Zero-shot" أن النظام لا يحتاج إلى تسجيل مسبق أو جلسة تدريب لصوتك. يقوم بعمل نمذجة لصوتك من صوت الاجتماع الذي أنت فيه بالفعل.
الإحماء: كيف يبدأ في إصدار صوت يشبهك بسرعة كبيرة
هناك مشكلة البيضة والدجاجة مخبأة في "استخدام عينة من صوتك الخاص". في بداية المكالمة للتو، لم يسمع النظام ما يكفي منك بعد ليقوم بعمل نمذجة جيدة لصوتك.
يتعامل InterMIND مع هذا الأمر من خلال إحماء تدريجي:
- لمدة تتراوح تقريباً بين 5 إلى 10 ثوانٍ الأولى، بينما لا يزال يجمع ما يكفي من كلامك، يتم تركيب كل جزء مترجم باستخدام الجزء الصوتي الذي يطابق ما قلته للتو بلغتك المصدرية. يتم ربط الصوت بكلامك الحقيقي والفوري.
- بمجرد وجود عينة طويلة بما يكفي — عند تلك العلامة من 5 إلى 10 ثوانٍ — يقوم النظام بتثبيتها واستخدامها لإصدار صوت لكل شيء بعد ذلك.
عملياً، أنت لا تسمع مفتاحاً يقلب. تبدو الترجمة مشابهة لك أكثر كلما تقدمت المحادثة — ليس نسخة طبق الأصل من صوتك، ولكنه صوتك بوضوح بدلاً من صوت آلة، ويتحسن كلما سمع النموذج المزيد. الجمع بين الترجمة التدريجية (بنداً ببند، وليس جملة بجملة) والإلقاء التدريجي هو ما يبقي الأمر برمته ضمن حدود زمن الانتقال مع الحفاظ على صوت بشري.
عينة الصوت لا تُخزن أبداً
هذا هو الجزء الذي يسأل عنه فريق الأمن القانوني على الفور، لذا ها هو الأمر بوضوح.
عينة الصوت المستخدمة في التركيب عابرة. إنها موجودة فقط من أجل جلسة المؤتمر المباشر، في خدمة إلقاء الترجمة، وهي غير مخزنة في أي مكان. لا تحتفظ Mind API و SDK اللذان يشغلان جلسة الوقت الفعلي بأي بيانات — كل شيء مؤقت يختفي عندما تنتهي جلسة المؤتمر.
من المهم أن نكون دقيقين بشأن ما هو ليس عليه هذه العينة: إنها ليست واحدة من ميزات التسجيل في InterMIND. إن تسجيل صوت وفيديو الاجتماع هو إجراء منفصل ومتعمد تقوم به عن قصد، وبضوابطه الخاصة. عينة الصوت الأصلي ليست تسجيلاً — إنها مدخلات عابرة لجهاز تركيب الكلام لا تتجاوز عمر المكالمة أبداً.
هذا يهم بما يتجاوز مجرد النظافة المتعلقة بالخصوصية. "تحدث بصوتك الخاص" هو بالضبط نوع الميزات التي تبدو وكأنها يجب أن تتضمن تخزين البصمة الصوتية في مكان ما. إنها لا تفعل. النسخة الصادقة هي القصة الأفضل: يتم عمل نموذج لصوتك في اللحظة ويختفي عندما تقوم بإنهاء المكالمة.
لماذا لا يقدم أحد آخر هذا
الأمر ليس أن استنساخ الصوت هو سر. الأمر هو أن القيام بذلك مباشرة، لكل مشارك، في كلا الاتجاهين، ضمن ميزانية ثانية واحدة، عبر 22 لغة، دون تخزين أي شيء يمثل مشكلة مختلفة عن استنساخ صوت دون اتصال بالإنترنت لبرنامج بودكاست.
تقوم المنصات الكبيرة بتحسين ترجمتها لتغطية الترجمة النصية وصوت قارئ آمن واحد — وهذا هو الإعداد الافتراضي الرخيص والمتين على نطاق واسع. الحفاظ على صوت كل متحدث يعني أن مرحلة التركيب يجب أن تتعقب كل مشارك بشكل مستقل وتبقى داخل نفس ميزانية زمن الانتقال التي يعيش فيها باقي خط الأنابيب. لقد قمنا ببناء محرك الصوت بأنفسنا، على بنيتنا التحتية الخاصة، وهذا ما يجعل هذه المقايضة من اختصاصنا. (المزيد عن سبب كون المحرك هو كودنا الخاص: مما يتكون اجتماع InterMIND واحد.)
إلى أين يتجه هذا: مزامنة الشفاه
الحفاظ على صوتك هو نصف هدف أكبر. النصف الآخر هو وجهك.
في الوقت الحالي تسمع الشخص الآخر بصوته، ولكن إذا كانت الكاميرا قيد التشغيل، فإن شفاههم لا تزال تتحرك لتنطق الكلمات التي قالوها فعلياً — بلغة لا تقرأها. الخطوة التالية هي مزامنة الشفاه (lip-sync): إعادة توقيت فم المتحدث لتتوافق مع الصوت المترجم، بحيث يبدو على شاشتك وكأنهم يتحدثون بلغتك.
اجمع الاثنين معاً وستتضح النقطة الكاملة من هذا العمل. شخصان لا يجمعهما لغة مشتركة يجلسان عبر مكالمة فيديو ويريان ويسمعان بعضهما البعض كما لو كان كل منهما متحدثاً أصلياً بلغة الآخر — نفس الصوت، نفس الوجه، دون مترجم في المنتصف، ودون روبوت يقرأ نصاً.
لتكون واضحاً بشأن الحالة: الصوت متاح اليوم؛ مزامنة الشفاه مدرجة على خارطة الطريق، ولم تُطلق بعد. نحن نشير إلى الوجهة لأنها هي سبب أهمية عمل الصوت — ترجمة الصوت الأصلي ليست هي الميزة، بل هي النصف الأول من "تحدث مع أي شخص، بأي لغة، بصفتك أنت".
أين تسمعه
ترجمة الصوت الأصلي متاحة اليوم، عبر جميع لغات الصوت الـ 21 — نفس اللغات المذكورة في الوثائق. لا يوجد شيء لتشغيله بشكل منفصل: عندما يتم تمكين الترجمة في اجتماع، يسمع المشاركون بعضهم البعض تلقائياً بأصواتهم. سنكون صادقين بشأن مكانتها: اليوم الصوت يمكن التعرف عليه بالفعل بأنه صوتك، ونحن نعمل بنشاط على جعل التشابه أقرب. اذهب للاستماع واحكم بنفسك.
- جرب العرض التوضيحي — يقوم بتشغيل خط أنابيب الصوت المباشر مقابل صوتك في أي من اللغات الـ 22.
- شاهد أرقام الجودة — نفس خط أنابيب الإنتاج، يتم تقييمه شهرياً مقابل FLORES-200، مع نشر التوزيع الكامل لكل زوج لغات.
- كيف يعمل، في الوثائق — النسخة المختصرة من هذا المنشور.
يجب أن يكون شعور الاجتماع المترجم وكأن الأشخاص الموجودين فيه فعلياً يتحدثون مع بعضهم البعض. الحفاظ على صوتك هو الكيفية التي تصل بنا إلى هناك.