Berbicara dengan suara Anda sendiri — dalam bahasa yang tidak Anda kuasai

Ada satu bagian dari terjemahan real-time yang hampir selalu keliru dan nyaris tidak pernah dibahas: suara yang Anda dengar.

Pengenalan ucapan dan terjemahannya bisa sama-sama sangat baik, tetapi rapat tetap terasa seperti mesin yang membacakan daftar. Alasannya, langkah terakhir, yaitu mengubah teks terjemahan kembali menjadi suara, adalah tahap di mana kebanyakan alat diam-diam menggantikan Anda dengan satu narator sintetis generik. Delapan orang di ruangan, satu suara robot untuk semuanya. Anda kehilangan informasi tentang siapa yang berbicara, penekanannya, dan kepribadiannya. Bisa dipahami, tetapi bukan percakapan.

InterMIND menjalankan langkah terakhir ini secara berbeda. Saat Anda berbicara, peserta lain mendengar terjemahannya dengan suara yang dapat dikenali sebagai suara Anda, lengkap dengan timbre dan cara bicara Anda, yang kini mengucapkan kata-kata itu dalam bahasa mereka. Hasilnya belum menjadi tiruan yang sempurna. Intinya, yang terdengar adalah Anda, bukan narator standar, dan kualitasnya terus membaik. Ini berlaku untuk setiap peserta, dua arah, pada saat yang bersamaan.

Tulisan ini adalah bab yang hilang dari Di balik empat pipeline terjemahan yang menjalankan InterMIND. Tulisan itu menjelaskan bagaimana audio menjadi audio terjemahan, sedangkan tulisan ini membahas suara siapa yang keluar di ujungnya.

Standar yang dipakai semua orang, dan mengapa terdengar datar

Jika Anda pernah memakai terjemahan langsung di platform rapat besar, Anda tahu bunyinya. Suara netral dengan tempo yang rata membacakan terjemahan. Suaranya sama, baik saat pembicaranya CEO Anda yang membuka town hall maupun rekan kerja yang melontarkan lelucon. Teknologi di baliknya adalah text-to-speech dengan satu model suara tetap, dengan asumsi desain bahwa yang penting adalah ucapan bisa dipahami.

Dalam rapat sungguhan, itu tidak cukup. Separuh dari apa yang dikomunikasikan sebuah rapat adalah siapa yang berbicara dan bagaimana ia mengatakannya. Hilangkan suaranya, dan diskusi berubah menjadi transkrip yang kebetulan dibacakan. Orang berhenti menanggapi satu sama lain dan hanya menunggu giliran.

Yang dilakukan InterMIND

Terjemahan berjalan sebagai cascaded pipeline: tiga tahap khusus yang berurutan, bukan satu model yang mencoba mengerjakan semuanya. Dua tahap pertama dibahas di tulisan tentang pipeline. Tahap suara adalah topik tulisan ini:

1. ASR — pengenalan ucapan. Kata-kata Anda ditranskripsikan dalam bahasa Anda sendiri, saat Anda berbicara, pada engine kami sendiri, yaitu media server yang membawa panggilan (Mind API, OVH France), sehingga terjemahan dapat dimulai sebelum kalimat selesai.
2. MT — terjemahan. Transkrip dikelompokkan menjadi fragmen kalimat yang stabil, disebut klausa, sehingga terjemahan dapat dimulai sebelum Anda selesai berbicara. Setiap fragmen diterjemahkan secara progresif ke bahasa pendengar.
3. Zero-shot TTS — sintesis suara. Setiap fragmen terjemahan diucapkan kembali dengan memakai sampel suara Anda sendiri, lalu dialirkan ke pendengar.

Tahap ketiga inilah, ASR → MT → zero-shot TTS, yang menghasilkan efek tersebut. "Zero-shot" berarti sistem tidak memerlukan pendaftaran rekaman sebelumnya atau sesi pelatihan untuk suara Anda. Sistem memodelkan suara Anda dari audio rapat yang sedang Anda ikuti.

Pemanasan: bagaimana suaranya bisa mirip Anda secepat itu

Ada masalah ayam-dan-telur yang tersembunyi dalam frasa "pakai sampel suara Anda sendiri". Di awal panggilan, sistem belum cukup mendengar Anda untuk memodelkan suara Anda dengan baik.

InterMIND menanganinya dengan pemanasan progresif:

• Selama sekitar 5–10 detik pertama, saat masih mengumpulkan cukup banyak ucapan Anda, setiap fragmen terjemahan disintesis menggunakan fragmen audio yang sesuai dengan apa yang baru saja Anda katakan dalam bahasa sumber. Suaranya berpijak pada ucapan asli Anda saat itu juga.
• Setelah sampelnya cukup panjang, yaitu pada tanda 5–10 detik tadi, sistem mengunci sampel tersebut dan memakainya untuk menyuarakan semua yang berikutnya.

Dalam praktiknya, Anda tidak mendengar peralihan apa pun. Terjemahan terdengar makin mirip Anda seiring percakapan berjalan. Hasilnya bukan kembaran suara Anda yang sempurna, tetapi jelas suara Anda dan bukan suara mesin, dan terus membaik seiring model mendengar lebih banyak. Kombinasi terjemahan progresif (klausa demi klausa, bukan kalimat demi kalimat) dan penyuaraan progresif inilah yang menjaga keseluruhan proses tetap dalam batas latensi sambil tetap terdengar manusiawi.

Rekam suara Anda sekali, lalu lewati pemanasan

Pemanasan di atas adalah yang terjadi secara default, tanpa pengaturan apa pun. Sejak September 2026 ada jalur kedua yang opsional untuk pengguna yang sudah masuk: sampel suara tersimpan di Settings → Your voice in translation.

Merekamnya cukup satu gerakan. Tekan Record my voice, tunggu Speak now, lalu ucapkan angka satu sampai sepuluh dalam urutan apa pun. Setiap angka menyala di kartu saat engine ucapan mendengarnya. Setelah kesepuluhnya menyala, sampel diperiksa dan disimpan dengan sendirinya. Tidak ada yang perlu diputar ulang atau dikonfirmasi, dan tidak ada hitungan mundur: kartu menyimpan bagian rekaman Anda yang memuat angka-angka tersebut. Ruangan yang tenang dan headset memberikan hasil terbaik.

Perubahan yang dibawa sampel tersimpan: mulai rapat Anda berikutnya, synthesizer menyuarakan terjemahan Anda dengannya sejak fragmen pertama, sehingga lawan bicara mendengar Anda sebagai diri Anda sejak kalimat pertama, bukan setelah pemanasan. Di balik layar, ini tetap sintesis zero-shot yang sama dengan titik awal yang lebih baik. Pemanasan langsung tetap menyempurnakan suara selama panggilan berlangsung.

Rekaman diperiksa sebelum disimpan. Rekaman harus berisi ucapan yang jelas sepanjang 3 sampai 10 detik (jendela input synthesizer). Jika terlalu pelan, terpotong, sebagian besar hening, atau tenggelam dalam bising latar, kartu akan memberi tahu apa yang perlu diperbaiki dan meminta rekaman ulang. Angka dipilih sebagai frasa karena alasan praktis: angka itu pendek, dikenali di setiap dari 23 bahasa, dan engine dapat memastikan bahwa kesepuluhnya terdengar, sehingga pertanyaan "apakah rekamannya berhasil?" berubah menjadi jawaban "ya" yang terlihat.

Dua sampel suara, dua masa simpan

Bagian ini langsung ditanyakan oleh tim keamanan atau hukum, jadi inilah penjelasannya secara lugas. Ada dua sampel yang berbeda, dan keduanya diperlakukan berbeda.

Sampel langsung yang dipakai untuk pemanasan dalam rapat bersifat sementara (ephemeral). Sampel ini hanya ada selama sesi konferensi langsung, untuk menyuarakan terjemahan, dan tidak disimpan di mana pun. Mind API dan SDK yang menjalankan sesi real-time tidak menyimpan data apa pun. Semua yang bersifat sementara hilang saat sesi konferensi berakhir.

Sampel tersimpan dari Settings disimpan bersama akun Anda, untuk satu tujuan: sampel dikirim ke engine terjemahan setiap kali Anda bergabung ke rapat agar ucapan terjemahan Anda dapat disuarakan dengannya, dan tidak untuk hal lain. Sampel ini bertahan sampai Anda menekan Remove pada kartu, yang langsung mengembalikan Anda ke pemanasan standar, dan dihapus bersama akun Anda. Tamu tidak dapat merekamnya; ini sengaja dirancang sebagai fitur untuk pengguna yang sudah masuk.

Perlu ditegaskan juga apa yang bukan kedua sampel ini: keduanya bukan salah satu fitur perekaman InterMIND. Merekam video dan audio rapat adalah tindakan tersendiri yang Anda lakukan dengan sengaja, dengan kontrolnya sendiri. Sampel suara adalah masukan bagi synthesizer ucapan: bersifat sementara pada sampel langsung, dan sepenuhnya Anda yang menentukan untuk menyimpan atau menghapusnya pada sampel tersimpan.

Mengapa belum ada yang menyediakan ini

Kloning suara bukan rahasia. Yang berbeda adalah melakukannya secara langsung, per peserta, dua arah, dengan kecepatan percakapan, di 23 bahasa, tanpa menyimpan apa pun yang tidak Anda minta. Itu masalah yang lain dibandingkan mengkloning suara secara offline untuk sebuah podcast.

Platform besar mengoptimalkan terjemahannya untuk cakupan teks keterangan (caption) dan satu suara narator yang aman. Itu pilihan default yang murah dan tangguh pada skala besar. Mempertahankan suara asli setiap pembicara berarti tahap sintesis harus melacak setiap peserta secara independen dan tetap berada dalam batas latensi yang sama dengan seluruh bagian pipeline lainnya. Kami membangun engine suara sendiri, di infrastruktur kami sendiri, sehingga kamilah yang berhak menentukan pertukaran ini. (Selengkapnya tentang mengapa engine ini adalah kode kami sendiri: Dari apa satu rapat InterMIND dibangun.)

Ke mana arahnya: lip-sync

Mempertahankan suara Anda adalah separuh dari tujuan yang lebih besar. Separuh lainnya adalah wajah Anda.

Saat ini Anda mendengar lawan bicara dengan suaranya sendiri, tetapi jika kamera menyala, bibir mereka masih bergerak sesuai kata-kata yang sebenarnya mereka ucapkan, dalam bahasa yang tidak Anda baca. Langkah berikutnya adalah lip-sync: menyesuaikan waktu gerak mulut pembicara dengan audio terjemahan, sehingga di layar Anda mereka tampak berbicara dalam bahasa Anda.

Gabungkan keduanya, dan tujuan seluruh pekerjaan ini menjadi jelas. Dua orang yang tidak memiliki bahasa yang sama duduk berseberangan dalam panggilan video dan saling melihat serta mendengar seolah masing-masing penutur asli bahasa lawannya: suara yang sama, wajah yang sama, tanpa penerjemah di tengah, tanpa robot yang membacakan naskah.

Agar jelas soal statusnya: suara sudah tersedia hari ini; lip-sync masih dalam roadmap, belum dirilis. Kami menyebut tujuan akhirnya karena itulah alasan pekerjaan suara ini penting. Terjemahan dengan suara sendiri bukanlah fiturnya, melainkan separuh pertama dari "berbicara dengan siapa pun, dalam bahasa apa pun, sebagai diri sendiri."

Di mana mendengarnya

Terjemahan dengan suara sendiri sudah tersedia hari ini, di seluruh 23 bahasa suara, yaitu bahasa yang sama dengan yang tercantum di dokumentasi. Tidak ada yang perlu diaktifkan secara terpisah: saat terjemahan diaktifkan dalam rapat, peserta otomatis saling mendengar dengan suara masing-masing. Kami jujur soal posisinya saat ini: suaranya sudah dapat dikenali sebagai Anda, dan tingkat kemiripannya terus kami upayakan agar makin dekat. Dengarkan sendiri dan nilai sendiri.

• Coba demo — menjalankan pipeline suara langsung terhadap audio Anda di salah satu dari 23 bahasa.
• Lihat angka kualitasnya — pipeline produksi yang sama, diberi skor setiap bulan terhadap FLORES-200, dengan distribusi lengkap yang dipublikasikan per pasangan bahasa.
• Rekam sampel suara Anda — setelah masuk, cukup satu rekaman angka satu sampai sepuluh, dan Anda disuarakan sebagai diri Anda sejak kalimat pertama.
• Cara kerjanya, di dokumentasi — versi singkat dari tulisan ini.
• Lihat bersama teks keterangan dan transkrip yang dapat dicari — bagaimana ketiga bagian ini bekerja bersama dalam satu rapat.

Rapat yang diterjemahkan seharusnya terasa seperti orang-orang yang benar-benar hadir di dalamnya sedang berbicara satu sama lain. Mempertahankan suara Anda adalah cara untuk sampai ke sana.