Berbicara dengan suara Anda sendiri — dalam bahasa yang tidak Anda kuasai

Berikut bagian dari terjemahan real-time yang hampir semua orang salah menanganinya, dan hampir tidak ada yang membicarakannya: suara yang Anda dengar.

Pengenalan ucapan bisa sangat baik dan terjemahan bisa sangat baik, tetapi rapat tetap terasa seperti mesin yang membacakan daftar. Langkah terakhir, yaitu mengubah teks terjemahan kembali menjadi suara, adalah titik di mana kebanyakan alat diam-diam mengganti Anda dengan satu narator sintetis generik. Delapan orang di ruangan, satu suara robot untuk semuanya. Anda kehilangan informasi tentang siapa yang berbicara, penekanannya, dan kepribadiannya. Bisa dipahami, tetapi bukan percakapan.

InterMIND menangani langkah terakhir ini secara berbeda. Saat Anda berbicara, peserta lain mendengar terjemahannya dengan suara yang dapat dikenali sebagai suara Anda — membawa warna suara dan cara bicara Anda — yang kini mengucapkan kata-kata itu dalam bahasa mereka. Tirunya belum sempurna; intinya, yang terdengar adalah Anda, bukan narator bawaan, dan hasilnya terus membaik. Ini berlaku untuk setiap peserta, ke dua arah, pada saat yang sama.

Tulisan ini adalah bab yang hilang dari Inside the four translation pipelines that run InterMIND: tulisan itu menjelaskan bagaimana audio menjadi audio terjemahan. Tulisan ini membahas suara siapa yang keluar di ujungnya.

Bawaan yang dikirim semua orang, dan mengapa terdengar datar

Jika Anda pernah memakai terjemahan langsung di platform rapat besar mana pun, Anda tahu bunyinya. Suara netral dengan tempo rata membacakan terjemahan. Suaranya sama, entah pembicaranya CEO Anda yang membuka town hall atau rekan kerja yang sedang melempar lelucon. Teknologi di baliknya adalah text-to-speech dengan satu model suara tetap, dengan asumsi desain bahwa kejelasan sudah cukup.

Dalam rapat sungguhan, itu tidak cukup. Separuh dari apa yang dikomunikasikan sebuah rapat adalah siapa yang mengatakannya dan bagaimana. Hilangkan suaranya, dan diskusi berubah menjadi transkrip yang kebetulan dibacakan. Orang berhenti bereaksi satu sama lain dan mulai menunggu giliran.

Yang dilakukan InterMIND sebagai gantinya

Terjemahan berjalan sebagai pipeline bertahap (cascaded) — tiga tahap khusus yang berurutan, bukan satu model yang mencoba mengerjakan semuanya. Dua tahap pertama dibahas di tulisan tentang pipeline; tahap suara adalah topik tulisan ini:

ASR — pengenalan ucapan. Kata-kata Anda ditranskripsikan dalam bahasa Anda sendiri, saat Anda berbicara, di mesin kami sendiri — server media yang membawa panggilan (Mind API, OVH France) — sehingga terjemahan bisa dimulai sebelum kalimat selesai.
MT — terjemahan. Transkrip dikelompokkan menjadi fragmen kalimat yang stabil — klausa — sehingga terjemahan bisa dimulai sebelum Anda selesai berbicara, dan setiap fragmen diterjemahkan secara progresif ke bahasa pendengar.
Zero-shot TTS — sintesis suara. Setiap fragmen terjemahan diucapkan kembali menggunakan sampel suara Anda sendiri, lalu dialirkan ke pendengar.

Tahap ketiga inilah — ASR → MT → zero-shot TTS — yang menghasilkan efek tersebut. "Zero-shot" berarti sistem tidak memerlukan rekaman pendaftaran atau sesi pelatihan untuk suara Anda. Sistem memodelkan suara Anda dari audio rapat yang sedang Anda ikuti.

Pemanasan: bagaimana suaranya cepat terdengar seperti Anda

Ada masalah ayam-dan-telur yang tersembunyi dalam "gunakan sampel suara Anda sendiri." Di awal panggilan, sistem belum cukup mendengar Anda untuk memodelkan suara Anda dengan baik.

InterMIND mengatasinya dengan pemanasan progresif:

Selama kira-kira 5–10 detik pertama, saat sistem masih mengumpulkan cukup ucapan Anda, setiap fragmen terjemahan disintesis menggunakan fragmen audio yang sesuai dengan apa yang baru saja Anda ucapkan dalam bahasa sumber. Pengucapannya berpijak pada ucapan Anda yang asli dan terkini.
Begitu sampelnya cukup panjang — pada titik 5–10 detik itu — sistem mengunci sampel tersebut dan memakainya untuk menyuarakan semua yang berikutnya.

Dalam praktiknya, Anda tidak mendengar adanya peralihan. Terjemahan terdengar makin mirip Anda seiring percakapan berjalan — bukan tiruan sempurna dari suara Anda, tetapi jelas suara Anda dan bukan suara mesin, dan terus membaik seiring model mendengar lebih banyak. Kombinasi terjemahan progresif (klausa demi klausa, bukan kalimat demi kalimat) dan pengucapan progresif inilah yang menjaga seluruh proses tetap dalam batas latensi sambil tetap terdengar manusiawi.

Rekam suara Anda sekali, dan lewati pemanasan

Pemanasan di atas adalah yang terjadi secara bawaan, tanpa pengaturan apa pun. Sejak September 2026 ada jalur kedua yang opsional untuk pengguna yang sudah masuk: sampel suara tersimpan di Settings → Your voice in translation.

Merekamnya cukup satu gerakan. Tekan Record my voice, tunggu Speak now, lalu ucapkan angka satu sampai sepuluh dalam urutan apa pun. Setiap angka menyala di kartu saat mesin ucapan mendengarnya; ketika kesepuluhnya menyala, sampel diperiksa dan disimpan dengan sendirinya. Tidak ada yang perlu diputar ulang atau dikonfirmasi, dan tidak ada hitung mundur: kartu menyimpan bagian rekaman Anda yang berisi angka-angka itu. Ruangan yang tenang dan headset memberi hasil terbaik.

Yang berubah dengan sampel tersimpan: mulai rapat Anda berikutnya, sintesis suara menyuarakan terjemahan Anda dengannya sejak fragmen pertama, sehingga pihak lain mendengar Anda sebagai diri Anda sejak kalimat pertama, bukan setelah pemanasan. Di balik layar, ini tetap sintesis zero-shot yang sama dengan titik awal yang lebih baik; pemanasan langsung tetap menyempurnakan suara seiring panggilan berlangsung.

Rekaman diperiksa sebelum disimpan. Rekaman harus berisi ucapan jernih berdurasi 3 sampai 10 detik (jendela masukan sintesis suara): jika terlalu pelan, terpotong, sebagian besar hening, atau tenggelam dalam kebisingan latar, kartu akan memberi tahu apa yang perlu diperbaiki dan meminta rekaman ulang. Angka dipilih sebagai frasa karena alasan praktis: angka pendek, dikenali di setiap dari 23 bahasa, dan mesin dapat memastikan bahwa ia mendengar kesepuluhnya, sehingga pertanyaan "apakah rekamannya berhasil?" berubah menjadi jawaban "ya" yang terlihat.

Dua sampel suara, dua masa simpan

Inilah bagian yang langsung ditanyakan tim keamanan atau hukum, jadi berikut penjelasan yang lugas. Ada dua sampel yang berbeda, dan masa simpannya berbeda.

Sampel langsung yang dipakai untuk pemanasan dalam rapat bersifat sementara (ephemeral). Sampel ini hanya ada selama sesi konferensi langsung, untuk menyuarakan terjemahan, dan tidak disimpan di mana pun. Mind API dan SDK yang menggerakkan sesi real-time tidak menyimpan data apa pun; semua yang bersifat sementara hilang saat sesi konferensi berakhir.

Sampel tersimpan dari Settings disimpan bersama akun Anda, untuk satu tujuan: sampel ini dikirim ke mesin terjemahan setiap kali Anda bergabung ke rapat agar ucapan terjemahan Anda dapat disuarakan dengannya, dan tidak untuk keperluan lain. Sampel ini tetap ada sampai Anda menekan Remove pada kartu, yang langsung mengembalikan Anda ke pemanasan standar, dan sampel ini dihapus bersamaan dengan akun Anda. Tamu tidak dapat merekamnya; ini adalah fitur untuk pengguna yang sudah masuk, dan memang dirancang demikian.

Perlu dipahami dengan tepat apa yang bukan merupakan kedua sampel ini: keduanya bukan salah satu fitur perekaman InterMIND. Merekam video dan audio rapat adalah tindakan terpisah yang Anda lakukan dengan sengaja, dengan kontrolnya sendiri. Sampel suara adalah masukan bagi sintesis suara: sementara pada kasus langsung, dan milik Anda untuk disimpan atau dihapus pada kasus tersimpan.

Mengapa belum ada yang lain yang menghadirkan ini

Bukan karena kloning suara itu rahasia. Masalahnya, melakukannya secara langsung, per peserta, ke dua arah, dengan kecepatan percakapan, di 23 bahasa, tanpa menyimpan apa pun yang tidak Anda minta adalah masalah yang berbeda dari mengkloning suara secara offline untuk sebuah podcast.

Platform-platform besar mengoptimalkan terjemahan mereka untuk cakupan caption dan satu suara narator yang aman — itulah bawaan yang murah dan tangguh pada skala besar. Mempertahankan suara asli tiap pembicara berarti tahap sintesis harus melacak setiap peserta secara independen dan tetap berada dalam batas latensi yang sama dengan seluruh bagian pipeline lainnya. Kami membangun mesin suara sendiri, di infrastruktur kami sendiri, sehingga kamilah yang berhak menentukan pertukaran tersebut. (Selengkapnya tentang mengapa mesinnya adalah kode kami sendiri: What one InterMIND meeting is built from.)

Arah ke depan: lip-sync

Mempertahankan suara Anda adalah separuh dari tujuan yang lebih besar. Separuh lainnya adalah wajah Anda.

Saat ini Anda mendengar lawan bicara dengan suaranya sendiri, tetapi jika ia tampil di kamera, bibirnya tetap bergerak mengikuti kata-kata yang sebenarnya ia ucapkan — dalam bahasa yang tidak Anda baca. Langkah berikutnya adalah lip-sync: menyesuaikan waktu gerak mulut pembicara dengan audio terjemahan, sehingga di layar Anda ia tampak berbicara dalam bahasa Anda.

Gabungkan keduanya, dan tujuan seluruh pekerjaan ini menjadi jelas. Dua orang yang tidak memiliki bahasa yang sama duduk berhadapan dalam panggilan video dan saling melihat dan mendengar seolah masing-masing adalah penutur asli bahasa yang lain — suara yang sama, wajah yang sama, tanpa juru bahasa di tengah, tanpa robot yang membacakan naskah.

Agar jelas soal statusnya: suara sudah tersedia hari ini; lip-sync ada di peta jalan, belum dirilis. Kami menyebut tujuan akhirnya karena itulah alasan pekerjaan suara ini penting — terjemahan dengan suara sendiri bukanlah fiturnya, melainkan separuh pertama dari "berbicara dengan siapa pun, dalam bahasa apa pun, sebagai diri sendiri."

Di mana mendengarkannya

Terjemahan dengan suara sendiri sudah tersedia hari ini, di seluruh 23 bahasa suara — bahasa yang sama dengan yang tercantum di dokumentasi. Tidak ada yang perlu diaktifkan secara terpisah: ketika terjemahan diaktifkan dalam sebuah rapat, para peserta otomatis saling mendengar dengan suara masing-masing. Kami akan jujur soal posisinya saat ini: hari ini suaranya sudah dapat dikenali sebagai Anda, dan kemiripannya adalah sesuatu yang terus kami upayakan agar makin dekat. Dengarkan sendiri dan nilai sendiri.

Coba demo — menjalankan pipeline suara langsung terhadap audio Anda dalam salah satu dari 23 bahasa.
Lihat angka kualitasnya — pipeline produksi yang sama, dinilai setiap bulan terhadap FLORES-200, dengan distribusi lengkap yang dipublikasikan per pasangan bahasa.
Rekam sampel suara Anda — setelah masuk, cukup satu kali rekaman angka satu sampai sepuluh, dan Anda disuarakan sebagai diri Anda sejak kalimat pertama.
Cara kerjanya, di dokumentasi — versi singkat dari tulisan ini.
Lihat bersama caption dan transkrip yang bisa dicari — bagaimana ketiga bagian itu bekerja bersama dalam satu rapat.

Rapat yang diterjemahkan seharusnya terasa seperti orang-orang yang benar-benar ada di dalamnya sedang berbicara satu sama lain. Mempertahankan suara Anda adalah cara untuk sampai ke sana.