Bercakap dengan suara anda sendiri — dalam bahasa yang tidak anda kuasai

Inilah bahagian terjemahan masa nyata yang hampir semua orang tersilap, dan hampir tiada yang bercakap tentangnya: suara yang anda dengar.

Anda boleh mempunyai pengecaman pertuturan yang cemerlang dan terjemahan yang cemerlang, namun mesyuarat yang terhasil tetap terasa seperti mesin yang membaca senarai. Sebabnya, langkah terakhir — menukar teks terjemahan kembali menjadi bunyi — ialah tempat kebanyakan alat diam-diam menggantikan anda dengan satu penutur sintetik generik. Lapan orang dalam bilik, satu suara robot untuk kesemuanya. Anda kehilangan siapa yang sedang bercakap, penekanan, dan keperibadian. Boleh difahami, tetapi bukan perbualan.

InterMIND melakukan langkah terakhir ini secara berbeza. Apabila anda bercakap, peserta lain mendengar terjemahan dalam suara yang dapat dikenali sebagai suara anda — membawa timbre dan cara pertuturan anda — kini menyebut kata-kata itu dalam bahasa mereka. Ia belum lagi tiruan yang sempurna; yang penting ialah ia anda, bukan penutur stok, dan ia semakin baik. Ini berfungsi untuk setiap peserta, dalam kedua-dua arah, pada masa yang sama.

Siaran ini ialah bab yang tertinggal daripada Di dalam empat saluran terjemahan yang menggerakkan InterMIND: tulisan itu menerangkan bagaimana audio menjadi audio terjemahan. Yang ini pula tentang suara siapa yang keluar di hujung sana.

Lalai yang dihantar oleh semua orang, dan mengapa ia hambar

Jika anda pernah menggunakan terjemahan langsung dalam mana-mana platform mesyuarat besar, anda tahu bunyinya. Suara neutral dengan rentak sekata membacakan terjemahan. Ia suara yang sama sama ada penuturnya CEO anda yang membuka perhimpunan besar atau rakan sekerja yang sedang berjenaka. Teknologi di bawahnya ialah text-to-speech dengan satu model suara tetap, dan andaian reka bentuknya ialah kebolehfahaman sudah memadai.

Dalam mesyuarat sebenar, ia tidak memadai. Separuh daripada apa yang disampaikan oleh sesebuah mesyuarat ialah siapa yang menyampaikannya dan bagaimana. Buang suara itu dan anda telah menukar perbincangan menjadi transkrip yang kebetulan dibacakan dengan kuat. Orang berhenti bertindak balas antara satu sama lain dan mula menunggu giliran.

Apa yang InterMIND lakukan sebaliknya

Terjemahan berjalan sebagai saluran berperingkat (cascaded pipeline) — tiga peringkat khusus secara berurutan, bukannya satu model yang cuba melakukan segala-galanya. Dua peringkat pertama dibincangkan dalam siaran saluran terjemahan; langkah suara ialah fokus siaran ini:

ASR — pengecaman pertuturan. Kata-kata anda ditranskripsikan dalam bahasa anda sendiri, semasa anda bercakap, pada enjin kami sendiri — pelayan media yang membawa panggilan itu (Mind API, OVH France) — supaya terjemahan boleh bermula sebelum ayat tamat.
MT — terjemahan. Transkrip dikumpulkan menjadi serpihan ayat yang stabil — klausa — supaya terjemahan boleh bermula sebelum anda selesai menyebut ayat, dan setiap serpihan diterjemahkan secara progresif ke dalam bahasa pendengar.
Zero-shot TTS — sintesis suara. Setiap serpihan terjemahan dituturkan semula menggunakan sampel suara anda sendiri, dan disalurkan kepada pendengar.

Peringkat ketiga itulah — ASR → MT → zero-shot TTS — yang menghasilkan kesannya. "Zero-shot" bermaksud sistem tidak memerlukan rakaman pendaftaran awal atau sesi latihan untuk suara anda. Ia memodelkan suara anda daripada audio mesyuarat yang sedang anda sertai.

Pemanasan: bagaimana ia mula berbunyi seperti anda dengan begitu pantas

Ada masalah ayam-dan-telur yang tersembunyi dalam "gunakan sampel suara anda sendiri." Pada permulaan panggilan, sistem belum mendengar cukup banyak tentang anda untuk memodelkan suara anda dengan baik.

InterMIND menanganinya dengan pemanasan progresif:

Bagi kira-kira 5–10 saat pertama, sementara ia masih mengumpulkan ucapan anda yang mencukupi, setiap serpihan terjemahan disintesis menggunakan serpihan audio yang sepadan dengan apa yang baru sahaja anda sebut dalam bahasa sumber anda. Penyuaraan itu bersauh pada ucapan sebenar anda yang segera.
Apabila sampel sudah cukup panjang — tanda 5–10 saat itu — sistem mengunci padanya dan menggunakannya untuk menyuarakan segala-galanya selepas itu.

Dalam praktiknya anda tidak mendengar sebarang peralihan. Terjemahan itu berbunyi semakin seperti anda apabila perbualan berjalan — bukan salinan suara anda yang sempurna, tetapi jelas milik anda dan bukan milik mesin, dan terus bertambah baik apabila model mendengar lebih banyak. Gabungan terjemahan progresif (klausa demi klausa, bukan ayat demi ayat) dan penyuaraan progresif itulah yang memastikan keseluruhannya kekal dalam bajet kependaman sambil tetap berbunyi manusiawi.

Rakam suara anda sekali, dan langkau pemanasan

Pemanasan di atas ialah apa yang berlaku secara lalai, tanpa sebarang persediaan. Sejak September 2026 terdapat laluan kedua pilihan untuk pengguna yang telah log masuk: sampel suara tersimpan dalam Settings → Your voice in translation.

Merakamnya hanya satu gerakan. Tekan Record my voice, tunggu Speak now, dan sebutkan nombor satu hingga sepuluh mengikut sebarang urutan. Setiap nombor menyala pada kad apabila enjin pertuturan mendengarnya; apabila kesemua sepuluh menyala, sampel itu disemak dan disimpan dengan sendirinya. Tiada apa-apa untuk dimainkan semula atau disahkan, dan tiada kira detik: kad itu menyimpan bahagian rakaman anda yang mengandungi nombor tersebut. Bilik yang sunyi dan set kepala memberikan hasil terbaik.

Apa yang diubah oleh sampel tersimpan: bermula mesyuarat anda yang seterusnya, sintesizer menyuarakan terjemahan anda dengannya sejak serpihan pertama, supaya pihak yang satu lagi mendengar anda sebagai diri anda sejak ayat pertama, bukannya selepas pemanasan. Di sebalik tabir ia sintesis zero-shot yang sama dengan titik permulaan yang lebih baik; pemanasan langsung masih memperhalusi suara itu sepanjang panggilan.

Rakaman itu disaring sebelum disimpan. Ia mestilah 3 hingga 10 saat ucapan yang jelas (tetingkap input sintesizer): terlalu perlahan, terpotong, kebanyakannya senyap atau tenggelam dalam bunyi latar, dan kad itu memberitahu anda apa yang perlu dibetulkan serta meminta rakaman lain. Nombor dipilih sebagai frasa atas sebab praktikal: ia pendek, dapat dikenali dalam setiap satu daripada 23 bahasa, dan enjin boleh mengesahkan bahawa ia mendengar kesemua sepuluh, lalu mengubah "adakah rakaman itu berjaya?" menjadi jawapan "ya" yang kelihatan.

Dua sampel suara, dua jangka hayat

Ini bahagian yang segera ditanya oleh pasukan keselamatan atau undang-undang, jadi inilah penjelasan terus terang. Terdapat dua sampel yang berbeza, dan hayatnya berlainan.

Sampel langsung yang digunakan untuk pemanasan semasa mesyuarat bersifat sementara (ephemeral). Ia wujud hanya untuk sesi persidangan langsung, demi menyuarakan terjemahan, dan tidak disimpan di mana-mana. Mind API dan SDK yang menggerakkan sesi masa nyata itu tidak menyimpan sebarang data; segala yang sementara hilang apabila sesi persidangan tamat.

Sampel tersimpan daripada Settings disimpan bersama akaun anda, untuk satu tujuan: ia dihantar kepada enjin terjemahan setiap kali anda menyertai mesyuarat supaya ucapan terjemahan anda dapat disuarakan dengannya, dan bukan untuk apa-apa yang lain. Ia kekal sehingga anda menekan Remove pada kad, yang segera mengembalikan anda kepada pemanasan standard, dan ia dipadam bersama akaun anda. Tetamu tidak boleh merakamnya; ia ciri untuk pengguna yang telah log masuk secara reka bentuk.

Perlu dijelaskan dengan tepat apa yang bukan kedua-dua sampel ini: ia bukan salah satu ciri rakaman InterMIND. Merakam video dan audio sesebuah mesyuarat ialah tindakan berasingan yang disengajakan, yang anda lakukan dengan sengaja, dengan kawalannya sendiri. Sampel suara ialah input kepada sintesizer pertuturan: sementara dalam kes langsung, dan anda yang menentukan sama ada mahu menyimpan atau memadamnya dalam kes tersimpan.

Mengapa tiada orang lain menawarkan ini

Bukan kerana pengklonan suara itu rahsia. Sebabnya, melakukannya secara langsung, bagi setiap peserta, dalam kedua-dua arah, pada kelajuan perbualan, merentasi 23 bahasa, tanpa menyimpan apa-apa yang tidak anda minta ialah masalah yang berbeza daripada mengklon suara secara luar talian untuk podcast.

Platform besar mengoptimumkan terjemahan mereka untuk liputan sari kata dan satu suara penutur yang selamat — itulah lalai yang murah dan teguh pada skala besar. Mengekalkan suara setiap penutur bermakna peringkat sintesis mesti menjejaki setiap peserta secara bebas dan kekal dalam bajet kependaman yang sama dengan bahagian lain saluran. Kami membina enjin suara itu sendiri, pada infrastruktur kami sendiri, dan itulah yang menjadikan pertukaran timbal balik tersebut hak kami untuk diputuskan. (Lanjut tentang mengapa enjin itu kod kami sendiri: Apa yang membentuk satu mesyuarat InterMIND.)

Ke mana arah tujunya: lip-sync

Mengekalkan suara anda ialah separuh daripada matlamat yang lebih besar. Separuh lagi ialah wajah anda.

Pada masa ini anda mendengar orang lain dalam suaranya sendiri, tetapi jika anda berada di kamera, bibir mereka masih bergerak mengikut kata-kata yang sebenarnya mereka sebut — dalam bahasa yang tidak anda baca. Langkah seterusnya ialah lip-sync: menyelaraskan semula pergerakan mulut penutur dengan audio terjemahan, supaya pada skrin anda mereka kelihatan bercakap dalam bahasa anda.

Gabungkan kedua-duanya dan inti sebenar kerja ini menjadi jelas. Dua orang yang tidak berkongsi bahasa yang sama duduk berhadapan dalam panggilan video dan melihat serta mendengar satu sama lain seolah-olah masing-masing penutur asal bahasa pihak yang satu lagi — suara yang sama, wajah yang sama, tiada jurubahasa di tengah, tiada robot yang membaca skrip.

Supaya jelas tentang statusnya: suara sudah tersedia hari ini; lip-sync ada dalam pelan hala tuju, belum dilancarkan. Kami menyatakan destinasi itu kerana itulah sebab kerja suara ini penting — terjemahan dengan suara sendiri bukanlah ciri akhirnya, ia separuh pertama daripada "bercakap dengan sesiapa sahaja, dalam apa-apa bahasa, sebagai diri sendiri."

Di mana untuk mendengarnya

Terjemahan dengan suara sendiri tersedia hari ini, merentasi kesemua 23 bahasa suara — bahasa yang sama yang disenaraikan dalam dokumentasi. Tiada apa-apa untuk dihidupkan secara berasingan: apabila terjemahan didayakan dalam mesyuarat, peserta secara automatik mendengar satu sama lain dalam suara masing-masing. Kami berterus terang tentang kedudukannya: hari ini suara itu sudah dapat dikenali sebagai anda, dan kemiripannya sedang kami usahakan supaya lebih dekat. Pergilah dengar dan nilai sendiri.

Cuba demo — menjalankan saluran suara langsung pada audio anda dalam mana-mana daripada 23 bahasa.
Lihat angka kualiti — saluran pengeluaran yang sama, dinilai setiap bulan terhadap FLORES-200, dengan taburan penuh diterbitkan bagi setiap pasangan bahasa.
Rakam sampel suara anda — selepas log masuk, satu rakaman nombor satu hingga sepuluh, dan anda disuarakan sebagai diri anda sejak ayat pertama.
Cara ia berfungsi, dalam dokumentasi — versi ringkas siaran ini.
Lihat ia bersama sari kata dan transkrip yang boleh dicari — bagaimana ketiga-tiga bahagian itu berfungsi bersama dalam satu mesyuarat.

Mesyuarat yang diterjemahkan harus terasa seperti orang-orang yang benar-benar berada di dalamnya sedang bercakap sesama mereka. Mengekalkan suara anda ialah cara untuk sampai ke situ.