Kendi sesinizle konuşun — bilmediğiniz bir dilde

Gerçek zamanlı çevirinin neredeyse herkesin yanlış yaptığı ve neredeyse kimsenin konuşmadığı bir yanı var: duyduğunuz ses.

Mükemmel bir konuşma tanımanız ve mükemmel bir çeviriniz olabilir; yine de makinenin bir liste okuduğunu hissettiren bir toplantıyla karşılaşırsınız. Çünkü son adım, yani çevrilmiş metni yeniden sese dönüştürmek, araçların çoğunun sessizce sizin yerinize tek bir genel sentetik anlatıcıyı koyduğu yerdir. Odada sekiz kişi var, hepsi için tek bir robot sesi. Kimin konuştuğunu, vurguyu, kişiliği kaybedersiniz. Anlaşılır, ama sohbet değil.

InterMIND son adımı farklı yapar. Siz konuştuğunuzda diğer katılımcılar çeviriyi sizin sesiniz olduğu belli olan bir sesle duyar: tınınızı ve konuşma tarzınızı taşıyan, aynı sözleri artık onların dilinde söyleyen bir ses. Henüz kusursuz bir taklit değil; asıl nokta, hazır bir anlatıcı yerine siz olmanız ve bunun giderek iyileşmesi. Bu, her katılımcı için, her iki yönde ve aynı anda çalışır.

Bu yazı, InterMIND'ı çalıştıran dört çeviri işlem hattının içi yazısının eksik bölümüdür: o yazı sesin nasıl çevrilmiş sese dönüştüğünü anlatmıştı. Bu yazı ise öbür uçtan kimin sesinin çıktığını anlatıyor.

Herkesin sunduğu varsayılan ve neden düz kaldığı

Büyük toplantı platformlarından herhangi birinde canlı çeviri kullandıysanız sesi bilirsiniz. Tarafsız, eşit tempolu bir ses çeviriyi okur. Konuşan, genel kurulu açan genel müdürünüz de olsa, şaka yapan bir meslektaşınız da olsa aynı sestir. Altta yatan teknoloji, tek sabit ses modeliyle çalışan metinden sese dönüştürmedir ve tasarım varsayımı anlaşılırlığın yeterli olduğudur.

Gerçek bir toplantıda yeterli değildir. Bir toplantının ilettiğinin yarısı, bir şeyi kimin ve nasıl söylediğidir. Sesi çıkarırsanız tartışmayı, yüksek sesle okunan bir transkripte çevirmiş olursunuz. İnsanlar birbirine tepki vermeyi bırakıp sıralarını beklemeye başlar.

InterMIND bunun yerine ne yapar

Çeviri, her şeyi tek bir modelin yapmaya çalışması yerine art arda çalışan üç özelleşmiş aşamadan oluşan bir kademeli işlem hattı olarak yürür. İlk iki aşama işlem hatları yazısında anlatılıyor; bu yazının konusu ses adımı:

ASR — konuşma tanıma. Sözleriniz, siz konuşurken kendi dilinizde yazıya dökülür. Bunu kendi motorumuz yapar: görüşmeyi taşıyan medya sunucusu (Mind API, OVH France). Böylece çeviri cümle bitmeden başlayabilir.
MT — çeviri. Transkript, kararlı cümle parçalarına, yani cümleciklere ayrılır. Böylece çeviri siz cümleyi bitirmeden başlayabilir ve her parça dinleyenin diline aşamalı olarak çevrilir.
Zero-shot TTS — ses sentezi. Çevrilen her parça kendi sesinizden bir örnek kullanılarak yeniden seslendirilir ve dinleyiciye aktarılır.

Etkiyi yaratan, ASR → MT → zero-shot TTS zincirindeki bu üçüncü aşamadır. "Zero-shot", sistemin sesiniz için önceden yapılmış bir kayda veya eğitim oturumuna ihtiyaç duymadığı anlamına gelir. Sesinizi, zaten içinde bulunduğunuz toplantının sesinden modeller.

Isınma: sizin gibi duyulmaya bu kadar hızlı nasıl başlar

"Kendi sesinizden bir örnek kullanmak" ifadesinde gizli bir tavuk-yumurta sorunu var. Bir görüşmenin en başında sistem, sesinizi iyi modelleyecek kadar sizi henüz duymamıştır.

InterMIND bunu aşamalı bir ısınmayla çözer:

İlk yaklaşık 5–10 saniye boyunca, sistem konuşmanızdan yeterli ses toplarken, çevrilen her parça kaynak dilinizde az önce söylediğiniz şeyle eşleşen ses parçası kullanılarak sentezlenir. Seslendirme, gerçek ve anlık konuşmanıza dayanır.
Yeterince uzun bir örnek oluştuğunda, yani 5–10 saniyelik eşikte, sistem ona kilitlenir ve sonrasındaki her şeyi onunla seslendirir.

Pratikte bir anahtarın değiştiğini duymazsınız. Konuşma ilerledikçe çeviri size daha çok benzer: sesinizin kusursuz bir ikizi değil, ama bir makineninkinden çok açıkça sizin sesiniz; model daha çok duydukça da iyileşir. Aşamalı çeviri (cümle cümle değil, cümlecik cümlecik) ile aşamalı seslendirmenin birleşimi, tüm süreci gecikme bütçesinin altında tutarken yine de insan gibi duyulmasını sağlar.

Sesinizi bir kez kaydedin, ısınmayı atlayın

Yukarıdaki ısınma, hiçbir kurulum yapılmadığında varsayılan olarak gerçekleşendir. Eylül 2026'dan beri, oturum açmış kullanıcılar için isteğe bağlı ikinci bir yol var: Settings → Your voice in translation içindeki kayıtlı ses örneği.

Kaydetmek tek bir hareket. Record my voice'a basın, Speak now yazısını bekleyin ve birden ona kadar olan sayıları istediğiniz sırayla söyleyin. Konuşma motoru her sayıyı duydukça kartta o sayı yanar; on sayının hepsi yandığında örnek kontrol edilir ve kendiliğinden kaydedilir. Dinleyip onaylayacağınız bir şey yok, geri sayım da yok: kart, kaydınızın sayıları içeren bölümünü saklar. Sessiz bir oda ve bir kulaklık en iyi sonucu verir.

Kayıtlı örneğin değiştirdiği şey: bir sonraki toplantınızdan itibaren sentezleyici çevirinizi ilk parçadan itibaren bu örnekle seslendirir. Böylece karşı taraf sizi ısınmadan sonra değil, ilk cümleden itibaren sizin sesinizle duyar. Perde arkasında bu, daha iyi bir başlangıç noktasıyla aynı zero-shot sentezdir; canlı ısınma, görüşme ilerledikçe sesi yine de inceltmeye devam eder.

Kayıt, saklanmadan önce denetlenir. Net konuşmanın 3 ila 10 saniyesi olmalıdır (sentezleyicinin giriş penceresi). Çok kısıksa, kırpılmışsa, çoğunlukla sessizlikten oluşuyorsa ya da arka plan gürültüsüne boğulmuşsa kart neyi düzeltmeniz gerektiğini söyler ve yeni bir kayıt ister. İfade olarak sayıların seçilmesinin pratik bir nedeni var: kısadırlar, 23 dilin hepsinde tanınabilirler ve motor on sayının hepsini duyduğunu doğrulayabilir. Bu da "kayıt işe yaradı mı?" sorusunu görünür bir evete çevirir.

İki ses örneği, iki ömür

Bir güvenlik ya da hukuk ekibinin hemen sorduğu kısım burası, o yüzden açıkça yazıyorum. İki ayrı örnek var ve ömürleri farklı.

Toplantı içi ısınma için kullanılan canlı örnek geçicidir. Yalnızca canlı konferans oturumu boyunca, çeviriyi seslendirmek amacıyla var olur ve hiçbir yerde saklanmaz. Gerçek zamanlı oturuma güç veren Mind API ve SDK hiçbir veri tutmaz; geçici olan her şey konferans oturumu bittiğinde son bulur.

Ayarlar'daki kayıtlı örnek, hesabınızla birlikte, tek bir amaç için saklanır: bir toplantıya her katıldığınızda çeviri motoruna gönderilir, böylece çevrilen konuşmanız onunla seslendirilebilir; başka hiçbir şey için kullanılmaz. Kartta Remove'a basana kadar durur; basınca hemen standart ısınmaya dönersiniz. Hesabınız silindiğinde de onunla birlikte silinir. Konuklar örnek kaydedemez; tasarım gereği oturum açmış kullanıcılara özel bir özelliktir.

Her iki örneğin de ne olmadığını tam belirtmekte fayda var: ikisi de InterMIND'ın kayıt özelliklerinden biri değildir. Bir toplantının video ve sesini kaydetmek, kendi kontrolleri olan, bilerek yaptığınız ayrı bir eylemdir. Ses örneği ise konuşma sentezleyicisine verilen bir girdidir: canlı durumda geçici, kayıtlı durumda saklamak ya da silmek size kalmış.

Bunu neden başkası sunmuyor

Ses klonlama bir sır değil. Mesele, bunu canlı, katılımcı başına, her iki yönde, konuşma hızında, 23 dilde ve istemediğiniz hiçbir şeyi saklamadan yapmanın, bir podcast için sesi çevrimdışı klonlamaktan farklı bir problem olması.

Büyük platformlar çevirilerini altyazı kapsamı ve tek, güvenli bir anlatıcı sesi için optimize eder; bu, ölçekte ucuz ve sağlam olan varsayılandır. Her konuşmacının kendi sesini korumak ise sentez aşamasının her katılımcıyı bağımsız izlemesini ve işlem hattının geri kalanının tabi olduğu gecikme bütçesinin içinde kalmasını gerektirir. Ses motorunu kendimiz, kendi altyapımızda kurduk; bu ödünleşimi yapmak da bu yüzden bizim elimizde. (Motorun neden kendi kodumuz olduğu hakkında daha fazlası: Tek bir InterMIND toplantısı nelerden kurulur.)

Bu işin gittiği yer: dudak senkronu

Sesinizi korumak, daha büyük bir hedefin yarısı. Diğer yarısı yüzünüz.

Şu anda karşınızdaki kişiyi kendi sesiyle duyuyorsunuz, ama kameradaysa dudakları hâlâ gerçekte söylediği sözlere göre hareket ediyor; üstelik bu, okumadığınız bir dilde. Sıradaki adım dudak senkronu: konuşanın ağzını çevrilmiş sese göre yeniden zamanlamak, böylece ekranınızda sizin dilinizi konuşuyormuş gibi görünmesi.

İkisini bir araya getirdiğinizde bu işin bütün amacı netleşiyor. Ortak dili olmayan iki kişi bir görüntülü görüşmede karşı karşıya oturuyor ve birbirlerini, her biri diğerinin dilinin ana dili konuşuruymuş gibi görüp duyuyor: aynı ses, aynı yüz, aradaki bir tercüman yok, bir metin okuyan robot yok.

Durumu açıkça belirteyim: ses bugün yayında; dudak senkronu yol haritasında, henüz yayında değil. Varış noktasını dile getiriyoruz, çünkü ses çalışmasının neden önemli olduğunu o açıklıyor: kendi sesinizle çeviri asıl özellik değil, "herkesle, her dilde, kendiniz olarak konuş" hedefinin ilk yarısı.

Nerede duyabilirsiniz

Kendi sesinizle çeviri bugün yayında, 23 ses dilinin tamamında; bunlar dokümanlarda listelenen dillerle aynı. Ayrıca açılacak bir şey yok: bir toplantıda çeviri etkinleştirildiğinde katılımcılar birbirlerini otomatik olarak kendi seslerinde duyar. Durumu dürüstçe söyleyelim: bugün ses zaten belirgin biçimde sizin sesiniz ve benzerliği daha da yaklaştırmak için aktif olarak çalışıyoruz. Gidip dinleyin, kararı kendiniz verin.

Demoyu deneyin — canlı ses işlem hattını, 23 dilden herhangi birinde kendi sesinizle çalıştırır.
Kalite rakamlarına bakın — aynı üretim işlem hattı, her ay FLORES-200 üzerinde puanlanır; tam dağılım dil çifti bazında yayımlanır.
Ses örneğinizi kaydedin — oturum açın, birden ona kadar sayıların tek bir kaydını yapın; ilk cümleden itibaren kendi sesinizle seslendirilirsiniz.
Nasıl çalıştığına dokümanlarda bakın — bu yazının kısa hali.
Altyazılar ve aranabilir bir transkriptle yan yana görün — üç parçanın tek bir toplantıda birlikte nasıl davrandığı.