Mów własnym głosem — w języku, którego nie znasz

Oto aspekt tłumaczenia w czasie rzeczywistym, który prawie wszyscy robią źle, a o którym prawie nikt nie mówi: głos, który słyszysz.

Możesz mieć doskonałe rozpoznawanie mowy i doskonałe tłumaczenie, a mimo to skończyć ze spotkaniem, które brzmi jak maszyna czytająca listę. Ponieważ to ostatni krok — zamiana przetłumaczonego tekstu z powrotem na dźwięk — to moment, w którym większość narzędzi po cichu zastępuje Ciebie jednym ogólnym syntetycznym lektorem. Osiem osób w pokoju, jeden robotyczny głos dla wszystkich. Tracisz informację o tym, kto mówi, akcent, osobowość. Zrozumiałe, ale nie rozmowa.

InterMIND robi ten ostatni krok inaczej. Kiedy mówisz, pozostali uczestnicy słyszą tłumaczenie głosem, który jest wyraźnie Twój — niosącym Twoją barwę i Twój sposób mówienia — teraz wypowiadającym słowa w ich języku. To nie jest jeszcze bezbłędna imitacja; chodzi o to, że to Ty, a nie standardowy lektor, i że to stale się poprawia. Działa to dla każdego uczestnika, w obu kierunkach, jednocześnie.

Ten wpis to brakujący rozdział Wewnątrz czterech potoków tłumaczenia, które napędzają InterMIND: tamten tekst wyjaśniał, jak dźwięk staje się przetłumaczonym dźwiękiem. Ten jest o tym, czyj głos wydobywa się na drugim końcu.

Domyślne rozwiązanie, które wszyscy wdrażają, i dlaczego jest płaskie

Jeśli korzystałeś z tłumaczenia na żywo na którejkolwiek z dużych platform spotkań, znasz ten dźwięk. Neutralny głos o równomiernym tempie odczytuje tłumaczenie. To ten sam głos, niezależnie od tego, czy mówiącym jest Twój CEO otwierający spotkanie plenarne, czy kolega żartujący. Technologia pod spodem to synteza mowy z jednym stałym modelem głosu, a założenie projektowe jest takie, że zrozumiałość wystarczy.

Na prawdziwym spotkaniu nie wystarczy. Połowa tego, co spotkanie komunikuje, to kto to mówi i jak. Pozbaw głosu, a zamieniłeś dyskusję w transkrypcję, która akurat jest wypowiadana na głos. Ludzie przestają reagować na siebie nawzajem i zaczynają czekać na swoją kolej.

Co zamiast tego robi InterMIND

Tłumaczenie działa jako kaskadowy potok — trzy specjalistyczne etapy w sekwencji, a nie jeden model próbujący zrobić wszystko. Pierwsze dwa etapy są opisane we wpisie o potokach; etap głosowy to ten, o którym jest ten wpis:

1. ASR — rozpoznawanie mowy. Twoje słowa są transkrybowane w Twoim własnym języku, w Twojej przeglądarce, w trakcie mówienia. (Uruchomienie go lokalnie oszczędza cykl przesyłu i zapewnia najniższe możliwe opóźnienie, zanim tłumaczenie w ogóle może się rozpocząć.)
2. MT — tłumaczenie. Transkrypcja jest grupowana w stabilne fragmenty zdań — frazy — więc tłumaczenie może się rozpocząć, zanim skończysz zdanie, a każdy fragment jest tłumaczony progresywnie na język słuchacza.
3. Zero-shot TTS — synteza mowy. Każdy przetłumaczony fragment jest wypowiadany przy użyciu próbki Twojego własnego głosu i przesyłany strumieniowo do słuchacza.

To ten trzeci etap — ASR → MT → zero-shot TTS — daje ten efekt. „Zero-shot" oznacza, że system nie wymaga wstępnego nagrania rejestracyjnego ani sesji treningowej dla Twojego głosu. Modeluje Twój głos na podstawie dźwięku ze spotkania, w którym już jesteś.

Rozgrzewka: jak to tak szybko zaczyna brzmieć jak Ty

W „użyciu próbki Twojego własnego głosu" kryje się problem jajka i kury. Na samym początku połączenia system nie usłyszał jeszcze wystarczająco dużo, aby dobrze modelować Twój głos.

InterMIND radzi sobie z tym poprzez progresywną rozgrzewkę:

• Przez mniej więcej pierwsze 5–10 sekund, podczas gdy system wciąż zbiera wystarczająco dużo Twojej mowy, każdy przetłumaczony fragment jest syntetyzowany przy użyciu fragmentu audio, który odpowiada temu, co właśnie powiedziałeś w swoim języku źródłowym. Nadawanie głosu jest zakotwiczone w Twojej rzeczywistej, bieżącej mowie.
• Gdy tylko zebrana zostanie wystarczająco długa próbka — ta granica 5–10 sekund — system się na niej ustabilizuje i używa jej do nadawania głosu we wszystkim, co nastąpi potem.

W praktyce nie słyszysz, jak przełącza się przełącznik. Tłumaczenie brzmi coraz bardziej jak Ty, w miarę jak rozmowa nabiera tempa — nie jest to perfekcyjny klon Twojego głosu, ale wyraźnie Twój, a nie maszyny, i poprawia się, im więcej model słyszy. Połączenie progresywnego tłumaczenia (fraza po frazie, a nie zdanie po zdaniu) i progresywnego nadawania głosu to właśnie to utrzymuje całość w ramach budżetu opóźnień, zachowując jednocześnie ludzkie brzmienie.

Próbka głosu nigdy nie jest przechowywana

To jest ten element, o który zespół ds. bezpieczeństwa lub prawny pyta natychmiast, więc powiemy to wprost.

Próbka głosu używana do syntezy jest efemeryczna. Istnieje tylko na czas trwania sesji konferencji na żywo, w celu nadania głosu tłumaczeniu, i nie jest nigdzie przechowywana. Mind API i SDK, które napędzają sesję w czasie rzeczywistym, nie przechowują żadnych danych — wszystko tymczasowe znika, gdy sesja konferencji się kończy.

Warto być precyzyjnym w kwestii tego, czym ta próbka nie jest: nie jest jedną z funkcji nagrywania InterMIND. Nagrywanie wideo i audio ze spotkania to osobne, celowe działanie, które podejmujesz świadomie, z własnymi kontrolkami. Próbka własnego głosu to nie nagranie — to przejściowy input do syntezatora mowy, który nigdy nie przetrwa połączenia.

To ma znaczenie wykraczające poza higienę prywatności. „Mów własnym głosem" to dokładnie ten rodzaj funkcji, który brzmi tak, jakby powinien wiązać się z przechowywaniem odcisku głosu w jakimś miejscu. Nie wiąże się. Uczciwa wersja jest lepszą historią: Twój głos jest modelowany w danej chwili i znika, gdy się rozłączysz.

Dlaczego nikt inny tego nie wdraża

To nie tak, że klonowanie głosu jest tajemnicą. Chodzi o to, że robienie tego na żywo, dla każdego uczestnika, w obu kierunkach, w ramach budżetu jednej sekundy, w 24 językach, bez przechowywania czegokolwiek to inny problem niż klonowanie głosu offline dla podcastu.

Duże platformy optymalizują swoje tłumaczenie pod kątem pokrycia napisami i jednego bezpiecznego głosu lektora — to tani, solidny domyślny wybór na dużą skalę. Zachowanie własnego głosu każdego mówiącego oznacza, że etap syntezy musi śledzić każdego uczestnika niezależnie i mieścić się w tym samym budżecie opóźnień, w którym funkcjonuje reszta potoku. Zbudowaliśmy silnik głosowy sami, na własnej infrastrukturze, co sprawia, że ten kompromis jest nasz do podjęcia. (Więcej o tym, dlaczego silnik to nasz własny kod: Z czego zbudowane jest jedno spotkanie InterMIND.)

Dokąd to zmierza: lip-sync

Zachowanie Twojego głosu to połowa większego celu. Drugą połową jest Twoja twarz.

Obecnie słyszysz drugą osobę w jej własnym głosie, ale jeśli jesteś na kamerze, jej usta nadal poruszają się w rytm słów, które faktycznie powiedziała — w języku, którego nie znasz. Następnym krokiem jest lip-sync: ponowne zsynchronizowanie ust mówiącego z przetłumaczonym dźwiękiem, tak aby na Twoim ekranie wyglądało, jakby mówił Twoim językiem.

Połącz te dwie rzeczy i cały sens tej pracy staje się jasny. Dwie osoby, które nie mają wspólnego języka, siedzą naprzeciwko siebie w połączeniu wideo i widzą się oraz słyszą tak, jakby każda z nich była native speakerem języka drugiej — ten sam głos, ta sama twarz, bez tłumacza pośrodku, bez robota czytającego skrypt.

Dla jasności co do statusu: głos jest dziś dostępny na żywo; lip-sync jest na roadmapie, jeszcze nie wdrożony. Wskazujemy cel, bo to dlatego praca nad głosem ma znaczenie — tłumaczenie własnym głosem nie jest tą funkcją, to pierwsza połowa „rozmawiaj z każdym, w każdym języku, jako Ty sam".

Gdzie tego posłuchać

Tłumaczenie własnym głosem jest dostępne na żywo dziś, we wszystkich 21 językach głosowych — tych samych językach, które są wymienione w dokumentacji. Nie trzeba niczego osobno włączać: gdy tłumaczenie jest włączone na spotkaniu, uczestnicy automatycznie słyszą się nawzajem w swoich własnych głosach. Będziemy szczerzy co do obecnego stanu: dziś głos jest już wyraźnie Twój, a podobieństwo jest czymś, co aktywnie poprawiamy. Posłuchaj i oceń sam.

• Wypróbuj demo — uruchamia potok głosu na żywo na Twoim materiale audio w dowolnym z 24 języków.
• Zobacz wyniki jakości — ten sam produkcyjny potok, oceniany co miesiąc względem FLORES-200, z pełnym rozkładem wyników publikowanym dla każdej pary języków.
• Jak to działa, w dokumentacji — krótka wersja tego wpisu.

Przetłumaczone spotkanie powinno sprawiać wrażenie, jakby ludzie, którzy faktycznie w nim są, rozmawiali ze sobą. Zachowanie Twojego głosu to sposób, w jaki to osiągamy.