Mów własnym głosem — w języku, którego nie znasz

Oto element tłumaczenia w czasie rzeczywistym, który prawie wszyscy robią źle i o którym prawie nikt nie mówi: głos, który słyszysz.

Można mieć doskonałe rozpoznawanie mowy i doskonałe tłumaczenie, a mimo to skończyć ze spotkaniem, które brzmi jak maszyna czytająca listę. Ostatni krok — zamiana przetłumaczonego tekstu z powrotem na dźwięk — to moment, w którym większość narzędzi po cichu zastępuje ciebie jednym, generycznym syntetycznym lektorem. Osiem osób w pokoju i jeden robotyczny głos dla wszystkich. Tracisz informację, kto mówi, akcenty, osobowość. Da się zrozumieć, ale to nie jest rozmowa.

InterMIND robi ten ostatni krok inaczej. Kiedy mówisz, pozostali uczestnicy słyszą tłumaczenie głosem, który jest rozpoznawalnie twój — z twoją barwą i twoim sposobem mówienia — a który wypowiada te słowa w ich języku. To jeszcze nie jest bezbłędne naśladownictwo; chodzi o to, że słychać ciebie, a nie typowego lektora, i że jakość stale rośnie. Działa to dla każdego uczestnika, w obie strony, jednocześnie.

Ten wpis to brakujący rozdział tekstu Inside the four translation pipelines that run InterMIND: tamten wyjaśniał, jak dźwięk zamienia się w przetłumaczony dźwięk. Ten jest o tym, czyj głos wychodzi na drugim końcu.

Domyślne rozwiązanie wszystkich i dlaczego jest płaskie

Jeśli korzystasz z tłumaczenia na żywo w którejś z dużych platform do spotkań, znasz ten dźwięk. Neutralny, równo wypowiadający słowa głos czyta tłumaczenie. To ten sam głos, niezależnie od tego, czy mówi prezes otwierający spotkanie z całą firmą, czy kolega opowiadający dowcip. Pod spodem działa zamiana tekstu na mowę z jednym stałym modelem głosu, a założenie projektowe brzmi: wystarczy, że da się zrozumieć.

W prawdziwym spotkaniu to nie wystarcza. Połowa tego, co komunikuje spotkanie, to kto mówi i jak. Odbierz głos, a z dyskusji zrobisz transkrypt, który akurat jest czytany na głos. Ludzie przestają reagować na siebie nawzajem i zaczynają czekać na swoją kolej.

Co robi zamiast tego InterMIND

Tłumaczenie działa jako potok kaskadowy — trzy wyspecjalizowane etapy po kolei, zamiast jednego modelu próbującego zrobić wszystko. Dwa pierwsze etapy opisuje wpis o potokach; etap głosu jest tematem tego wpisu:

ASR — rozpoznawanie mowy. Twoje słowa są transkrybowane w twoim języku na bieżąco, na naszym własnym silniku — serwerze mediów, który obsługuje rozmowę (Mind API, OVH France) — dzięki czemu tłumaczenie może ruszyć, zanim zdanie się skończy.
MT — tłumaczenie. Transkrypt jest grupowany w stabilne fragmenty zdań — człony zdania — żeby tłumaczenie mogło zacząć się, zanim skończysz zdanie, a każdy fragment jest tłumaczony stopniowo na język słuchacza.
Zero-shot TTS — synteza głosu. Każdy przetłumaczony fragment jest wypowiadany z użyciem próbki twojego własnego głosu i przesyłany strumieniowo do słuchacza.

To właśnie trzeci etap — ASR → MT → zero-shot TTS — daje ten efekt. „Zero-shot” oznacza, że system nie potrzebuje wcześniej nagranej próbki ani sesji treningowej dla twojego głosu. Modeluje twój głos na podstawie dźwięku ze spotkania, w którym już uczestniczysz.

Rozgrzewka: jak to tak szybko zaczyna brzmieć jak ty

W haśle „użyj próbki własnego głosu” kryje się problem jajka i kury. Na samym początku rozmowy system nie usłyszał jeszcze dość twojej mowy, żeby dobrze zamodelować głos.

InterMIND radzi sobie z tym dzięki stopniowej rozgrzewce:

Przez mniej więcej pierwsze 5–10 sekund, gdy system wciąż zbiera wystarczająco dużo twojej mowy, każdy przetłumaczony fragment jest syntetyzowany z użyciem fragmentu audio, który odpowiada temu, co właśnie powiedziałeś w języku źródłowym. Brzmienie opiera się na twojej prawdziwej, bieżącej mowie.
Gdy próbka jest już wystarczająco długa — czyli po tych 5–10 sekundach — system zatrzymuje się na niej i używa jej do głosowania wszystkiego, co przyjdzie potem.

W praktyce nie słychać żadnego przełączenia. Tłumaczenie brzmi coraz bardziej jak ty, w miarę jak rozmowa się rozkręca — nie jak idealny sobowtór twojego głosu, ale wyraźnie jak twój, a nie maszyny, i lepiej z każdą chwilą, gdy model słyszy więcej. Połączenie stopniowego tłumaczenia (człon po członie, a nie zdanie po zdaniu) i stopniowego głosowania sprawia, że całość mieści się w budżecie opóźnień, a mimo to brzmi po ludzku.

Nagraj swój głos raz i pomiń rozgrzewkę

Opisana wyżej rozgrzewka to ustawienie domyślne, które nie wymaga żadnej konfiguracji. Od września 2026 jest opcjonalna druga ścieżka dla zalogowanych użytkowników: zapisana próbka głosu w Settings → Your voice in translation.

Nagranie to jeden gest. Naciśnij Record my voice, poczekaj na Speak now i powiedz liczby od jednego do dziesięciu w dowolnej kolejności. Każda liczba zapala się na karcie, gdy silnik mowy ją usłyszy; kiedy zapalone jest wszystkie dziesięć, próbka jest sprawdzana i zapisywana automatycznie. Nie trzeba niczego odsłuchiwać ani potwierdzać, nie ma też odliczania: karta zachowuje ten fragment twojego nagrania, w którym padają liczby. Najlepszy efekt dają cichy pokój i zestaw słuchawkowy.

Co zmienia zapisana próbka: od następnego spotkania syntezator głosuje twoje tłumaczenie nią od pierwszego fragmentu, więc druga strona słyszy cię jako ciebie od pierwszego zdania, a nie dopiero po rozgrzewce. Pod spodem to ta sama synteza zero-shot, tylko z lepszym punktem startu; rozgrzewka na żywo nadal dopracowuje głos w trakcie rozmowy.

Nagranie przechodzi kontrolę, zanim zostanie zapisane. Musi to być od 3 do 10 sekund wyraźnej mowy (tyle wynosi okno wejściowe syntezatora): jeśli jest zbyt ciche, przesterowane, w większości złożone z ciszy albo zagłuszone hałasem w tle, karta podpowie, co poprawić, i poprosi o kolejne podejście. Liczby wybrano jako frazę z praktycznego powodu: są krótkie, rozpoznawalne we wszystkich 23 językach, a silnik może potwierdzić, że usłyszał wszystkie dziesięć, co zamienia pytanie „czy to nagranie się udało?” w widoczne „tak”.

Dwie próbki głosu, dwa okresy życia

To część, o którą zespół ds. bezpieczeństwa lub prawny pyta od razu, więc opisujemy ją wprost. Są dwie różne próbki i żyją inaczej.

Próbka na żywo używana do rozgrzewki w trakcie spotkania jest ulotna. Istnieje tylko na czas sesji konferencji, na potrzeby głosowania tłumaczenia, i nie jest nigdzie przechowywana. Mind API i SDK, które obsługują sesję w czasie rzeczywistym, nie zachowują żadnych danych; wszystko, co tymczasowe, znika wraz z końcem sesji konferencji.

Zapisana próbka z Settings jest przechowywana przy twoim koncie, w jednym celu: jest wysyłana do silnika tłumaczeń za każdym razem, gdy dołączasz do spotkania, żeby twoją przetłumaczoną mowę dało się nią zagłosować, i do niczego więcej. Zostaje, dopóki nie naciśniesz Remove na karcie, co natychmiast przywraca standardową rozgrzewkę, a razem z kontem jest usuwana. Goście nie mogą jej nagrać; to funkcja dla zalogowanych, z założenia.

Warto precyzyjnie powiedzieć, czym żadna z tych próbek nie jest: nie jest jedną z funkcji nagrywania w InterMIND. Nagrywanie obrazu i dźwięku spotkania to osobna, świadoma czynność, którą wykonujesz celowo, z własnymi ustawieniami. Próbka głosu to wejście dla syntezatora mowy: przejściowe w przypadku próbki na żywo, a w przypadku zapisanej — to ty decydujesz, czy ją zachować, czy usunąć.

Dlaczego nikt inny tego nie oferuje

Nie chodzi o to, że klonowanie głosu to tajemnica. Chodzi o to, że robienie tego na żywo, dla każdego uczestnika osobno, w obie strony, w tempie rozmowy, w 23 językach, bez przechowywania czegokolwiek, o co nie prosiłeś, to inny problem niż klonowanie głosu offline do podcastu.

Duże platformy optymalizują tłumaczenie pod kątem pokrycia napisami i jednego bezpiecznego głosu lektora — to tania, solidna wartość domyślna w dużej skali. Zachowanie głosu każdego mówcy oznacza, że etap syntezy musi śledzić każdego uczestnika niezależnie i mieścić się w tym samym budżecie opóźnień, w jakim działa reszta potoku. Silnik głosu zbudowaliśmy sami, na własnej infrastrukturze, i dlatego to my decydujemy o tym kompromisie. (Więcej o tym, dlaczego silnik to nasz własny kod: What one InterMIND meeting is built from.)

Dokąd to zmierza: lip-sync

Zachowanie twojego głosu to połowa większego celu. Druga połowa to twoja twarz.

Teraz słyszysz rozmówcę jego własnym głosem, ale jeśli jest włączona kamera, jego usta wciąż poruszają się do słów, które faktycznie wypowiedział — w języku, którego nie czytasz. Następny krok to lip-sync: dopasowanie ruchu ust mówiącego do przetłumaczonego dźwięku, tak aby na twoim ekranie wyglądał, jakby mówił w twoim języku.

Złóż te dwie rzeczy razem, a cały sens tej pracy staje się jasny. Dwie osoby, które nie mają wspólnego języka, siedzą po dwóch stronach połączenia wideo i widzą oraz słyszą się nawzajem tak, jakby każda była rodzimym użytkownikiem języka drugiej — ten sam głos, ta sama twarz, bez tłumacza pośrodku, bez robota czytającego scenariusz.

Żeby było jasne, jaki jest stan rzeczy: głos działa już dziś; lip-sync jest w planach, jeszcze nie został wdrożony. Mówimy o celu, bo to dlatego prace nad głosem mają sens — tłumaczenie własnym głosem nie jest funkcją samą w sobie, to pierwsza połowa hasła „rozmawiaj z każdym, w dowolnym języku, jako ty sam”.

Gdzie tego posłuchać

Tłumaczenie własnym głosem działa już dziś, we wszystkich 23 językach głosowych — tych samych, które wymienia dokumentacja. Nie trzeba niczego osobno włączać: gdy w spotkaniu jest włączone tłumaczenie, uczestnicy automatycznie słyszą się nawzajem własnymi głosami. Powiemy uczciwie, na jakim jesteśmy etapie: dziś głos jest już rozpoznawalnie twój, a podobieństwo to coś, co aktywnie staramy się zwiększać. Posłuchaj i oceń sam.

Wypróbuj demo — uruchamia potok głosowy na żywo na twoim dźwięku w dowolnym z 23 języków.
Zobacz wyniki jakości — ten sam produkcyjny potok, oceniany co miesiąc na FLORES-200, z pełnym rozkładem wyników opublikowanym dla każdej pary językowej.
Nagraj próbkę swojego głosu — po zalogowaniu, jedno nagranie liczb od jednego do dziesięciu, i słychać cię jako ciebie od pierwszego zdania.
Jak to działa — w dokumentacji — krótka wersja tego wpisu.
Zobacz to obok napisów i przeszukiwalnej transkrypcji — jak te trzy elementy zachowują się razem w jednym spotkaniu.

Przetłumaczone spotkanie powinno brzmieć tak, jakby rozmawiali ze sobą ludzie, którzy faktycznie w nim są. Zachowanie twojego głosu to droga, która do tego prowadzi.