Spreek met je eigen stem, in een taal die je niet spreekt

Hier is het onderdeel van realtimevertaling dat bijna iedereen verkeerd aanpakt en waar bijna niemand het over heeft: de stem die je hoort.

Je kunt uitstekende spraakherkenning en uitstekende vertaling hebben en toch een meeting krijgen die aanvoelt als een machine die een lijstje voorleest. De laatste stap, de vertaalde tekst weer omzetten in geluid, is namelijk waar de meeste tools jou stilletjes vervangen door één generieke synthetische verteller. Acht mensen in de ruimte, één robotstem voor allemaal. Je verliest wie er spreekt, de nadruk en de persoonlijkheid. Verstaanbaar, maar geen gesprek.

InterMIND pakt die laatste stap anders aan. Wanneer jij spreekt, horen de andere deelnemers de vertaling in een stem die herkenbaar de jouwe is. Die draagt je klankkleur en je manier van spreken en zegt nu dezelfde woorden in hun taal. Het is nog geen foutloze imitatie. Waar het om gaat is dat jij het bent en geen standaardverteller, en het wordt steeds beter. Dit werkt voor elke deelnemer, in beide richtingen, tegelijkertijd.

Deze post is het ontbrekende hoofdstuk bij Inside the four translation pipelines that run InterMIND. Dat stuk legde uit hoe audio vertaalde audio wordt. Dit stuk gaat over wiens stem er aan de andere kant uit komt.

De standaard die iedereen levert, en waarom die plat klinkt

Als je live vertaling hebt gebruikt in een van de grote meetingplatforms, ken je het geluid. Een neutrale stem met een gelijkmatig tempo leest de vertaling voor. Het is dezelfde stem of de spreker nu je CEO is die een town hall opent of een collega die een grap maakt. De technologie eronder is text-to-speech met één vast stemmodel, en de aanname achter het ontwerp is dat verstaanbaarheid genoeg is.

In een echte meeting is dat niet zo. De helft van wat een meeting overbrengt, is wie iets zegt en hoe. Haal de stem weg en je hebt van een discussie een transcript gemaakt dat toevallig hardop wordt uitgesproken. Mensen reageren niet meer op elkaar en gaan op hun beurt wachten.

Wat InterMIND in plaats daarvan doet

De vertaling draait als een cascaded pipeline: drie gespecialiseerde fasen na elkaar, in plaats van één model dat alles probeert te doen. De eerste twee fasen worden behandeld in de pipelines-post. De stemfase is waar deze post over gaat:

ASR: spraakherkenning. Je woorden worden getranscribeerd in je eigen taal, terwijl je spreekt, op onze eigen engine: de mediaserver die het gesprek draagt (Mind API, OVH Frankrijk). Zo kan de vertaling beginnen voordat de zin is afgelopen.
MT: vertaling. Het transcript wordt gegroepeerd in stabiele zinsfragmenten, clauses, zodat de vertaling kan beginnen voordat je je zin hebt afgemaakt. Elk fragment wordt progressief vertaald naar de taal van de luisteraar.
Zero-shot TTS: stemsynthese. Elk vertaald fragment wordt uitgesproken met een sample van je eigen stem en gestreamd naar de luisteraar.

Die derde fase, ASR → MT → zero-shot TTS, zorgt voor het effect. "Zero-shot" betekent dat het systeem geen vooraf opgenomen inschrijving of trainingssessie voor je stem nodig heeft. Het modelleert je stem op basis van de audio van de meeting waarin je al zit.

De warm-up: hoe het zo snel als jij gaat klinken

Er schuilt een kip-en-eiprobleem in "gebruik een sample van je eigen stem". Aan het allereerste begin van een gesprek heeft het systeem nog niet genoeg van je gehoord om je stem goed te modelleren.

InterMIND lost dit op met een progressieve warm-up:

Gedurende ongeveer de eerste 5–10 seconden, terwijl er nog genoeg van je spraak wordt verzameld, wordt elk vertaald fragment gesynthetiseerd met het audiofragment dat overeenkomt met wat je net in je brontaal hebt gezegd. De stem is verankerd in je echte, directe spraak.
Zodra er een lang genoeg sample is, na die 5–10 seconden, legt het systeem zich daarop vast en gebruikt het dat om alles daarna te laten klinken.

In de praktijk hoor je geen omschakeling. De vertaling gaat meer op jou lijken naarmate het gesprek op gang komt. Het is geen perfecte kopie van je stem, maar wel duidelijk de jouwe en niet die van een machine, en het wordt beter naarmate het model meer hoort. De combinatie van progressieve vertaling (clause voor clause, niet zin voor zin) en progressieve stemsynthese houdt het geheel binnen het latentiebudget en laat het toch menselijk klinken.

Neem je stem één keer op en sla de warm-up over

De warm-up hierboven gebeurt standaard, zonder dat je iets instelt. Sinds september 2026 is er voor ingelogde gebruikers een optioneel tweede pad: een opgeslagen stemsample in Settings → Your voice in translation.

Opnemen is één handeling. Druk op Record my voice, wacht op Speak now en noem de getallen van één tot en met tien in willekeurige volgorde. Elk getal licht op de kaart op zodra de spraakengine het hoort. Als alle tien oplichten, wordt het sample gecontroleerd en automatisch opgeslagen. Er is niets om terug te luisteren of te bevestigen, en er is geen aftelling: de kaart bewaart het stuk van je opname waarin de getallen staan. Een rustige ruimte en een headset geven het beste resultaat.

Wat het opgeslagen sample verandert: vanaf je volgende meeting laat de synthesizer je vertaling ermee klinken, vanaf het eerste fragment. De andere kant hoort je dus vanaf de eerste zin als jezelf, in plaats van na de warm-up. Technisch is het dezelfde zero-shot synthese met een beter beginpunt. De live warm-up blijft de stem verfijnen naarmate het gesprek vordert.

De opname wordt gecontroleerd voordat die wordt opgeslagen. Er moet 3 tot 10 seconden duidelijke spraak in zitten (het invoervenster van de synthesizer). Is de opname te zacht, vervormd, grotendeels stilte of verdronken in achtergrondgeluid, dan vertelt de kaart wat je moet verbeteren en vraagt om een nieuwe opname. Getallen zijn om een praktische reden als zin gekozen: ze zijn kort, herkenbaar in elk van de 23 talen, en de engine kan bevestigen dat ze alle tien zijn gehoord. Zo wordt "is die opname gelukt?" een zichtbaar ja.

Twee stemsamples, twee levensduren

Dit is het onderdeel waar een security- of juridisch team meteen naar vraagt, dus hier is het zonder omweg. Er zijn twee verschillende samples en ze leven op een andere manier.

Het live sample dat wordt gebruikt voor de warm-up tijdens de meeting is vluchtig. Het bestaat alleen voor de live conferentiesessie, ten dienste van de stem van de vertaling, en wordt nergens opgeslagen. De Mind API en SDK die de realtimesessie aandrijven, bewaren geen data. Alles wat tijdelijk is, verdwijnt zodra de conferentiesessie eindigt.

Het opgeslagen sample uit Settings wordt bij je account opgeslagen, voor één doel: het wordt elke keer dat je een meeting binnengaat naar de vertaalengine gestuurd, zodat je vertaalde spraak ermee kan worden ingesproken, en voor niets anders. Het blijft staan tot je op Remove drukt op de kaart, waarna je direct terugkeert naar de standaard warm-up, en het wordt samen met je account verwijderd. Gasten kunnen er geen opnemen; het is een functie voor ingelogde gebruikers, bewust zo ontworpen.

Het is goed om precies te zijn over wat geen van beide samples is: het is geen van de opnamefuncties van InterMIND. Het opnemen van video en audio van een meeting is een aparte, bewuste actie die je met opzet uitvoert, met eigen instellingen. Een stemsample is invoer voor de spraaksynthesizer: vluchtig in het live geval, en in het opgeslagen geval van jou om te bewaren of te verwijderen.

Waarom niemand anders dit levert

Het is niet zo dat stemklonen een geheim is. Maar het live doen, per deelnemer, in beide richtingen, in gesprekstempo, in 23 talen, zonder iets op te slaan waar je niet om hebt gevraagd, is een ander probleem dan een stem offline klonen voor een podcast.

De grote platforms optimaliseren hun vertaling voor dekking met ondertitels en één veilige verteller. Dat is de goedkope, robuuste standaard op schaal. Om de eigen stem van elke spreker te behouden, moet de synthesefase elke deelnemer onafhankelijk volgen en binnen hetzelfde latentiebudget blijven als de rest van de pipeline. Wij hebben de stemengine zelf gebouwd, op onze eigen infrastructuur, en daardoor is het onze keuze om die afweging te maken. (Meer over waarom de engine onze eigen code is: What one InterMIND meeting is built from.)

Waar dit naartoe gaat: lip-sync

Je stem behouden is één helft van een groter doel. De andere helft is je gezicht.

Op dit moment hoor je de ander in hun eigen stem, maar als ze in beeld zijn, bewegen hun lippen nog steeds mee met de woorden die ze echt hebben gezegd, in een taal die jij niet leest. De volgende stap is lip-sync: de mond van de spreker opnieuw timen op de vertaalde audio, zodat ze op jouw scherm jouw taal lijken te spreken.

Zet die twee samen en het hele doel van dit werk wordt duidelijk. Twee mensen die geen gemeenschappelijke taal delen, zitten tegenover elkaar in een videogesprek en zien en horen elkaar alsof ieder een moedertaalspreker van de taal van de ander is: dezelfde stem, hetzelfde gezicht, geen tolk ertussen, geen robot die een script voorleest.

Om duidelijk te zijn over de status: stem is vandaag beschikbaar; lip-sync staat op de roadmap en is nog niet beschikbaar. We benoemen de bestemming omdat die laat zien waarom het stemwerk ertoe doet: vertaling met je eigen stem is niet de functie zelf, het is de eerste helft van "praat met iedereen, in elke taal, als jezelf".

Waar je het kunt horen

Vertaling met je eigen stem is vandaag beschikbaar, in alle 23 stemtalen, dezelfde talen als in de documentatie. Je hoeft niets apart in te schakelen: wanneer vertaling in een meeting aanstaat, horen deelnemers elkaar automatisch in hun eigen stem. We zijn eerlijk over de stand van zaken: de stem is nu al herkenbaar jij, en de gelijkenis proberen we actief verder te verbeteren. Luister zelf en oordeel zelf.

Probeer de demo: draait de live stempipeline op je eigen audio in elk van de 23 talen.
Bekijk de kwaliteitscijfers: dezelfde productiepipeline, maandelijks gescoord op FLORES-200, met de volledige verdeling per taalpaar gepubliceerd.
Neem je stemsample op: ingelogd, één opname van de getallen een tot en met tien, en je klinkt vanaf de eerste zin als jezelf.
Hoe het werkt, in de documentatie: de korte versie van deze post.
Zie het naast ondertitels en een doorzoekbaar transcript: hoe de drie onderdelen samen werken in één meeting.