Snakk med din egen stemme – på et språk du ikke snakker

Her er den delen av sanntidsoversettelse som nesten alle tar feil av, og som nesten ingen snakker om: stemmen du hører.

Du kan ha utmerket talegjenkjenning og utmerket oversettelse, og likevel ende opp med et møte som føles som en maskin som leser opp en liste. Det siste leddet, der den oversatte teksten gjøres om til lyd, er nemlig stedet der de fleste verktøy i det stille bytter ut deg med én og samme generiske, syntetiske forteller. Åtte personer i rommet, én robotstemme til alle sammen. Du mister hvem som snakker, vektleggingen og personligheten. Det er forståelig, men ikke en samtale.

InterMIND gjør det siste leddet annerledes. Når du snakker, hører de andre deltakerne oversettelsen med en stemme som er gjenkjennelig din – med din klangfarge og din måte å snakke på – som nå sier ordene på deres språk. Det er ikke et feilfritt imitat ennå. Poenget er at det er deg og ikke en standardforteller, og det blir stadig bedre. Dette fungerer for alle deltakere, i begge retninger, samtidig.

Dette innlegget er det manglende kapittelet i Inside the four translation pipelines that run InterMIND: den artikkelen forklarte hvordan lyd blir til oversatt lyd. Denne handler om hvem sin stemme som kommer ut i andre enden.

Standarden alle leverer, og hvorfor den er flat

Hvis du har brukt direkteoversettelse i en av de store møteplattformene, kjenner du lyden. En nøytral stemme med jevnt tempo leser opp oversettelsen. Det er den samme stemmen enten taleren er sjefen din som åpner et allmøte eller en kollega som tuller. Teknologien under er tekst-til-tale med én fast stemmemodell, og forutsetningen i designet er at forståelighet er nok.

I et ekte møte er det ikke nok. Halvparten av det et møte formidler, er hvem som sier noe og hvordan. Tar du bort stemmen, har du gjort en diskusjon om til en transkripsjon som tilfeldigvis leses opp. Folk slutter å reagere på hverandre og begynner å vente på tur.

Hva InterMIND gjør i stedet

Oversettelsen kjører som en kaskadepipeline – tre spesialiserte trinn etter hverandre, i stedet for én modell som prøver å gjøre alt. De to første trinnene er beskrevet i innlegget om pipelinene. Stemmetrinnet er det dette innlegget handler om:

ASR – talegjenkjenning. Ordene dine transkriberes på ditt eget språk mens du snakker, på vår egen motor – mediaserveren som bærer samtalen (Mind API, OVH France) – slik at oversettelsen kan starte før setningen er ferdig.
MT – oversettelse. Transkripsjonen grupperes i stabile setningsfragmenter – ledd – slik at oversettelsen kan begynne før du har sagt ferdig setningen, og hvert fragment oversettes fortløpende til lytterens språk.
Zero-shot TTS – stemmesyntese. Hvert oversatte fragment leses opp med en prøve av din egen stemme og strømmes til lytteren.

Det er det tredje trinnet – ASR → MT → zero-shot TTS – som skaper effekten. «Zero-shot» betyr at systemet ikke trenger noen forhåndsinnspilt registrering eller opplæringsøkt for stemmen din. Det modellerer stemmen din ut fra lyden fra møtet du allerede er i.

Oppvarmingen: hvordan det så raskt begynner å høres ut som deg

Det ligger et høne-og-egg-problem skjult i «bruk en prøve av din egen stemme». helt i starten av en samtale har ikke systemet hørt nok av deg til å modellere stemmen din godt.

InterMIND løser dette med en gradvis oppvarming:

De første 5–10 sekundene omtrent, mens systemet fortsatt samler nok av talen din, syntetiseres hvert oversatte fragment med lydfragmentet som tilsvarer det du nettopp sa på kildespråket. Stemmen forankres i din faktiske, umiddelbare tale.
Når det finnes en lang nok prøve – altså ved 5–10-sekundersmerket – låser systemet seg til den og bruker den til å gi stemme til alt som kommer etterpå.

I praksis hører du ikke at noe skifter. Oversettelsen høres mer ut som deg etter hvert som samtalen kommer i gang – ikke en perfekt kopi av stemmen din, men tydelig din og ikke en maskins, og den blir bedre jo mer modellen hører. Kombinasjonen av gradvis oversettelse (ledd for ledd, ikke setning for setning) og gradvis stemmegjengivelse er det som holder helheten innenfor forsinkelsesbudsjettet og samtidig får det til å høres menneskelig ut.

Ta opp stemmen din én gang, og hopp over oppvarmingen

Oppvarmingen over er det som skjer som standard, uten at noe er satt opp. Siden september 2026 finnes det en valgfri vei til for påloggede brukere: en lagret stemmeprøve i Settings → Your voice in translation.

Å ta den opp er én handling. Trykk Record my voice, vent på Speak now, og si tallene fra én til ti i hvilken som helst rekkefølge. Hvert tall lyser opp på kortet når talemotoren hører det. Når alle ti lyser, kontrolleres og lagres prøven av seg selv. Det er ingenting å spille av eller bekrefte, og ingen nedtelling: kortet beholder den delen av opptaket ditt som inneholder tallene. Et stille rom og et headset gir best resultat.

Det den lagrede prøven endrer: fra ditt neste møte bruker syntesen den til å gi oversettelsen din stemme fra det første fragmentet, slik at den andre siden hører deg som deg fra første setning i stedet for etter oppvarmingen. Under panseret er det den samme zero-shot-synteseen, men med et bedre utgangspunkt. Den levende oppvarmingen finjusterer fortsatt stemmen mens samtalen pågår.

Opptaket kontrolleres før det lagres. Det må være 3 til 10 sekunder med tydelig tale (synteseverktøyets inndatavindu). Er det for stille, tydelig klippet, mest stillhet eller druknet i bakgrunnsstøy, forteller kortet deg hva som må rettes og ber om et nytt opptak. Tall ble valgt som frase av en praktisk grunn: de er korte, gjenkjennelige på alle de 23 språkene, og motoren kan bekrefte at den hørte alle ti, noe som gjør «fungerte opptaket?» om til et synlig ja.

To stemmeprøver, to levetider

Dette er delen et sikkerhets- eller juridisk team spør om med en gang, så her er den helt rett fram. Det finnes to ulike prøver, og de lever ulikt.

Den levende prøven som brukes til oppvarmingen under møtet, er flyktig. Den finnes bare under selve konferanseøkten, for å gi oversettelsen stemme, og lagres ingen steder. Mind API og SDK-en som driver sanntidsøkten, beholder ingen data. Alt midlertidig forsvinner når konferanseøkten avsluttes.

Den lagrede prøven fra Settings lagres sammen med kontoen din, til ett formål: den sendes til oversettelsesmotoren hver gang du blir med i et møte, slik at den oversatte talen din kan gis stemme med den, og til ingenting annet. Den blir liggende til du trykker Remove på kortet, noe som umiddelbart tar deg tilbake til standard oppvarming, og den slettes sammen med kontoen din. Gjester kan ikke ta opp en slik prøve. Det er med hensikt en funksjon for påloggede brukere.

Det er verdt å være presis på hva ingen av prøvene er: ingen av dem er en av InterMINDs opptaksfunksjoner. Å ta opp video og lyd fra et møte er en egen, bevisst handling du gjør med vilje, med egne kontroller. En stemmeprøve er et innspill til talesyntesen: flyktig i det levende tilfellet, og din å beholde eller slette i det lagrede.

Hvorfor ingen andre leverer dette

Det er ikke slik at stemmekloning er en hemmelighet. Det er at å gjøre det live, per deltaker, i begge retninger, i samtaletempo, på tvers av 23 språk, uten å lagre noe du ikke ba om er et annet problem enn å klone en stemme offline til en podkast.

De store plattformene optimaliserer oversettelsen sin for tekstingsdekning og én trygg forteller-stemme – det er den billige, robuste standarden i stor skala. Å beholde hver talers egen stemme betyr at synteseleddet må følge hver deltaker uavhengig og holde seg innenfor det samme forsinkelsesbudsjettet som resten av pipelinen lever under. Vi bygde stemmemotoren selv, på vår egen infrastruktur, og det er det som gjør at den avveiningen er vår å ta. (Mer om hvorfor motoren er vår egen kode: What one InterMIND meeting is built from.)

Dit dette er på vei: lip-sync

Å beholde stemmen din er den ene halvdelen av et større mål. Den andre halvdelen er ansiktet ditt.

Akkurat nå hører du den andre personen med sin egen stemme, men hvis vedkommende er på kamera, beveger leppene seg fortsatt etter ordene som faktisk ble sagt – på et språk du ikke leser. Neste steg er lip-sync: å tidsjustere talerens munnbevegelser etter den oversatte lyden, slik at personen på skjermen din ser ut til å snakke ditt språk.

Sett de to sammen, og hele poenget med dette arbeidet trer fram. To personer som ikke deler noe felles språk, sitter overfor hverandre i en videosamtale og ser og hører hverandre som om begge var morsmålsbrukere av den andres språk – samme stemme, samme ansikt, ingen tolk imellom, ingen robot som leser opp et manus.

For å være tydelige på status: stemmen er live i dag, lip-sync står på veikartet og er ikke lansert. Vi peker på målet fordi det er grunnen til at stemmearbeidet betyr noe – oversettelse med egen stemme er ikke selve funksjonen, det er første halvdel av «snakk med hvem som helst, på hvilket som helst språk, som deg selv.»

Der du kan høre det

Oversettelse med egen stemme er live i dag, på alle 23 stemmespråk – de samme språkene som er oppført i dokumentasjonen. Det er ingenting som må slås på separat: når oversettelse er aktivert i et møte, hører deltakerne automatisk hverandre med sine egne stemmer. Vi er ærlige om hvor det står: i dag er stemmen allerede gjenkjennelig din, og likheten er noe vi aktivt jobber for å få enda tettere. Gå og lytt, og døm selv.

Prøv demoen – kjører den levende stemmepipelinen mot lyden din på hvilket som helst av de 23 språkene.
Se kvalitetstallene – den samme produksjonspipelinen, målt hver måned mot FLORES-200, med hele fordelingen publisert per språkpar.
Ta opp stemmeprøven din – pålogget, ett opptak av tallene én til ti, og du får din egen stemme fra første setning.
Slik fungerer det, i dokumentasjonen – kortversjonen av dette innlegget.
Se det ved siden av teksting og et søkbart transkript – hvordan de tre delene fungerer sammen i ett møte.