내 목소리 그대로 — 내가 모르는 언어로 말하세요

실시간 번역에서 거의 모두가 놓치고, 거의 아무도 이야기하지 않는 부분이 있습니다. 바로 당신이 듣게 되는 목소리입니다.

음성 인식이 훌륭하고 번역도 훌륭한데, 회의는 기계가 목록을 읽어 주는 것처럼 느껴질 수 있습니다. 번역된 텍스트를 다시 소리로 바꾸는 마지막 단계에서, 대부분의 도구가 조용히 당신을 하나의 범용 합성 내레이터로 바꿔 버리기 때문입니다. 방에 여덟 명이 있어도 모두에게 로봇 목소리 하나뿐입니다. 누가 말하는지, 어디에 강세를 두는지, 그 사람의 개성이 사라집니다. 알아들을 수는 있어도 대화는 아닙니다.

InterMIND는 이 마지막 단계를 다르게 처리합니다. 당신이 말하면 다른 참가자들은 당신이라고 알아볼 수 있는 목소리, 즉 당신의 음색과 말투를 담은 목소리로 번역을 듣습니다. 같은 내용을 그들의 언어로 말하는 것입니다. 아직 완벽한 흉내는 아닙니다. 중요한 것은 기성 내레이터가 아니라 당신이라는 점이며, 계속 나아지고 있습니다. 이 기능은 모든 참가자에게 양방향으로, 동시에 작동합니다.

이 글은 InterMIND를 움직이는 네 가지 번역 파이프라인 내부의 빠져 있던 장입니다. 그 글이 오디오가 어떻게 번역된 오디오가 되는지를 설명했다면, 이 글은 그 끝에서 누구의 목소리가 나오는지를 다룹니다.

모두가 기본으로 내놓는 방식, 그리고 그것이 밋밋한 이유

주요 회의 플랫폼에서 실시간 번역을 써 보셨다면 그 소리를 아실 겁니다. 중립적이고 속도가 일정한 목소리가 번역문을 읽습니다. 화자가 타운홀을 여는 CEO든 농담을 던지는 동료든 똑같은 목소리입니다. 기반 기술은 고정된 음성 모델 하나를 쓰는 텍스트 음성 변환(TTS)이며, 알아들을 수만 있으면 충분하다는 것이 설계상의 가정입니다.

실제 회의에서는 그렇지 않습니다. 회의에서 전달되는 내용의 절반은 누가, 어떻게 말하는가에 있습니다. 목소리를 걷어 내면 토론은 어쩌다 소리 내어 읽히는 녹취록이 되어 버립니다. 사람들은 서로에게 반응하지 않고 자기 차례만 기다리게 됩니다.

InterMIND는 대신 이렇게 합니다

번역은 캐스케이드 파이프라인으로 실행됩니다. 하나의 모델이 모든 것을 처리하는 대신, 전문화된 세 단계가 순서대로 이어집니다. 앞의 두 단계는 파이프라인 글에서 다뤘고, 이 글의 주제는 음성 단계입니다.

1. ASR — 음성 인식. 당신이 말하는 대로 당신의 언어로 받아 적습니다. 통화를 전달하는 미디어 서버(Mind API, OVH France), 곧 자체 엔진에서 처리하므로 문장이 끝나기 전에 번역을 시작할 수 있습니다.
2. MT — 번역. 녹취록을 안정적인 문장 조각, 즉 절(clause) 단위로 묶습니다. 그래서 문장을 끝내기 전에 번역을 시작할 수 있고, 각 조각은 듣는 사람의 언어로 점진적으로 번역됩니다.
3. 제로샷 TTS — 음성 합성. 번역된 각 조각을 당신 자신의 음성 샘플을 사용해 다시 말하고, 이를 듣는 사람에게 스트리밍합니다.

이런 효과를 만드는 것은 세 번째 단계, 즉 ASR → MT → 제로샷 TTS입니다. "제로샷"은 시스템에 사전 녹음이나 음성 학습 과정(등록)이 필요 없다는 뜻입니다. 지금 참여 중인 회의의 오디오로 당신의 목소리를 모델링합니다.

워밍업: 어떻게 그렇게 빨리 당신처럼 들리기 시작하는가

"자신의 음성 샘플을 사용한다"에는 닭이 먼저냐 달걀이 먼저냐 하는 문제가 숨어 있습니다. 통화를 막 시작한 시점에는 시스템이 당신의 목소리를 잘 모델링할 만큼 아직 충분히 듣지 못했습니다.

InterMIND는 이 문제를 점진적 워밍업으로 해결합니다.

• 처음 약 5~10초 동안은 충분한 음성을 모으는 중이므로, 번역된 각 조각을 원래 언어로 당신이 방금 한 말에 해당하는 오디오 조각으로 합성합니다. 음성 합성이 당신의 실제 즉시 발화에 고정되는 셈입니다.
• 충분히 긴 샘플이 확보되면, 즉 5~10초 지점에 이르면 시스템이 그 샘플을 기준으로 고정하고 이후의 모든 발화에 사용합니다.

실제로는 전환되는 순간이 들리지 않습니다. 대화가 이어질수록 번역이 점점 당신처럼 들립니다. 당신 목소리의 완벽한 복제는 아니지만, 기계가 아니라 분명히 당신의 목소리이며, 모델이 더 많이 들을수록 나아집니다. 문장 단위가 아니라 절 단위의 점진적 번역과 점진적 음성 합성이 결합되어, 사람다운 소리를 유지하면서도 전체가 지연 시간 예산 안에 들어옵니다.

목소리를 한 번 녹음하면 워밍업을 건너뜁니다

위의 워밍업은 아무 설정 없이 기본으로 일어나는 과정입니다. 2026년 9월부터는 로그인한 사용자를 위한 선택형 두 번째 경로가 생겼습니다. Settings → Your voice in translation에서 저장된 음성 샘플을 쓰는 방법입니다.

녹음은 한 번의 동작이면 됩니다. Record my voice를 누르고 Speak now가 나타나면 1부터 10까지의 숫자를 순서와 상관없이 말하세요. 음성 엔진이 숫자를 인식할 때마다 카드에서 해당 숫자에 불이 들어오고, 열 개가 모두 켜지면 샘플이 확인되어 자동으로 저장됩니다. 다시 재생하거나 확인할 것도, 카운트다운도 없습니다. 카드는 녹음 중 숫자가 담긴 구간을 보관합니다. 조용한 공간에서 헤드셋을 쓰면 결과가 가장 좋습니다.

저장된 샘플이 바꾸는 것은 다음과 같습니다. 다음 회의부터 합성기가 첫 번째 조각부터 그 샘플로 당신의 번역을 음성화하므로, 상대는 워밍업 이후가 아니라 첫 문장부터 당신의 목소리로 듣게 됩니다. 내부적으로는 같은 제로샷 합성에 더 나은 출발점을 준 것이며, 통화가 진행되는 동안에도 라이브 워밍업이 계속 음성을 다듬습니다.

녹음본은 저장되기 전에 검증을 거칩니다. 명확한 음성이 3~10초(합성기의 입력 구간) 담겨야 합니다. 소리가 너무 작거나, 깨졌거나, 대부분 무음이거나, 배경 소음에 묻혀 있으면 카드가 무엇을 고쳐야 하는지 알려 주고 다시 녹음하도록 요청합니다. 문구로 숫자를 택한 데는 현실적인 이유가 있습니다. 숫자는 짧고, 23개 언어 모두에서 알아보기 쉬우며, 엔진이 열 개를 모두 들었는지 확인할 수 있기 때문입니다. 덕분에 "녹음이 제대로 됐을까?"라는 의문이 눈에 보이는 "예"로 바뀝니다.

두 가지 음성 샘플, 두 가지 수명

보안팀이나 법무팀이 곧바로 묻는 부분이므로 분명하게 설명하겠습니다. 샘플은 두 종류이며, 보관되는 방식이 서로 다릅니다.

회의 중 워밍업에 쓰이는 라이브 샘플은 일시적입니다. 라이브 회의 세션 동안, 번역을 음성화하는 용도로만 존재하며 어디에도 저장되지 않습니다. 실시간 세션을 구동하는 Mind API와 SDK는 어떤 데이터도 보관하지 않으며, 임시 데이터는 모두 회의 세션이 끝나면 사라집니다.

설정에서 만든 저장된 샘플은 한 가지 목적을 위해 계정에 저장됩니다. 회의에 참여할 때마다 번역 엔진으로 전송되어 번역된 발화를 그 샘플로 음성화하는 데에만 쓰이고, 다른 용도로는 쓰이지 않습니다. 카드에서 Remove를 누를 때까지 유지되며, 누르면 즉시 표준 워밍업으로 돌아갑니다. 계정을 삭제하면 함께 삭제됩니다. 게스트는 샘플을 녹음할 수 없습니다. 설계상 로그인한 사용자를 위한 기능입니다.

두 샘플 모두 무엇이 아닌지도 정확히 짚어 둘 필요가 있습니다. 둘 다 InterMIND의 녹화 기능이 아닙니다. 회의의 영상과 오디오를 녹화하는 것은 별도의 기능이며, 자체 제어 수단을 갖춘 채 사용자가 의도해서 하는 행동입니다. 음성 샘플은 음성 합성기의 입력일 뿐입니다. 라이브 샘플은 일시적이고, 저장된 샘플은 보관할지 삭제할지를 당신이 정합니다.

다른 곳은 왜 이것을 제공하지 않는가

음성 복제가 비밀 기술이라서가 아닙니다. 팟캐스트용으로 오프라인에서 목소리를 복제하는 것과 달리, 라이브로, 참가자별로, 양방향으로, 대화 속도에 맞춰, 23개 언어에 걸쳐, 요청하지 않은 것은 아무것도 저장하지 않고 해내는 것은 전혀 다른 문제입니다.

대형 플랫폼은 자막 커버리지와 하나의 안전한 내레이터 목소리에 맞춰 번역을 최적화합니다. 대규모에서는 그것이 저렴하고 안정적인 기본값이기 때문입니다. 화자 각자의 목소리를 유지하려면 합성 단계가 모든 참가자를 독립적으로 추적하면서, 나머지 파이프라인이 따르는 것과 같은 지연 시간 예산 안에 머물러야 합니다. 저희는 음성 엔진을 직접, 자체 인프라 위에 구축했으며, 그래서 이 같은 절충을 스스로 결정할 수 있습니다. (엔진이 왜 자체 코드인지는 InterMIND 회의 하나는 무엇으로 만들어지는가에서 더 다룹니다.)

앞으로의 방향: 립싱크

당신의 목소리를 유지하는 것은 더 큰 목표의 절반입니다. 나머지 절반은 당신의 얼굴입니다.

지금은 상대의 말을 그 사람 자신의 목소리로 듣지만, 카메라를 켜 두면 입술은 여전히 그 사람이 실제로 한 말, 곧 당신이 읽지 못하는 언어에 맞춰 움직입니다. 다음 단계는 립싱크입니다. 화자의 입 모양을 번역된 오디오에 맞춰 다시 조정해, 화면 속 상대가 당신의 언어로 말하는 것처럼 보이게 하는 것입니다.

이 둘을 합치면 이 작업의 목적이 또렷해집니다. 공통 언어가 없는 두 사람이 화상 통화로 마주 앉아, 마치 서로의 언어를 모국어로 쓰는 사람처럼 보고 듣습니다. 같은 목소리, 같은 얼굴이며, 중간에 통역사도, 대본을 읽는 로봇도 없습니다.

현재 상태를 분명히 하자면, 음성은 오늘 제공되고 있으며, 립싱크는 로드맵에 있고 아직 제공되지 않습니다. 목적지를 밝히는 이유는 그것이 음성 작업이 중요한 이유이기 때문입니다. 내 목소리 번역은 기능 자체가 아니라 "누구와도, 어떤 언어로든, 나 자신으로서 대화한다"의 전반부입니다.

직접 들어 보기

내 목소리 번역은 오늘부터 23개 음성 언어 전체에서 제공됩니다. 문서에 나열된 것과 같은 언어입니다. 따로 켤 것은 없습니다. 회의에서 번역이 활성화되어 있으면 참가자들이 자동으로 서로의 목소리로 듣게 됩니다. 현재 수준은 솔직하게 말씀드리겠습니다. 지금의 목소리도 이미 당신이라고 알아볼 수 있으며, 닮은 정도는 저희가 적극적으로 더 끌어올리고 있습니다. 직접 들어 보고 판단해 보세요.

• 데모 체험하기 — 23개 언어 중 원하는 언어로 당신의 오디오에 라이브 음성 파이프라인을 실행합니다.
• 품질 수치 보기 — 동일한 프로덕션 파이프라인을 매월 FLORES-200으로 평가하며, 언어 쌍별 전체 분포를 공개합니다.
• 내 음성 샘플 녹음하기 — 로그인한 상태에서 1부터 10까지의 숫자를 한 번 녹음하면, 첫 문장부터 당신의 목소리로 전달됩니다.
• 문서에서 작동 방식 보기 — 이 글의 요약판입니다.
• 자막, 검색 가능한 녹취록과 함께 보기 — 세 가지 요소가 하나의 회의에서 어떻게 함께 동작하는지 설명합니다.

번역된 회의는 그 자리에 실제로 있는 사람들이 서로 이야기하는 것처럼 느껴져야 합니다. 당신의 목소리를 지키는 것이 그곳에 이르는 길입니다.