あなた自身の声で話す — 話せない言語でも

リアルタイム翻訳には、ほとんどの人が見落としていて、ほとんど語られることのない部分があります。耳に届く声です。

音声認識も翻訳も申し分なくても、ミーティングが機械による棒読みのリストのように感じられることはあります。翻訳されたテキストを音に戻す最後のステップで、多くのツールが、話者であるあなたを、汎用の合成ナレーター1人にそっと置き換えてしまうからです。部屋に8人いても、全員が同じロボットの声になります。誰が話しているのか、強調の置き方、その人らしさが失われます。聞き取れはしますが、会話にはなりません。

InterMINDは、この最後のステップを違う形で行います。あなたが話すと、ほかの参加者には、あなたの声質と話し方をそなえたあなたとわかる声で翻訳が届きます。同じ声が、相手の言語でその言葉を話すのです。完璧なものまねというわけではありません。大切なのは、ありきたりのナレーターではなくあなたの声であることで、その精度は日々向上しています。これはすべての参加者に対して、双方向に、同時に働きます。

この記事は、InterMINDを支える4つの翻訳パイプラインの内側の欠けていた章にあたります。あちらでは、音声が翻訳された音声になるまでの仕組みを説明しました。こちらでは、その先から出てくるのが誰の声なのかを扱います。

どこも採用している標準仕様と、それが平板な理由

大手のミーティングプラットフォームでライブ翻訳を使ったことがあれば、あの音をご存じでしょう。抑揚の少ない、一定のペースの声が翻訳を読み上げます。話しているのが町内会ならぬ全社集会を開くCEOでも、冗談を飛ばす同僚でも、同じ声です。裏にある技術は、固定された1つの音声モデルによるテキスト読み上げ(TTS)で、「聞き取れれば十分」という設計思想に立っています。

実際のミーティングでは、それでは足りません。ミーティングで伝わる情報の半分は、誰が、どのように話しているかです。声を取り除けば、議論は、たまたま声に出して読まれている議事録になってしまいます。人は互いに反応しなくなり、自分の順番を待つだけになります。

InterMINDのやり方

翻訳はカスケード型パイプラインで動きます。1つのモデルにすべてを任せるのではなく、専門化された3つのステージを順に通す構成です。最初の2つはパイプラインの記事で説明しています。この記事の主題は音声のステップです。

ASR — 音声認識。 あなたの言葉は、話している最中に、あなた自身の言語で文字起こしされます。処理は通話を運ぶメディアサーバー(Mind API、OVH フランス)という自社エンジンで行われるため、文が終わる前から翻訳を始められます。
MT — 翻訳。 文字起こしは、安定した文の断片(節)にまとめられます。文を言い終える前から翻訳を始められるので、各断片は聞き手の言語へと順次翻訳されます。
ゼロショットTTS — 音声合成。 翻訳された各断片は、あなた自身の声のサンプルを使って読み上げられ、聞き手にストリーミングで届けられます。

この効果を生むのが、3番目のステージ、つまりASR → MT → ゼロショットTTSの流れです。「ゼロショット」とは、あなたの声のために事前の録音登録や学習セッションを必要としない、という意味です。システムは、あなたがいま参加しているミーティングの音声から、あなたの声をモデル化します。

ウォームアップ:すぐにあなたの声になる仕組み

「自分の声のサンプルを使う」という仕組みには、鶏と卵の問題が潜んでいます。通話が始まった直後は、あなたの声をうまくモデル化できるほど、システムはまだあなたの声を聞いていません。

InterMINDは、段階的なウォームアップでこれに対処します。

最初のおよそ5〜10秒間は、十分な音声がまだ集まっていないため、翻訳された各断片を、あなたがいま話した内容に対応する、元の言語の音声断片を使って合成します。声の再現は、あなた自身の、直前の発話に結びつけられます。
十分な長さのサンプルがそろったら(その5〜10秒の時点で)、システムはそれに固定し、以降のすべての発話の声づくりに使います。

実際には、切り替わる瞬間は聞こえません。会話が進むにつれて、翻訳があなたの声に近づいていきます。完全な分身というわけではありませんが、機械の声ではなく明らかにあなたの声で、モデルが聞く量が増えるほど向上します。段階的な翻訳(文単位ではなく節単位)と段階的な音声化を組み合わせることで、人間らしい響きを保ちながら、全体を遅延の許容範囲内に収めています。

声を一度録音して、ウォームアップを省く

上で説明したウォームアップは、何も設定しなくても既定で行われる動作です。2026年9月からは、サインインしているユーザー向けに、任意の2つ目の方法が加わりました。Settings → Your voice in translation にある保存済みの音声サンプルです。

録音は1回の操作で済みます。Record my voice を押し、Speak now が表示されるのを待って、1から10までの数字を好きな順番で言ってください。音声エンジンが聞き取るたびに、カード上の各数字が点灯します。10個すべてが点灯すると、サンプルが検証されて自動的に保存されます。再生して確認する手順も、カウントダウンもありません。カードは、あなたの録音のうち数字を含む区間を保持します。静かな部屋でヘッドセットを使うと、最も良い結果が得られます。

保存済みサンプルで変わるのは次の点です。次回のミーティングから、シンセサイザーは最初の断片からそのサンプルで翻訳の声をつくります。相手は、ウォームアップを待たずに、最初の一文からあなたの声を聞くことになります。内部では同じゼロショット合成を、より良い出発点から始めるだけで、通話が進むあいだのライブウォームアップも引き続き声を磨いていきます。

録音は、保存される前に検査されます。3〜10秒のはっきりした音声(シンセサイザーの入力ウィンドウ)である必要があります。音が小さすぎる、音割れしている、ほとんど無音、背景ノイズに埋もれている場合は、カードが直すべき点を伝え、録り直しを求めます。フレーズに数字を選んだのは実用上の理由からです。数字は短く、23言語のどれでも聞き分けやすく、エンジンが10個すべてを聞き取れたことを確認できます。そのため「録音はうまくいったのか」が、目に見える「はい」に変わります。

2種類の音声サンプル、2通りの寿命

セキュリティ部門や法務部門からすぐに聞かれる部分なので、ここではっきり説明します。音声サンプルは2種類あり、扱われ方が異なります。

ライブサンプルは、ミーティング中のウォームアップに使われる、一時的なものです。ライブのカンファレンスセッションのあいだだけ、翻訳の声づくりのために存在し、どこにも保存されません。リアルタイムセッションを支えるMind APIとSDKはデータを保持せず、一時的なものはすべてカンファレンスセッションの終了とともに消えます。

設定で保存する保存済みサンプルは、アカウントに紐づけて、1つの目的のためだけに保存されます。ミーティングに参加するたびに翻訳エンジンへ送られ、あなたの翻訳音声をその声でつくるために使われ、それ以外には使われません。カード上の Remove を押すまで保持され、押すとすぐに標準のウォームアップに戻ります。アカウントを削除すると、サンプルも一緒に削除されます。ゲストは録音できません。サインイン済みユーザー向けの機能として設計されているからです。

どちらのサンプルも、InterMINDの録画機能の一部ではないことも、正確に押さえておく価値があります。ミーティングの映像と音声を録画するのは、専用の操作で意図的に行う別のアクションです。音声サンプルは、音声シンセサイザーへの入力です。ライブの場合は一時的なもの、保存した場合はあなたが保持するか削除するかを決められるものです。

なぜほかでは提供されていないのか

音声クローン自体は秘密の技術ではありません。ただ、ライブで、参加者ごとに、双方向に、会話のペースで、23言語にわたって、頼んでいないものは何も保存せずに行うことは、ポッドキャスト用に声をオフラインでクローンすることとは別の問題です。

大手プラットフォームは、字幕の網羅性と、無難な1つのナレーター音声に向けて翻訳を最適化しています。大規模に提供するなら、それが安価で堅実な既定です。話者それぞれの声を保つには、合成のステージがすべての参加者を個別に追跡しながら、パイプラインのほかの部分と同じ遅延の許容範囲内に収まらなければなりません。私たちは音声エンジンを自社で、自社のインフラ上に構築しました。だからこそ、そのトレードオフを決める立場にあります。(エンジンが自社のコードである理由については、InterMINDの1回のミーティングは何でできているかをご覧ください。)

今後の方向:リップシンク

自分の声を保つことは、より大きな目標の半分です。もう半分は顔です。

いま、相手の声は相手自身の声で聞こえますが、カメラ映像を見ていると、相手の唇は、実際に話した言葉、つまりあなたが読めない言語に合わせて動いています。次のステップがリップシンクです。話し手の口の動きを翻訳された音声に合わせて調整し、画面上では相手があなたの言語を話しているように見えるようにします。

この2つが合わさると、この取り組みの狙いがはっきりします。共通の言語を持たない2人がビデオ通話で向かい合い、お互いが相手の言語のネイティブスピーカーであるかのように、見て、聞くことができます。声も顔も同じまま、間に通訳はいません。台本を読むロボットもいません。

現状を明確にしておきます。音声は現在利用できますが、リップシンクはロードマップ上にあり、まだ提供していません。 目的地をあえて示すのは、それが音声の取り組みが重要である理由だからです。自分の声での翻訳は、機能そのものではなく、「誰とでも、どの言語でも、自分自身として話す」ことの前半です。

実際に聞いてみる

自分の声での翻訳は、23の音声対応言語すべてで現在利用できます。ドキュメントに掲載されている言語と同じです。別途オンにする設定はありません。ミーティングで翻訳を有効にすると、参加者は自動的にお互いの声で相手の話を聞きます。現状については正直にお伝えします。声はすでに、はっきりあなたとわかるものになっており、さらに近づけるための取り組みを積極的に進めています。ぜひ聞いて、ご自身で判断してください。