あなた自身の声
あなた自身の声
InterMINDが他の参加者のためにあなたの発言を翻訳する際、彼らが聞くのは機械的でロボットのようなテキスト読み上げのナレーションではありません。彼らが聞くのは間違いなくあなた自身のもの、つまりあなたの音色や話し方を反映した声が、今度は彼らの言語で言葉を発しているのです。
これは双方向で機能し、かつ各参加者に対して独立して機能します。5人が5つの異なる言語を話すミーティングでは、各人が他の4人の発言を自分の言語で聞くことになりますが、その4人の声はそれぞれ本人たちの声のままです。
どのような音声になるか
ほとんどのライブ翻訳ツールは、話し手を単一の汎用合成音声に置き換えます。その結果、意味は通じますが単調になり、誰が話しているのか、発言の強調点や個性が失われてしまいます。InterMINDは話し手の声を保持するため、翻訳されたミーティングは機械が読み上げるアナウンスの羅列ではなく、実際にその場にいる人々同士の会話として感じられます。
仕組み
InterMINDはカスケード型パイプラインを採用しており、音声化のステップは最終段階となります：
- 音声認識 — あなたの言葉は、話している最中にあなた自身の言語で文字起こしされます。
- セグメンテーション — 文を完了する前に翻訳を開始できるよう、文字起こしされたテキストは安定した文の断片（節）にグループ化されます。
- 翻訳 — 各断片は、リスナーの言語へと段階的に翻訳されます。
- 音声合成 — 翻訳された各断片はあなた自身の声のサンプルを使用して音声化され、リスナーに送信されます。
システムがあなたの声をモデル化するのに十分な発話データを収集している間（最初の5～10秒程度）、合成にはソース言語であなたが発した内容に一致する音声断片が使用されます。十分な長さのサンプルが蓄積されると、それ以降のすべての音声化にそのサンプルを使用するよう切り替わります。実際には切り替わりを意識することはありません。通話が進むにつれて、翻訳音声はますますあなた自身の声に近づいていくからです。完璧なあなたの声の模倣ではありませんが、汎用のナレーターではなく明らかにあなた自身の声であり、モデルがあなたの声を多く聞くほど品質が向上していきます。
言語
あなた自身の声による翻訳は、24のすべての音声言語で利用可能です。対象となる言語は言語の選択に記載されているものと同じです。個別に有効化する必要はありません。翻訳がオンになっていれば、参加者は自動的にあなた自身の声であなたの発言を聞くことができます。
プライバシー
合成に使用される音声サンプルは一時的なものです。これはライブミーティングの期間中のみ存在し、どこにも保存されません。リアルタイムセッションを支えるMind APIおよびSDKは、会議セッションが終了した時点でデータを一切保持しません。この音声サンプルは、InterMINDのビデオおよび音声の録画機能とは無関係です。録画機能は、ユーザーが意図的に開始する、独立した明示的な機能です。
ロードマップ：リップシンク
翻訳をあなた自身の声で聞くことは、より大きな目標の前半部分にすぎません。私たちが次に取り組んでいるのはリップシンクです。これは、翻訳された音声に合わせてカメラ上の話し手の口の動きを再タイミング調整し、各参加者が相手の言語を話しているように見せる技術です。自身の声による翻訳と組み合わせることで、共通の言語を持たない人々が、まるで相手の言語をネイティブで話しているかのように見え、聞こえる通話を目指しています。
これはロードマップ上の項目であり、まだ実装された機能ではありません。上記の自身の声による翻訳は、現在すでにご利用いただけます。