あなた自身の声
あなた自身の声
InterMINDがあなたの発言を他の参加者向けに翻訳する際、参加者が耳にするのは、機械的で無機質な音声合成によるナレーションではありません。それは明らかにあなた自身の声であり、あなたの音色や話し方を保ったまま、今あなたの言葉が彼らの言語で話されているのです。
これは双方向で機能し、各参加者に対して独立して働きます。5人が5つの異なる言語を話すミーティングでも、全員が他の4人の発言を自分自身の言語で聞くことができ、かつその4人が発している声はそれぞれ本人の声のまま聞こえます。
どのように聞こえるか
ほとんどのリアルタイム翻訳ツールは、話し手の声を単一の汎用合成音声に置き換えます。その結果、意味は通じても平坦なものになり、誰が話しているのか、強調ポイントや個性が失われてしまいます。InterMINDは話し手の声を保持するため、翻訳されたミーティングは、機械が読み上げるアナウンスの羅列ではなく、実際に参加している人々同士の会話として感じられます。
仕組み
InterMINDはカスケード型パイプラインを採用しており、音声ステップはその最終段階です。
- 音声認識 — あなたが話すと同時に、発言内容があなた自身の言語で文字起こしされます。
- セグメンテーション — 文が終わる前に翻訳を始められるよう、文字起こしされたテキストは安定した文のまとまり（節）ごとにグループ化されます。
- 翻訳 — 各フラグメントがリスナーの言語へ段階的に翻訳されます。
- 音声合成 — 各フラグメントはあなた自身の音声のサンプルを使って話され、リスナーに送信されます。
ミーティング中、あなたの音声をモデル化するための十分な発言データが蓄積されるまでは（最初の5〜10秒程度）、音声合成には、ソース言語であなたが発したばかりの内容に一致する音声フラグメントが使用されます。十分な長さのサンプルが確保できると、その後のすべてにおいてそのサンプルを使用するように切り替わります。実際には切り替えに気づくことはありません。通話が進むにつれて、翻訳音声はますますあなた自身の声に近づいていきます。あなたの声の完璧な模倣ではありませんが、汎用的なナレーションではなく明らかにあなた自身の声であり、モデルがあなたの音声を多く聞くにつれて改善され続けます。
言語
あなた自身の声での翻訳は、全23種類の音声言語で利用可能です。言語の選択に記載されているセットと同じです。別途有効にする必要はありません。翻訳がオンのとき、参加者は自動的にあなた自身の声であなたの発言を聞くことができます。
保存済み音声サンプル（オプション）
サインイン済みのユーザーは、Settings → Your voice in translationで一度音声サンプルを録音することで、音声のウォームアップを省略できるようになります：Record my voiceを押し、1から10までの数字を任意の順序で発音すると、10個すべてが点灯した時点でサンプルが自動的に保存されます。次回のミーティングからは、最初の文からその音声サンプルを使ってあなたの翻訳された発言が生成されます。
プライバシー
2つのサンプル、2つのライフサイクル。ミーティング中のウォームアップで使用されるライブサンプルは一時的なものであり、ライブミーティングの期間中のみ存在し、どこにも保存されません。リアルタイムセッションを支えるMind APIおよびSDKは、カンファレンスセッションが終了した時点でデータを一切保持しません。Settingsから保存する保存済みサンプルは、あなたの翻訳された発声に音声をあてるという目的のためだけにアカウントに保存され、ミーティングに参加するたびに翻訳エンジンに送信され、あなたがそれを削除するかアカウントを削除した瞬間に消去されます。どちらも、InterMINDのビデオおよび音声の録画機能の一部ではなく、それらはあなたが意図的に開始する別個かつ明示的な記録です。
ロードマップ：リップシンク
あなた自身の声で翻訳を聞くことは、より大きな目標に向けた前半のステップです。次に向けて取り組んでいるのはリップシンクです。翻訳された音声に合わせて、カメラ上の話し手の口の動きのタイミングを再調整し、各参加者が相手の言語を話しているように見せます。あなた自身の声での翻訳と組み合わせることで、共通の言語を持たない人々同士が、お互いの言語を母国語のように話しているのを見聞きできる通話を目指しています。
これはロードマップの項目であり、まだ出荷済みの機能ではありません。上記のあなた自身の声による翻訳は、本日よりご利用いただけます。