Nói bằng chính giọng của bạn — trong một ngôn ngữ bạn không nói

Đây là phần của dịch thuật thời gian thực mà gần như ai cũng làm chưa tốt, và hầu như không ai nhắc đến: giọng nói mà bạn nghe thấy.

Bạn có thể có nhận dạng giọng nói xuất sắc và bản dịch xuất sắc, nhưng cuộc họp vẫn nghe như một cỗ máy đang đọc danh sách. Bước cuối cùng, biến văn bản đã dịch trở lại thành âm thanh, là lúc hầu hết các công cụ lặng lẽ thay bạn bằng một người dẫn tổng hợp chung chung duy nhất. Tám người trong phòng, một giọng robot cho tất cả. Bạn mất đi việc biết ai đang nói, mất cả cách nhấn nhá lẫn cá tính. Nghe thì hiểu được, nhưng không còn là một cuộc trò chuyện.

InterMIND làm bước cuối này theo cách khác. Khi bạn nói, những người tham gia khác nghe bản dịch bằng một giọng nhận ra được là của bạn, mang âm sắc và cách nói của bạn, giờ đây nói những lời ấy bằng ngôn ngữ của họ. Đó chưa phải là một bản bắt chước hoàn hảo; điều quan trọng là đó là bạn chứ không phải một người dẫn có sẵn, và nó đang tốt dần lên. Điều này áp dụng cho mọi người tham gia, ở cả hai chiều, cùng một lúc.

Bài viết này là chương còn thiếu của Bên trong bốn pipeline dịch thuật vận hành InterMIND: bài đó giải thích âm thanh trở thành âm thanh đã dịch như thế nào. Bài này nói về giọng của ai phát ra ở đầu bên kia.

Mặc định mà ai cũng cung cấp, và vì sao nó phẳng lặng

Nếu bạn từng dùng dịch trực tiếp trên các nền tảng họp lớn, bạn biết âm thanh đó. Một giọng trung tính, nhịp đều đều đọc bản dịch. Đó là cùng một giọng, dù người nói là CEO của bạn đang khai mạc buổi họp toàn công ty hay một đồng nghiệp đang pha trò. Công nghệ bên dưới là chuyển văn bản thành giọng nói với một mô hình giọng cố định, và giả định thiết kế là chỉ cần nghe hiểu được là đủ.

Trong một cuộc họp thực tế thì chưa đủ. Một nửa những gì cuộc họp truyền đạt nằm ở việc ai nói và nói như thế nào. Bỏ đi giọng nói, bạn biến một cuộc thảo luận thành một bản ghi lời thoại tình cờ được đọc thành tiếng. Mọi người thôi phản ứng với nhau và chỉ còn chờ đến lượt mình.

InterMIND làm gì thay vào đó

Bản dịch chạy theo một pipeline nối tầng: ba giai đoạn chuyên biệt nối tiếp nhau, thay vì một mô hình cố gắng làm tất cả. Hai giai đoạn đầu được trình bày trong bài về các pipeline; giai đoạn giọng nói là chủ đề của bài này:

1. ASR — nhận dạng giọng nói. Lời của bạn được chép lại bằng chính ngôn ngữ của bạn, ngay khi bạn nói, trên engine của chúng tôi, tức máy chủ media mang cuộc gọi (Mind API, OVH Pháp), nên việc dịch có thể bắt đầu trước khi câu nói kết thúc.
2. MT — dịch thuật. Bản chép lời được gom thành các đoạn câu ổn định, gọi là mệnh đề, để việc dịch có thể bắt đầu trước khi bạn nói xong câu, và mỗi đoạn được dịch dần dần sang ngôn ngữ của người nghe.
3. Zero-shot TTS — tổng hợp giọng nói. Mỗi đoạn đã dịch được đọc lại bằng một mẫu giọng của chính bạn, rồi truyền đến người nghe.

Chính giai đoạn thứ ba này, trong chuỗi ASR → MT → zero-shot TTS, tạo nên hiệu ứng đó. "Zero-shot" nghĩa là hệ thống không cần bản thu đăng ký trước hay một buổi huấn luyện cho giọng của bạn. Nó mô hình hóa giọng của bạn từ âm thanh của chính cuộc họp bạn đang tham gia.

Giai đoạn khởi động: vì sao giọng nghe giống bạn nhanh đến thế

Có một vấn đề con gà và quả trứng ẩn trong câu "dùng một mẫu giọng của chính bạn". Ngay lúc bắt đầu cuộc gọi, hệ thống chưa nghe đủ về bạn để mô hình hóa giọng của bạn cho tốt.

InterMIND xử lý việc này bằng một giai đoạn khởi động tăng dần:

• Trong khoảng 5–10 giây đầu tiên, khi hệ thống còn đang thu thập đủ lời nói của bạn, mỗi đoạn đã dịch được tổng hợp bằng đoạn âm thanh khớp với những gì bạn vừa nói bằng ngôn ngữ gốc. Giọng được neo vào lời nói thật, tức thời của bạn.
• Khi đã có một mẫu đủ dài, tức mốc 5–10 giây đó, hệ thống khóa vào mẫu ấy và dùng nó để tạo giọng cho mọi thứ về sau.

Trên thực tế, bạn không nghe thấy một cú chuyển đổi nào. Bản dịch nghe càng giống bạn khi cuộc trò chuyện đi vào guồng. Đó không phải bản sao hoàn hảo giọng của bạn, nhưng rõ ràng là của bạn chứ không phải của máy, và tốt dần lên khi mô hình nghe được nhiều hơn. Sự kết hợp giữa dịch tăng dần (từng mệnh đề, chứ không phải từng câu) và tạo giọng tăng dần là điều giữ cho toàn bộ quy trình nằm trong ngưỡng độ trễ cho phép mà vẫn nghe như người thật.

Thu giọng một lần, bỏ qua giai đoạn khởi động

Giai đoạn khởi động ở trên là những gì diễn ra theo mặc định, không cần thiết lập gì. Từ tháng 9 năm 2026 có thêm một lối đi thứ hai, tùy chọn, dành cho người dùng đã đăng nhập: một mẫu giọng đã lưu trong Settings → Your voice in translation.

Việc thu âm chỉ là một thao tác. Nhấn Record my voice, đợi Speak now, rồi đọc các số từ một đến mười theo thứ tự bất kỳ. Mỗi số sáng lên trên thẻ khi engine giọng nói nghe được nó; khi cả mười số đã sáng, mẫu được kiểm tra và tự động lưu. Không có gì cần nghe lại hay xác nhận, cũng không có đếm ngược: thẻ giữ lại đoạn trong bản thu của bạn có chứa các con số. Một căn phòng yên tĩnh và một chiếc tai nghe cho kết quả tốt nhất.

Mẫu đã lưu thay đổi điều gì: từ cuộc họp tiếp theo của bạn, bộ tổng hợp giọng dùng nó để tạo giọng cho bản dịch của bạn ngay từ đoạn đầu tiên, nên phía bên kia nghe thấy bạn là bạn ngay từ câu đầu tiên thay vì sau giai đoạn khởi động. Về bản chất, đó vẫn là tổng hợp zero-shot nhưng với điểm xuất phát tốt hơn; giai đoạn khởi động trực tiếp vẫn tiếp tục tinh chỉnh giọng trong suốt cuộc gọi.

Bản thu được kiểm tra trước khi lưu. Nó phải có 3 đến 10 giây lời nói rõ ràng (cửa sổ đầu vào của bộ tổng hợp giọng): nếu quá nhỏ, bị vỡ tiếng, phần lớn là im lặng hoặc bị chìm trong tạp âm nền, thẻ sẽ cho bạn biết cần sửa gì và yêu cầu thu lại. Các con số được chọn làm câu đọc vì một lý do thực tế: chúng ngắn, dễ nhận ra trong cả 23 ngôn ngữ, và engine có thể xác nhận đã nghe đủ cả mười số, biến câu hỏi "bản thu có dùng được không?" thành một câu trả lời "có" nhìn thấy được.

Hai mẫu giọng, hai vòng đời

Đây là phần mà đội bảo mật hoặc pháp chế sẽ hỏi ngay, nên xin nói rõ ràng. Có hai mẫu khác nhau, và chúng tồn tại theo những cách khác nhau.

Mẫu trực tiếp dùng cho giai đoạn khởi động trong cuộc họp là tạm thời. Nó chỉ tồn tại trong phiên hội nghị trực tiếp, để phục vụ việc tạo giọng cho bản dịch, và không được lưu ở bất cứ đâu. Mind API và SDK vận hành phiên thời gian thực không giữ lại dữ liệu nào; mọi thứ tạm thời đều mất đi khi phiên hội nghị kết thúc.

Mẫu đã lưu từ Settings được lưu cùng tài khoản của bạn, cho một mục đích duy nhất: nó được gửi đến engine dịch mỗi lần bạn tham gia một cuộc họp để lời nói đã dịch của bạn có thể được tạo giọng bằng nó, và không dùng cho việc gì khác. Nó được giữ cho đến khi bạn nhấn Remove trên thẻ, thao tác này đưa bạn trở lại giai đoạn khởi động tiêu chuẩn ngay lập tức, và nó bị xóa cùng với tài khoản của bạn. Khách không thể thu mẫu; đây là tính năng dành cho người dùng đã đăng nhập theo chủ đích thiết kế.

Cần nói chính xác rằng không mẫu nào trong hai mẫu này là một trong các tính năng ghi hình của InterMIND. Ghi lại video và âm thanh của một cuộc họp là một hành động riêng, có chủ đích mà bạn chủ động thực hiện, với các điều khiển riêng. Một mẫu giọng là đầu vào cho bộ tổng hợp giọng nói: tạm thời trong trường hợp trực tiếp, và do bạn quyết định giữ hay xóa trong trường hợp đã lưu.

Vì sao chưa ai khác cung cấp điều này

Không phải việc nhân bản giọng nói là một bí mật. Vấn đề là làm điều đó trực tiếp, cho từng người tham gia, ở cả hai chiều, theo nhịp hội thoại, trên 23 ngôn ngữ, mà không lưu gì bạn chưa yêu cầu là một bài toán khác với việc nhân bản giọng nói ngoại tuyến cho một podcast.

Các nền tảng lớn tối ưu bản dịch của họ cho độ phủ phụ đề và một giọng dẫn an toàn duy nhất, đó là mặc định rẻ và vững chắc ở quy mô lớn. Giữ giọng riêng của từng người nói nghĩa là giai đoạn tổng hợp phải theo dõi từng người tham gia một cách độc lập và vẫn nằm trong cùng ngưỡng độ trễ mà phần còn lại của pipeline tuân theo. Chúng tôi tự xây dựng engine giọng nói, trên hạ tầng của chính mình, nên chúng tôi là bên quyết định sự đánh đổi đó. (Tìm hiểu thêm về lý do engine là mã nguồn của chính chúng tôi: Một cuộc họp InterMIND được xây dựng từ những gì.)

Hướng đi tiếp theo: đồng bộ khẩu hình

Giữ lại giọng của bạn là một nửa của một mục tiêu lớn hơn. Nửa còn lại là khuôn mặt của bạn.

Hiện giờ bạn nghe người kia bằng giọng của chính họ, nhưng nếu họ bật camera, môi họ vẫn cử động theo những lời họ thực sự đã nói, bằng một ngôn ngữ bạn không đọc được. Bước tiếp theo là đồng bộ khẩu hình: chỉnh lại thời gian chuyển động miệng của người nói cho khớp với âm thanh đã dịch, để trên màn hình của bạn, họ trông như đang nói ngôn ngữ của bạn.

Đặt cả hai lại với nhau và toàn bộ ý nghĩa của công việc này hiện rõ. Hai người không có chung ngôn ngữ nào ngồi đối diện nhau trong một cuộc gọi video, nhìn và nghe nhau như thể mỗi người là người bản ngữ của ngôn ngữ của người kia: cùng giọng, cùng khuôn mặt, không có thông dịch viên ở giữa, không có robot đọc kịch bản.

Để nói rõ về tình trạng hiện tại: giọng nói đã hoạt động ngay hôm nay; đồng bộ khẩu hình nằm trong lộ trình, chưa được phát hành. Chúng tôi nêu rõ đích đến vì đó là lý do công việc về giọng nói quan trọng: dịch bằng giọng của chính mình không phải là tính năng, mà là nửa đầu của "trò chuyện với bất kỳ ai, bằng bất kỳ ngôn ngữ nào, là chính mình."

Nghe thử ở đâu

Dịch bằng giọng của chính bạn đã hoạt động ngay hôm nay, trên cả 23 ngôn ngữ giọng nói, chính là các ngôn ngữ được liệt kê trong tài liệu. Không cần bật riêng gì cả: khi dịch được bật trong một cuộc họp, người tham gia tự động nghe nhau bằng giọng của chính mình. Chúng tôi xin nói thẳng về hiện trạng: hôm nay giọng nói đã nhận ra được là bạn, và mức độ giống đó là điều chúng tôi đang tích cực đẩy lại gần hơn. Hãy nghe thử và tự đánh giá.

• Dùng thử bản demo — chạy pipeline giọng nói trực tiếp trên âm thanh của bạn, bằng bất kỳ ngôn ngữ nào trong 23 ngôn ngữ.
• Xem các số liệu chất lượng — cùng pipeline production đó, được chấm điểm hằng tháng theo FLORES-200, với toàn bộ phân bố được công bố cho từng cặp ngôn ngữ.
• Thu mẫu giọng của bạn — khi đã đăng nhập, một lần đọc các số từ một đến mười, và bạn được tạo giọng là chính mình ngay từ câu đầu tiên.
• Cách hoạt động, trong tài liệu — phiên bản ngắn gọn của bài viết này.
• Xem nó cùng với phụ đề và bản ghi lời thoại có thể tìm kiếm — ba phần này hoạt động cùng nhau thế nào trong một cuộc họp.

Một cuộc họp được dịch nên mang lại cảm giác như chính những người đang ở trong đó nói chuyện với nhau. Giữ lại giọng của bạn là cách để đến được đó.