Vì sao cách quảng bá chất lượng dịch thuật đang đi sai hướng, và chúng tôi công bố điều gì thay thế

Hãy mở trang web của bất kỳ nhà cung cấp dịch trực tiếp nào. Bạn sẽ thấy những kiểu con số quen thuộc:

• "Hơn 200 ngôn ngữ"
• "Hơn 6.000 cặp ngôn ngữ"
• "Đầu tiên trên thế giới" / "Độ chính xác cao nhất"
• "Chính xác 99%"

Giờ hãy thử tìm, trên bất kỳ trang nào trong số đó, xem những con số ấy có ý nghĩa gì với cuộc họp bạn sắp tổ chức. Chất lượng theo từng ngôn ngữ. Phương pháp có thể tái lập. Cỡ mẫu. Điểm số theo thời gian. Công khai thẳng thắn những chỗ mô hình còn yếu.

Bạn sẽ không tìm thấy. Không có trong nội dung quảng bá, và hiếm khi có trong tài liệu kỹ thuật.

Đây là trạng thái cân bằng của cả ngành. Nó tồn tại vì ba lý do:

1. Hầu hết nhà cung cấp không sở hữu engine dịch của mình. Họ định tuyến qua OpenAI, Google, DeepL, Microsoft hoặc một sự kết hợp nào đó. Công bố dữ liệu chất lượng theo từng cặp đồng nghĩa với việc đo chuẩn mô hình của người khác, và điều đó không có giá trị quảng bá gì.
2. Dữ liệu chất lượng trung thực rất khó đưa lên biển quảng cáo. Một điểm số đơn lẻ có nhiễu. Một phân bố hữu ích hơn nhưng khó nén gọn hơn. Một last-six-months trend còn hữu ích hơn nữa, và còn khó hơn nữa.
3. Bộ phận mua sắm chưa phản đối. Người mua chấp nhận các con số quảng bá theo mặt chữ, nên trạng thái cân bằng được giữ nguyên.

Trạng thái cân bằng này sẽ không kéo dài. Nhóm người mua tiếp theo, gồm dược phẩm, pháp lý, tài chính, kiểm toán, khu vực công, sẽ đặt ra những câu hỏi khó hơn nhiều so với "có bao nhiêu ngôn ngữ". Chúng tôi xây dựng /benchmark vì tin rằng họ không nên phải tin lời nhà cung cấp một cách mặc nhiên.

Những con số quảng bá không cho bạn biết điều gì

"Hơn 200 ngôn ngữ" nghĩa là nhà cung cấp có một mô hình xuất ra văn bản ở 200 ngôn ngữ. Chất lượng giữa các ngôn ngữ đó dao động từ mức sẵn sàng cho môi trường production ở các cặp chính (EN↔DE, EN↔ES, EN↔FR) đến gần như không dùng được ở các cặp ít tài nguyên. Nếu không có bảng phân tích theo từng cặp, bạn không thể biết cuộc họp của mình rơi vào phía nào của ranh giới đó.

"Hơn 6.000 cặp ngôn ngữ" là phép tổ hợp N × N trên 80 ngôn ngữ nguồn. Tuyên bố hỗ trợ 6.000 cặp là phần dễ. Còn khẳng định một cặp cụ thể đủ tốt cho một buổi rà soát CAPA, một cuộc đàm phán hợp đồng hay một buổi họp công bố kết quả kinh doanh thì không có trong tờ giới thiệu.

"Chính xác 99%", nếu không nêu rõ đã đo cái gì, so với tham chiếu nào, trên mẫu nào, bằng judge nào, thì là một câu không có nội dung. Chất lượng dịch thuật không có một đại lượng vô hướng chung. Nó là một phân bố phụ thuộc vào cặp ngôn ngữ, lĩnh vực nội dung, chất lượng âm thanh (với giọng nói), ngân sách độ trễ, và việc "đủ tốt" nghĩa là gì trong từng trường hợp sử dụng cụ thể.

Người mua thực sự cần biết điều gì

Những câu hỏi mà người chủ trì nên đặt ra trước khi tin tưởng một cặp ngôn ngữ cho cuộc gọi với khách hàng:

1. Chất lượng theo từng cặp — cặp này hoạt động thế nào trên DE↔EN, EN↔AR, JA↔KO, cụ thể là từng cặp?
2. Cỡ mẫu — con số bạn báo cáo dựa trên bao nhiêu lượt chạy? Mười? Mười nghìn?
3. Phương pháp — ai chấm các bản dịch, so với tham chiếu nào, theo thang tiêu chí nào?
4. Phân bố, không phải trung bình — 10% trường hợp tệ nhất trông thế nào? 10% tốt nhất? Trung vị?
5. Biến động theo thời gian — một cặp nào đó đã tốt lên hay tệ đi kể từ lần gần nhất bạn công bố điểm?
6. Điều bạn không đo — benchmark của bạn rõ ràng không nắm bắt điều gì?

Không câu nào trong số này không thể trả lời. Chỉ là chúng không nằm trên trang quảng bá của bất kỳ ai.

Chúng tôi công bố điều gì

/benchmark là câu trả lời của chúng tôi. Phương pháp luận nằm tại /benchmark/methodology, được viết từ trước khi chúng tôi biết bạn sẽ đọc bài này.

Có ba điểm khiến nó khác với chuẩn mực của ngành.

1. Lưu lượng thực, không phải bộ kiểm thử được chọn lọc

Mọi điểm số trong benchmark công khai đều đến từ một lượt chạy thử /demo thực tế. Chúng tôi không chọn trước những cặp cho kết quả tốt. Cùng một pipeline phục vụ bản demo của người mua cũng chính là pipeline được đo.

2. Judge được nêu tên

Chính: google/gemini-3.5-flash. Dự phòng: anthropic/claude-sonnet-5. Cả hai đều qua Vercel AI Gateway. Judge là một phần của phương pháp luận và được công bố đích danh. Khi chúng tôi đổi judge (chúng tôi đã đổi, vì các mô hình bị ngừng), các dòng dữ liệu lịch sử vẫn mang tên judge thực sự đã chấm chúng; điểm cũ không bao giờ bị chấm lại một cách âm thầm.

3. Phân bố mới là dữ liệu, không phải giá trị trung bình

Mỗi dòng được công bố đều hiển thị trung vị, p10, p90, min, max và cỡ mẫu, chứ không phải một con số duy nhất. Một con số duy nhất cho một cặp dịch chỉ là nhiễu. Hình dạng của phân bố mới là tín hiệu.

Những thực hành mà ngành chưa áp dụng

• Các cặp điểm thấp không bị giấu. Chỉ mục công khai được lọc theo ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, nhưng bất kỳ ai cũng có thể liên kết trực tiếp tới bất kỳ cặp nào và xem số liệu thật, kể cả những cặp đang làm không tốt trong tháng này.
• Các vấn đề đã biết đều được ghi lại. Khi bộ kiểm thử chat bị hỏng trong vài tuần hồi đầu năm 2026, giai đoạn đó bị loại khỏi chỉ mục và được ghi chú bằng văn bản trên trang phương pháp luận. Lịch sử không bị viết lại một cách âm thầm.
• Những điều chúng tôi cố ý KHÔNG tuyên bố là cả một mục riêng trên trang phương pháp luận. Chúng tôi nói rõ judge LLM tự nó chưa hoàn hảo ở chỗ nào. Chúng tôi nói rõ những gì mình không đo (độ trễ, chi phí, mức độ hài lòng của người dùng, lỗi phía ASR trước cả khi bước dịch chạy). Chúng tôi cũng công khai rằng các bài smoke test tự động của chính mình là một phần của lưu lượng.

Bộ lọc cho lần đánh giá nhà cung cấp tiếp theo

Nếu bạn đang đánh giá bất kỳ nền tảng họp đa ngôn ngữ nào, của chúng tôi hay của bên khác, thì phương pháp luận là trang đáng đọc. Bản thân các con số chỉ là phần dễ.

Một bộ lọc thực tế cho bất kỳ nhà cung cấp nào trong ngành này:

• Yêu cầu dữ liệu chất lượng theo từng cặp ngôn ngữ, theo từng tháng, trên lưu lượng thực. Không phải benchmark được chọn lọc. Không phải số liệu tổng hợp.
• Hỏi judge của họ là gì, họ rõ ràng không đo điều gì, và điều gì đã thay đổi trong sáu tháng qua.
• Hỏi chuyện gì xảy ra khi điểm của một cặp giảm — họ có báo cho ai không, hay âm thầm sửa?

Nếu nhà cung cấp có đủ cả ba câu trả lời bằng văn bản, hãy đánh giá họ nghiêm túc. Nếu không, bạn đang mua quảng bá, chứ không phải chất lượng dịch thuật.

Tự mình thử

• Dùng thử bản demo trực tiếp — chạy pipeline dịch production trên âm thanh của bạn, chấm điểm bằng chính judge đang chấm benchmark công khai, rồi cho bạn xem kết quả.
• Xem benchmark — mọi cặp ngôn ngữ đã công bố, mọi tháng, kèm đầy đủ phân bố.
• Đọc phương pháp luận — các con số được tính thế nào, bao gồm những gì, không bao gồm những gì.

Bạn sẽ không cần phải tin lời chúng tôi về bất kỳ điều gì trong đó. Đó chính là mục đích.

Nguồn: các mã định danh judge, ngưỡng lọc và quy tắc loại trừ nêu trên đã được đối chiếu với mã nguồn đã phát hành và được công bố tại /benchmark/methodology; các judge được phục vụ qua Vercel AI Gateway; các tuyên bố quảng bá được trích ở đầu bài là cách diễn đạt điển hình của ngành, không phải trích dẫn của một nhà cung cấp cụ thể; kiểm tra tháng 8 năm 2026.