Benchmark Chất lượng dịch thuật AI

Vì tập hợp ngôn ngữ liên tục mở rộng. Mỗi ngôn ngữ mới được thêm vào sản phẩm sẽ tham gia lượt chạy benchmark hằng tuần và đi vào chỉ số ngay khi vượt ngưỡng công bố — và một ngôn ngữ mới hiếm khi bắt đầu ở mức của một cặp mà chúng tôi đã tinh chỉnh suốt một năm. Con số tổng quát là trung vị của tất cả các cặp đã công bố trong quý, nên một loạt cặp mới sẽ kéo con số này xuống, ngay cả khi mọi cặp đã có vẫn giữ nguyên hoặc cải thiện. Sau đó các cặp mới sẽ tăng dần khi chúng tôi tinh chỉnh, và chỉ số phục hồi. Để xem tiến triển của một ngôn ngữ, hãy mở trang cặp ngôn ngữ của nó bên dưới: xu hướng đó không bị bất kỳ yếu tố nào khác làm loãng.

Mỗi bài kiểm tra gửi một văn bản tham chiếu (chat) hoặc phát một tệp âm thanh tham chiếu (giọng nói) qua cùng pipeline trực tiếp mà sản phẩm sử dụng, và một LLM judge chấm kết quả từ 0 đến 100 so với bản dịch tham chiếu chuẩn. Điểm được chia thành các mức: từ 90 trở lên là xuất sắc, 70–89 là tốt, 50–69 là khá, dưới 50 là yếu. Một lượt chạy đơn lẻ có thể dao động hàng chục điểm vì nhận dạng giọng nói và bộ chấm điểm đều có nhiễu, nên hãy đánh giá một cặp ngôn ngữ theo trung vị và khoảng giá trị trong một tháng, chứ không dựa vào một con số.

Giọng nói là một điểm số từ đầu đến cuối: nhận dạng giọng nói cộng với dịch thuật. Chat chỉ là dịch văn bản được gõ. Lỗi nhận dạng được tính vào điểm giọng nói, nên các cặp ngôn ngữ giọng nói có điểm trung bình thấp hơn và ngưỡng công bố thấp hơn — 45 so với 60 của chat. Nếu nhóm của bạn chủ yếu gõ phím, hãy xem điểm chat; nếu chủ yếu nói, hãy tin vào điểm giọng nói.

Không. Benchmark này là dữ liệu tổng hợp: bộ kiểm thử tự động của chúng tôi chạy một bộ tham chiếu FLORES-200 cố định qua pipeline mỗi tuần, và đó là nguồn duy nhất của các con số này. Các phiên mọi người chạy trên bản demo không được chấm điểm cũng không được lưu vào benchmark, và các cuộc họp của bạn không bao giờ được dùng cho mục đích này.

Mở trang riêng của cặp ngôn ngữ từ bảng ở trên: trang này hiển thị trung vị, khoảng giá trị và cỡ mẫu theo từng tháng, cùng xu hướng qua các tháng. Để kiểm tra trên tài liệu của riêng bạn, hãy mở môi trường thử nghiệm — cùng thiết lập hai khung mà benchmark chạy — rồi nói hoặc gõ bằng ngôn ngữ của bạn; không có gì tự khởi động và không có gì được lưu. Nếu một cặp không có trong danh sách, nghĩa là nó chưa đạt ngưỡng công bố hoặc chưa có trong sản phẩm. Các điểm số thấp vẫn truy cập được qua liên kết trực tiếp; chúng tôi không che giấu chúng.