การแปลด้วย AI คุณภาพ เบนช์มาร์ก

เพราะจำนวนภาษาเพิ่มขึ้นอย่างต่อเนื่อง ทุกภาษาที่เราเพิ่มเข้ามาในผลิตภัณฑ์จะเข้าสู่การทดสอบเบนช์มาร์กรายสัปดาห์ และเข้าสู่ดัชนีทันทีที่ผ่านเกณฑ์ขั้นต่ำในการเผยแพร่ และภาษาใหม่แทบไม่เคยเริ่มต้นที่ระดับเดียวกับคู่ภาษาที่เราปรับแต่งมาตลอดปี ตัวเลขหลักคือค่ามัธยฐานของทุกคู่ภาษาที่เผยแพร่ในไตรมาสนั้น ดังนั้นภาษาใหม่จำนวนหนึ่งจึงดึงค่าลง แม้ว่าทุกคู่ภาษาเดิมจะคงที่หรือดีขึ้นก็ตาม จากนั้นคู่ภาษาใหม่จะดีขึ้นเมื่อเราปรับแต่ง และดัชนีก็จะฟื้นตัว หากต้องการดูความก้าวหน้าของภาษาใดภาษาหนึ่ง ให้เปิดหน้าคู่ภาษาของภาษานั้นด้านล่าง เพราะแนวโน้มนั้นไม่ถูกเจือจางด้วยปัจจัยอื่นใด

การทดสอบแต่ละครั้งจะส่งข้อความอ้างอิง (แชท) หรือเล่นไฟล์เสียงอ้างอิง (เสียง) ผ่านไปป์ไลน์สดเดียวกับที่ผลิตภัณฑ์ใช้งานจริง และ LLM ผู้ตัดสินจะให้คะแนนผลลัพธ์ตั้งแต่ 0 ถึง 100 เทียบกับคำแปลอ้างอิงมาตรฐาน คะแนนแบ่งเป็นระดับ ได้แก่ 90 ขึ้นไปคือดีเยี่ยม 70–89 ดี 50–69 พอใช้ ต่ำกว่า 50 อ่อน การทดสอบครั้งเดียวอาจแกว่งได้หลายสิบคะแนน เพราะทั้งการรู้จำเสียงพูดและผู้ตัดสินต่างก็มีความคลาดเคลื่อน ดังนั้นควรประเมินคู่ภาษาจากค่ามัธยฐานและช่วงตลอดทั้งเดือน ไม่ใช่จากตัวเลขเพียงค่าเดียว

เสียงเป็นคะแนนเดียวแบบครบวงจร ได้แก่ การรู้จำเสียงพูดและการแปล ส่วนแชทคือการแปลข้อความที่พิมพ์เพียงอย่างเดียว ข้อผิดพลาดจากการรู้จำเสียงจะถูกนับรวมในคะแนนเสียง ดังนั้นคู่ภาษาด้านเสียงจึงมีค่าเฉลี่ยต่ำกว่าและมีเกณฑ์ขั้นต่ำในการเผยแพร่ต่ำกว่า คือ 45 เทียบกับ 60 สำหรับแชท หากทีมของคุณส่วนใหญ่พิมพ์ ให้ดูตัวเลขของแชท แต่หากส่วนใหญ่พูด ให้ดูตัวเลขของเสียง

ไม่ใช่ เบนช์มาร์กนี้เป็นข้อมูลสังเคราะห์ ชุดทดสอบอัตโนมัติของเราจะเล่นชุดอ้างอิง FLORES-200 ที่คงที่ผ่านไปป์ไลน์ทุกสัปดาห์ และนั่นคือแหล่งที่มาเพียงแหล่งเดียวของตัวเลขเหล่านี้ เซสชันที่ผู้ใช้รันในเดโมจะไม่ถูกนำมาให้คะแนนหรือบันทึกลงในเบนช์มาร์ก และการประชุมของคุณจะไม่ถูกนำมาใช้เพื่อเบนช์มาร์กนี้เลย

เปิดหน้าของคู่ภาษานั้นจากตารางด้านบน หน้านี้แสดงค่ามัธยฐาน ช่วง และขนาดตัวอย่างรายเดือน รวมถึงแนวโน้มตลอดหลายเดือน หากต้องการตรวจสอบกับเนื้อหาของคุณเอง ให้เปิดชุดทดสอบ ซึ่งเป็นการตั้งค่าแบบสองหน้าต่างเดียวกับที่เบนช์มาร์กใช้รัน แล้วพูดหรือพิมพ์เป็นภาษาของคุณ ระบบจะไม่เริ่มทำงานเอง และไม่มีการบันทึกใดๆ หากไม่พบคู่ภาษาในรายการ แสดงว่ายังไม่ผ่านเกณฑ์ขั้นต่ำในการเผยแพร่ หรือยังไม่มีในผลิตภัณฑ์ คะแนนต่ำยังเข้าถึงได้ผ่านลิงก์โดยตรง เราไม่ซ่อนคะแนนเหล่านั้น