AI 번역 품질 벤치마크

지원 언어가 계속 늘어나기 때문입니다. 제품에 추가하는 모든 언어는 주간 벤치마크 실행에 포함되고, 게시 기준을 충족하는 즉시 지수에 반영됩니다. 그런데 새 언어는 1년 동안 튜닝해 온 언어 쌍 수준에서 시작하는 경우가 드뭅니다. 대표 수치는 해당 분기에 게시된 모든 언어 쌍의 중앙값이므로, 기존 언어 쌍이 모두 유지되거나 향상되더라도 신규 언어가 한꺼번에 들어오면 수치가 내려갑니다. 이후 신규 언어 쌍을 튜닝하면서 점수가 오르고 지수도 회복됩니다. 특정 언어의 발전 상황을 보려면 아래에서 해당 언어 쌍 페이지를 여세요. 그 추이는 다른 어떤 것에도 희석되지 않습니다.

각 테스트는 참조 텍스트(채팅)를 보내거나 참조 오디오 파일(음성)을 재생하여, 제품이 사용하는 것과 동일한 라이브 파이프라인에 통과시킵니다. 그런 다음 LLM 평가자가 기준이 되는 참조 번역과 비교해 출력을 0~100점으로 채점합니다. 점수는 구간으로 나뉩니다. 90 이상은 우수, 70–89는 양호, 50–69는 보통, 50 미만은 미흡입니다. 음성 인식과 평가자 모두 노이즈가 있어 한 번의 실행은 수십 점씩 달라질 수 있으므로, 단일 수치가 아니라 한 달간의 중앙값과 범위로 언어 쌍을 판단하세요.

음성은 음성 인식과 번역을 합친 엔드투엔드 단일 점수입니다. 채팅은 입력한 텍스트만 번역한 점수입니다. 인식 오류는 음성 점수에 반영되므로 음성 쌍은 평균적으로 점수가 낮게 나오며, 게시 기준선도 채팅의 60에 비해 45로 더 낮습니다. 팀이 주로 글로 입력한다면 채팅 수치를, 주로 말로 소통한다면 음성 수치를 참고하세요.

아니요. 이 벤치마크는 합성 데이터 기반입니다. 자동화된 테스트 스위트가 매주 고정된 FLORES-200 기준 세트를 파이프라인에 통과시키며, 이것이 이 수치의 유일한 출처입니다. 데모에서 사용자가 진행한 세션은 점수에 반영되거나 벤치마크에 저장되지 않으며, 고객님의 미팅 역시 벤치마크에 사용되지 않습니다.

위 표에서 해당 언어 쌍의 페이지를 열면 월별 중앙값, 범위, 표본 크기와 월별 추이를 확인할 수 있습니다. 직접 가진 자료로 확인해 보려면 테스트 환경을 열어 보세요. 벤치마크가 실행되는 것과 동일한 2분할 구성이며, 사용하시는 언어로 말하거나 입력하면 됩니다. 자동으로 시작되는 것은 없으며 저장되는 것도 없습니다. 목록에 없는 언어 쌍은 아직 게시 기준선을 넘지 못했거나 제품에 아직 추가되지 않은 것입니다. 점수가 낮은 언어 쌍도 직접 링크로 접근할 수 있으며, 저희는 이를 숨기지 않습니다.