InterMIND

방법론

InterMIND 번역 품질 벤치마크는 자체 테스트 스위트가 자동으로 생성합니다. 매주 실행되는 합성 테스트가 공개 /demo를 구동하는 것과 동일한 번역 파이프라인을 고정된 기준 세트에 대해 구동하며, 모든 언어 쌍에 같은 방식으로 적용됩니다. 이 테스트는 합성 방식이며 재현 가능합니다. 여기에는 선별하거나 골라낸 결과가 전혀 없으며, 채점 과정에 사람이 개입하지도 않습니다.

단일 테스트의 진행 방식

테스트는 기준 오디오 파일을 재생하거나(음성 테스트) 기준 텍스트를 전송하여(채팅 테스트), 원본 언어에서 대상 언어로 이어지는 실시간 번역 파이프라인을 거치게 합니다. 생성된 번역문은 LLM 심사 모델이 정답 기준 번역과 비교하여 0~100점으로 채점합니다.

LLM 심사 모델: 기본 google/gemini-3.8-flash, 대체 anthropic/claude-sonnet-5 (Vercel AI Gateway 경유). 모든 언어 쌍에 동일한 프롬프트, 평가 기준표, 기준 텍스트를 사용합니다.

월별 집계 방식

  1. 완료된 모든 전체 벤치마크 실행은 대상 언어별 점수와 함께 demo_test_runs에 기록됩니다. 단일 언어 쌍 미리보기는 제외되며, 전체 다국어 실행만 중앙값 산출에 반영됩니다.
  2. (원본 언어, 대상 언어, 테스트 유형, 주) 조합마다 가장 최근 실행만 남긴 뒤 월 단위로 집계합니다. 따라서 한 주 안에 같은 언어 쌍을 반복 실행하더라도 하나의 소스가 중앙값을 좌우할 수 없습니다.
  3. 중복을 제거한 데이터 세트에서 중앙값, 최솟값, 최댓값, p10, p90, 평균, 표본 크기를 계산합니다.
  4. 개별 점수를 스냅샷으로 저장하므로, 한 달이 마감된 이후에는 원본 실행 기록이 TTL에 따라 삭제되더라도 수치가 그대로 유지됩니다.

언어 쌍이 공개 색인에 표시되는 조건

(언어 쌍 × 테스트 유형 × 월) 행은 최소 표본 크기와 중앙값 점수 하한선을 충족하면 공개 색인과 사이트맵에 포함될 수 있습니다(음성 테스트는 불가피한 ASR 노이즈가 있으므로 하한선이 더 낮습니다). 이 데이터는 다수의 독립적인 방문자가 아니라 단일 자동화 소스에서 나오므로, 합성 데이터에 대해서는 고유 소스 요건을 완화합니다. 표본 크기와 품질 하한선은 그대로 적용됩니다.

기준에 미치지 못한 언어 쌍도 직접 링크로는 계속 접근할 수 있으며, 이 임계값은 검색 엔진에 노출되는 범위만 제한합니다. 직접 요청하는 누구에게도 낮은 점수를 숨기지 않습니다.

우리가 의도적으로 주장하지 않는 것

  • 단일 점수는 신뢰할 수 없습니다. ASR과 LLM 판단 모두 노이즈가 있기 때문에, 잘 작동하는 언어 쌍도 실행마다 점수가 30점까지 달라질 수 있습니다. 그래서 모든 페이지에 단일 수치가 아닌 분포를 표시합니다.
  • LLM 심사 모델 자체도 완벽하지 않습니다. 향후 심사 모델을 교체하거나 이중 심사를 도입할 수 있으며, 그 경우 과거 행에는 심사 모델 식별자가 함께 기록됩니다.
  • 이 벤치마크는 지연 시간, 비용, 가용성, 사용자 만족도를 측정하지 않습니다. 이러한 항목은 다른 곳에서 다룹니다.
  • 데이터 세트는 합성 데이터이며, 독립적인 제3자 트래픽이 아니라 자체 자동화 스위트로 생성한 것입니다. 외부 패널이 있는 것처럼 암시하지 않고 이 점을 명시적으로 밝힙니다.

정직한 공개

특정 언어 쌍의 품질이 한 달 동안 떨어지더라도 그 기록은 그대로 공개됩니다. 버그가 수정되어 다음 달에 점수가 오르면, 그 개선도 같은 페이지에서 확인할 수 있습니다. 과거 집계는 절대 고쳐 쓰지 않습니다. 관리자는 개별 월을 공개 색인에서 숨기는 것만 가능하며, 이미 공개된 수치를 변경할 수는 없습니다.

과거 데이터에 영향을 주는 알려진 문제

  • 채팅 테스트 하네스, 2026-04-23 이전: 자동화된 채팅 테스트 파이프라인에서 언어별 실패가 발생했습니다. 이전 달의 채팅 집계는 해당 기간의 실제 번역 품질보다 낮은 점수를 보일 수 있습니다. 영향을 받은 월은 데이터베이스에는 보관되지만 공개 색인에서는 제외되며, 추이 차트에는 수정 시점에 계단식 변화가 나타납니다.

문의

여기에 동의하지 않는 부분이 있으신가요? 이슈를 열거나 저희에게 직접 문의해 주세요. 이 페이지를 업데이트하고 변경 사항을 기록하겠습니다.