번역 품질 마케팅은 왜 잘못되었는가 — 그리고 우리가 대신 공개하는 것

아무 실시간 번역 벤더의 사이트나 열어 보세요. 비슷한 종류의 숫자가 보일 것입니다.

• "200개 이상의 언어"
• "6,000개 이상의 언어쌍"
• "세계 최초" / "최고 정확도"
• "99% 정확도"

이제 그 벤더 페이지 어디에서든, 이 숫자들이 여러분이 곧 진행할 회의에 어떤 의미인지 찾아보세요. 언어별 품질, 재현 가능한 방법론, 표본 크기, 시간에 따른 점수, 모델이 약한 부분에 대한 솔직한 공개 같은 것들 말입니다.

찾을 수 없을 것입니다. 마케팅 문구에도 없고, 문서에서도 드물게만 찾을 수 있습니다.

이것이 이 업계의 균형 상태입니다. 이 균형은 세 가지 이유로 유지됩니다.

1. 대부분의 벤더는 자체 번역 엔진을 보유하고 있지 않습니다. OpenAI, Google, DeepL, Microsoft 또는 이들의 조합을 거쳐 처리합니다. 언어쌍별 품질 데이터를 공개하면 다른 회사의 모델을 벤치마크하는 셈이 되며, 거기에는 마케팅 가치가 없습니다.
2. 솔직한 품질 데이터는 광고판에 걸기 어렵습니다. 단일 점수는 노이즈가 큽니다. 분포는 더 유용하지만 압축하기 어렵습니다. last-six-months trend(최근 6개월 추이)는 더 유용하지만 압축하기가 훨씬 더 어렵습니다.
3. 조달 담당자들이 아직 문제를 제기하지 않았습니다. 구매자는 마케팅 수치를 액면 그대로 받아들이고, 그래서 균형이 유지됩니다.

이 균형은 오래가지 못할 것입니다. 다음 세대의 구매자인 제약, 법률, 금융, 감사, 공공 부문은 "몇 개 언어를 지원하는가"보다 훨씬 까다로운 질문을 던질 것입니다. 우리는 그들이 벤더의 말만 믿지 않아도 되어야 한다고 생각해서 /benchmark를 만들었습니다.

마케팅 수치가 말해 주지 않는 것

**"200개 이상의 언어"**는 벤더가 200개 언어로 텍스트를 출력하는 모델을 가지고 있다는 뜻입니다. 이 언어들의 품질은 주요 언어쌍(EN↔DE, EN↔ES, EN↔FR)에서는 실무 수준이지만, 저자원 언어쌍에서는 겨우 쓸 만한 수준까지 폭이 넓습니다. 언어쌍별 분석이 없으면 여러분의 회의가 그 경계의 어느 쪽에 속할지 알 수 없습니다.

**"6,000개 이상의 언어쌍"**은 80개 원본 언어에 대한 N × N 조합일 뿐입니다. 6,000개 쌍을 지원한다고 말하는 것은 쉬운 부분입니다. 특정 언어쌍이 CAPA 검토, 계약 협상, 실적 발표에 충분히 좋다고 말하는 것, 그것이 브로슈어에 없는 부분입니다.

**"99% 정확도"**는 무엇을 측정했는지, 어떤 기준에 대해, 어떤 표본으로, 어떤 평가자가 측정했는지 밝히지 않으면 내용이 없는 말입니다. 번역 품질에는 보편적인 단일 척도가 없습니다. 언어쌍, 콘텐츠 분야, (음성의 경우) 오디오 품질, 지연 시간 허용치, 그리고 개별 사용 사례에서 "충분히 좋다"가 무엇을 뜻하는지에 따라 달라지는 분포가 있을 뿐입니다.

구매자가 실제로 알아야 할 것

고객과의 통화에 어떤 언어쌍을 믿고 쓰기 전에 호스트가 물어봐야 할 질문들입니다.

1. 언어쌍별 품질 — DE↔EN, EN↔AR, JA↔KO에서 구체적으로 어느 정도 성능을 내나요?
2. 표본 크기 — 보고된 수치는 몇 번의 실행을 기반으로 하나요? 열 번인가요, 만 번인가요?
3. 방법론 — 누가, 어떤 기준에 대해, 어떤 평가 기준표로 번역을 평가하나요?
4. 평균이 아닌 분포 — 최악의 10%는 어떤 모습인가요? 최상위 10%는요? 중앙값은요?
5. 시간에 따른 변화 — 마지막으로 수치를 공개한 이후 특정 언어쌍이 나아졌나요, 나빠졌나요?
6. 측정하지 않는 것 — 벤치마크가 명시적으로 포착하지 않는 것은 무엇인가요?

이 중 답할 수 없는 질문은 없습니다. 다만 누구의 마케팅 페이지에도 없을 뿐입니다.

우리가 공개하는 것

/benchmark가 우리의 답입니다. 방법론은 /benchmark/methodology에 있으며, 여러분이 이 글을 읽게 될 줄 알기 전에 작성했습니다.

업계의 통념과 구별되는 점이 세 가지 있습니다.

1. 선별된 테스트 세트가 아닌 실제 트래픽

공개 벤치마크의 모든 점수는 실제 /demo 테스트 실행에서 나옵니다. 성능이 좋은 언어쌍을 미리 골라내지 않습니다. 구매자의 데모를 처리하는 것과 같은 파이프라인이 측정 대상입니다.

2. 평가자를 밝힙니다

기본: google/gemini-3.5-flash. 대체: anthropic/claude-sonnet-5. 둘 다 Vercel AI Gateway를 통해 사용합니다. 평가자는 방법론의 일부이며 이름을 공개합니다. 평가자를 바꿀 때(모델이 종료되면서 바꾼 적이 있습니다) 과거 행에는 실제로 점수를 매긴 평가자가 기록되며, 이전 점수를 몰래 다시 채점하는 일은 없습니다.

3. 데이터는 평균이 아니라 분포입니다

공개되는 모든 행에는 단일 숫자가 아니라 중앙값, p10, p90, 최솟값, 최댓값, 표본 크기가 표시됩니다. 번역 언어쌍에 대한 단일 숫자는 노이즈입니다. 분포의 형태가 신호입니다.

업계가 아직 도입하지 않은 관행

• 점수가 낮은 언어쌍도 숨기지 않습니다. 공개 인덱스는 ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 조건을 충족해야 노출되지만, 누구나 어떤 언어쌍에든 직접 링크로 들어가 이번 달 성적이 나쁜 언어쌍을 포함한 실제 수치를 볼 수 있습니다.
• 알려진 문제를 문서화합니다. 2026년 초 몇 주 동안 chat-test 하네스가 고장 났을 때, 그 기간은 인덱스에서 제외하고 방법론 페이지에 서면으로 기록했습니다. 이력을 몰래 고쳐 쓰지 않습니다.
• 우리가 의도적으로 주장하지 않는 것은 방법론 페이지의 한 섹션을 차지합니다. LLM 평가자 자체가 불완전한 부분을 밝히고, 측정하지 않는 것(지연 시간, 비용, 사용자 만족도, 번역이 실행되기 전 ASR 단계의 오류)도 밝힙니다. 또한 우리의 자체 자동 스모크 테스트가 트래픽의 일부라는 점도 공개합니다.

다음 벤더 평가를 위한 기준

다국어 회의 플랫폼을 평가하고 있다면, 우리 제품이든 다른 제품이든 읽을 가치가 있는 페이지는 방법론입니다. 숫자 자체는 쉬운 부분입니다.

이 업계의 어떤 벤더에게든 적용할 수 있는 실용적인 기준은 다음과 같습니다.

• 실제 트래픽 기준의 언어쌍별·월별 품질 데이터를 요청하세요. 선별된 벤치마크도, 집계 수치도 아닙니다.
• 평가자가 무엇인지, 명시적으로 측정하지 않는 것이 무엇인지, 지난 6개월 동안 무엇이 바뀌었는지 물어보세요.
• 언어쌍의 점수가 떨어지면 어떻게 하는지 물어보세요 — 누군가에게 알리나요, 아니면 조용히 고치나요?

벤더가 세 가지 질문 모두에 서면으로 답할 수 있다면 진지하게 평가하세요. 그렇지 않다면 여러분이 사는 것은 번역 품질이 아니라 마케팅입니다.

직접 확인해 보세요

• 라이브 데모 체험하기 — 여러분의 오디오로 실제 운영 중인 번역 파이프라인을 실행하고, 공개 벤치마크를 채점하는 것과 같은 평가자로 점수를 매겨 결과를 보여 드립니다.
• 벤치마크 보기 — 공개된 모든 언어쌍을 매월, 전체 분포와 함께 확인할 수 있습니다.
• 방법론 읽기 — 수치가 어떻게 계산되는지, 무엇을 포함하고 무엇을 포함하지 않는지 설명합니다.

우리 말을 그대로 믿으실 필요는 없습니다. 그것이 핵심입니다.

출처: 위에 언급된 평가자 식별자, 게이팅 임곗값, 제외 규칙은 배포된 코드와 대조하여 검증되었으며 /benchmark/methodology에 공개되어 있습니다. 평가자는 Vercel AI Gateway를 통해 제공됩니다. 상단에 인용된 마케팅 문구는 업계에서 흔히 쓰이는 표현일 뿐 특정 벤더의 인용이 아닙니다. 2026년 8월 확인.