번역 품질 마케팅은 왜 망가졌는가 — 그리고 우리가 대신 공개하는 것

실시간 번역 업체의 사이트를 아무 곳이나 열어 보세요. 늘 비슷한 숫자가 보입니다.

• "200개 이상의 언어"
• "6,000개 이상의 언어 쌍"
• "세계 최초" / "최고 수준의 정확도"
• "99% 정확"

이제 그 업체 페이지 어디에서든 이 숫자가 여러분이 곧 진행할 회의에 어떤 의미인지 찾아보세요. 언어별 품질, 재현 가능한 방법론, 표본 크기, 시간에 따른 점수, 모델이 취약한 부분에 대한 솔직한 공개 같은 것들 말입니다.

찾을 수 없을 겁니다. 마케팅 문구에는 없고, 문서에도 드물게만 있습니다.

이것이 이 업계가 머무는 균형 상태입니다. 여기에는 세 가지 이유가 있습니다.

1. 대부분의 업체는 번역 엔진을 직접 소유하지 않습니다. OpenAI, Google, DeepL, Microsoft 또는 이들의 조합을 거쳐 연결합니다. 언어 쌍별 품질 데이터를 공개하면 남의 모델을 벤치마크하는 셈이 되므로 마케팅 가치가 없습니다.
2. 솔직한 품질 데이터는 광고판에 걸기 어렵습니다. 단일 점수는 노이즈가 큽니다. 분포는 더 유용하지만 압축하기가 더 어렵습니다. 최근 6개월 추이는 한층 더 유용하지만 그만큼 더 어렵습니다.
3. 조달 담당자들이 아직 문제를 제기하지 않았습니다. 구매자가 마케팅 숫자를 액면 그대로 받아들이기 때문에 이 균형이 유지됩니다.

이 균형은 오래가지 않을 것입니다. 제약, 법률, 금융, 감사, 공공 부문 같은 다음 세대의 구매자는 "몇 개 언어를 지원하나요?"보다 훨씬 까다로운 질문을 던질 것입니다. 우리는 구매자가 업체의 말을 그대로 믿을 필요가 없어야 한다고 생각하기에 /benchmark를 만들었습니다.

마케팅 숫자가 알려 주지 않는 것

**"200개 이상의 언어"**는 업체가 200개 언어로 텍스트를 출력하는 모델을 가지고 있다는 뜻입니다. 그 언어들의 품질은 주요 언어 쌍(EN↔DE, EN↔ES, EN↔FR)에서는 실무에 쓸 수준이지만, 자원이 적은 언어 쌍에서는 간신히 쓸 만한 수준까지 폭넓게 갈립니다. 언어 쌍별 내역이 없으면 여러분의 회의가 그 경계의 어느 쪽에 놓일지 알 수 없습니다.

**"6,000개 이상의 언어 쌍"**은 80개 원본 언어에 대한 N × N 조합 계산일 뿐입니다. 6,000개 쌍을 지원한다고 말하기는 쉽습니다. 특정 언어 쌍이 CAPA 검토, 계약 협상, 실적 발표에 충분히 좋다고 말하는 것, 그것이 브로슈어에 없는 부분입니다.

**"99% 정확"**은 무엇을 측정했는지, 어떤 기준과 비교했는지, 어떤 표본에서, 어떤 평가자가 판단했는지 밝히지 않으면 내용이 없는 말입니다. 번역 품질에는 보편적인 단일 수치가 없습니다. 언어 쌍, 콘텐츠 영역, (음성의 경우) 오디오 품질, 지연 시간 예산, 그리고 해당 사용 사례에서 "충분히 좋다"가 무엇을 뜻하는지에 따라 달라지는 분포가 있을 뿐입니다.

구매자가 실제로 알아야 할 것

고객과의 통화에 어떤 언어 쌍을 믿고 쓰기 전에 호스트가 물어야 할 질문은 다음과 같습니다.

1. 언어 쌍별 품질 — DE↔EN, EN↔AR, JA↔KO 같은 특정 쌍에서 성능이 어떤가요?
2. 표본 크기 — 보고된 수치는 몇 번의 실행을 기반으로 하나요? 열 번인가요, 만 번인가요?
3. 방법론 — 누가 번역을 평가하고, 어떤 기준과 어떤 평가 기준표를 사용하나요?
4. 평균이 아닌 분포 — 최악의 10%는 어떤 모습인가요? 최상의 10%는요? 중앙값은요?
5. 시간에 따른 변화 — 마지막으로 수치를 공개한 이후 특정 언어 쌍이 나아졌나요, 나빠졌나요?
6. 측정하지 않는 것 — 이 벤치마크가 명시적으로 다루지 않는 것은 무엇인가요?

이 중 답할 수 없는 질문은 없습니다. 다만 어느 업체의 마케팅 페이지에도 없을 뿐입니다.

우리가 공개하는 것

/benchmark가 우리의 답입니다. 방법론은 /benchmark/methodology에 있으며, 여러분이 이 글을 읽게 될 줄 알기 전에 이미 작성해 두었습니다.

업계의 통상적인 방식과 구별되는 점이 세 가지 있습니다.

1. 엄선한 테스트 세트가 아닌 실제 트래픽

공개 벤치마크의 모든 점수는 실제 /demo 테스트 실행에서 나옵니다. 성능이 좋은 언어 쌍을 미리 골라 두지 않습니다. 구매자의 데모를 처리하는 파이프라인과 동일한 파이프라인이 측정 대상입니다.

2. 평가자를 밝힙니다

기본: google/gemini-3.5-flash. 대체: anthropic/claude-sonnet-5. 둘 다 Vercel AI Gateway를 통해 사용합니다. 평가자는 방법론의 일부이며 이름까지 공개합니다. 평가자를 바꿀 때(모델이 종료되면서 바꾼 적이 있습니다)에도 과거 행에는 실제로 점수를 매긴 평가자가 기록되며, 예전 점수를 몰래 다시 채점하는 일은 없습니다.

3. 평균이 아니라 분포가 데이터입니다

게시되는 모든 행에는 단일 수치가 아니라 중앙값, p10, p90, 최솟값, 최댓값, 표본 크기가 표시됩니다. 번역 쌍 하나를 나타내는 단일 수치는 노이즈입니다. 분포의 형태가 신호입니다.

업계가 아직 채택하지 않은 관행

• 점수가 낮은 언어 쌍을 숨기지 않습니다. 공개 인덱스는 ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 조건을 충족해야 노출되지만, 누구든 어떤 언어 쌍이든 직접 링크로 들어가 이번 달 성과가 나쁜 쌍을 포함한 실제 수치를 볼 수 있습니다.
• 알려진 문제를 문서화합니다. 2026년 초 몇 주 동안 chat-test 하네스가 고장 났을 때, 그 기간은 인덱스에서 제외하고 방법론 페이지에 서면으로 기록했습니다. 이력을 몰래 고쳐 쓰지 않습니다.
• 우리가 의도적으로 주장하지 않는 것은 방법론 페이지의 별도 섹션 하나를 차지합니다. LLM 평가자 자체가 불완전한 부분을 밝히고, 측정하지 않는 것(지연 시간, 비용, 사용자 만족도, 번역이 실행되기 전 단계인 ASR 쪽 오류)을 밝힙니다. 또한 우리 자체의 자동화된 스모크 테스트가 트래픽에 포함된다는 점도 공개합니다.

다음 업체를 평가할 때 쓸 수 있는 기준

다국어 회의 플랫폼을 평가하고 계신다면, 우리 제품이든 다른 제품이든 읽어 볼 가치가 있는 것은 방법론 페이지입니다. 숫자 자체는 쉬운 부분입니다.

이 분야의 어떤 업체에도 적용할 수 있는 실용적인 기준은 다음과 같습니다.

• 실제 트래픽 기준으로 언어 쌍별, 월별 품질 데이터를 요청하세요. 엄선한 벤치마크도, 합산한 집계도 아닙니다.
• 평가자가 무엇인지, 명시적으로 측정하지 않는 것이 무엇인지, 지난 6개월 동안 무엇이 바뀌었는지 물어보세요.
• 언어 쌍의 점수가 떨어지면 어떻게 하는지 물어보세요 — 누군가에게 알리나요, 아니면 조용히 고치나요?

세 가지 질문에 대한 답을 업체가 서면으로 가지고 있다면 진지하게 평가해 보세요. 그렇지 않다면 여러분이 사는 것은 번역 품질이 아니라 마케팅입니다.

직접 확인해 보세요

• 라이브 데모 체험하기 — 실제 서비스의 번역 파이프라인을 여러분의 오디오에 적용하고, 공개 벤치마크를 채점하는 것과 같은 평가자로 점수를 매겨 결과를 보여 드립니다.
• 벤치마크 보기 — 공개된 모든 언어 쌍을 월별로, 전체 분포와 함께 확인할 수 있습니다.
• 방법론 읽기 — 수치를 어떻게 계산하는지, 무엇을 포함하고 무엇을 포함하지 않는지 설명합니다.

우리 말을 그대로 믿으실 필요는 없습니다. 바로 그것이 핵심입니다.

출처: 위에 언급한 평가자 식별자, 노출 기준 임계값, 제외 규칙은 실제 배포된 코드와 대조해 검증했으며 /benchmark/methodology에 게시되어 있습니다. 평가자는 Vercel AI Gateway를 통해 제공됩니다. 맨 위에 인용한 마케팅 문구는 특정 업체의 인용이 아니라 업계에서 흔히 쓰는 표현입니다. 2026년 8월 확인.