번역 품질 마케팅이 왜 망가졌는지 — 그리고 우리가 대신 공개하는 것

실시간 번역 벤더의 웹사이트를 열어보세요. 다음과 같은 종류의 숫자들을 볼 수 있습니다:

• "200개 이상의 언어"
• "6,000개 이상의 언어 쌍"
• "세계 최초" / "최고 수준의 정확도"
• "99% 정확도"

이제 곧 진행할 회의에 이 숫자들이 어떤 의미가 있는지 해당 벤더 페이지에서 찾아보세요. 언어별 품질. 재현 가능한 방법론. 표본 크기. 시간에 따른 점수. 모델의 취약점에 대한 정직한 공개.

찾을 수 없을 것입니다. 마케팅 문구에도 없고, 문서에서도 거의 찾을 수 없습니다.

이것이 이 카테고리의 현재 평형 상태입니다. 이는 세 가지 이유로 존재합니다:

1. 대부분의 벤더는 자체 번역 엔진을 소유하지 않습니다. 이들은 OpenAI, Google, DeepL, Microsoft 또는 이들의 조합을 통해 라우팅합니다. 언어 쌍별 품질 데이터를 공개하는 것은 다른 회사의 모델을 벤치마크하는 것과 같아서 마케팅적 가치가 없습니다.
2. 정직한 품질 데이터는 빌보드에 올리기 어렵습니다. 단일 점수는 노이즈가 많습니다. 분포는 더 유용하지만 압축하기 어렵습니다. last-six-months trend는 더욱 유용하지만 압축하기는 더 어렵습니다.
3. 구매 부서가 아직 반발하지 않았습니다. 구매자들은 마케팅 숫자를 표면적인 가치로 받아들이며, 따라서 이 평형 상태가 유지됩니다.

이 평형 상태는 오래가지 못할 것입니다. 제약, 법무, 금융, 감사, 공공 부문 등 차세대 구매자들은 "몇 개의 언어를 지원하느냐"보다 더 어려운 질문을 던질 것입니다. 우리는 그들이 벤더의 말을 그대로 믿어야 할 필요가 없다고 생각하여 /benchmark를 구축했습니다.

마케팅 숫자가 말해주지 않는 것

**"200개 이상의 언어"**는 벤더가 200개 언어로 텍스트를 출력하는 모델을 가지고 있음을 의미합니다. 이 언어들 간의 품질은 주요 언어 쌍(EN↔DE, EN↔ES, EN↔FR)의 경우 프로덕션 수준에서부터 저자원 언어 쌍의 경우 겨우 사용 가능한 수준까지 다양합니다. 언어 쌍별 분석 자료가 없다면, 당신의 회의가 이 기준선의 어느 쪽에 떨어질지 알 수 없습니다.

**"6,000개 이상의 언어 쌍"**은 80개 소스 언어에 대한 N × N 조합입니다. 6,000개 쌍을 지원한다고 말하는 것은 쉬운 부분입니다. 특정 언어 쌍이 CAPA 검토, 계약 협상 또는 실적 발표 통화에 사용하기에 충분히 좋다고 말하는 것 — 그 부분은 브로셔에 없습니다.

**"99% 정확도"**는 무엇을 측정했는지, 어떤 참조 기준을 사용했는지, 어떤 표본을 대상으로 했는지, 누가 판정했는지를 명시하지 않는 한 내용이 없습니다. 번역 품질에는 보편적인 척도가 없습니다. 언어 쌍, 콘텐츠 도메인, 오디오 품질(음성의 경우), 지연 예산, 그리고 특정 사용 사례에서 "충분히 좋음"이 의미하는 바에 따라 달라지는 분포를 가집니다.

구매자가 실제로 알아야 할 것

실제 DPA 검토 및 구매 평가에서 나타나는 질문들:

1. 언어 쌍별 품질 — DE↔EN, EN↔AR, JA↔KO에서 구체적으로 어떻게 작동하나요?
2. 표본 크기 — 보고된 숫자가 몇 번의 실행을 기반으로 하나요? 10번? 10,000번?
3. 방법론 — 누가, 어떤 참조 기준을 바탕으로, 어떤 평가 기준으로 번역을 판정하나요?
4. 평균이 아닌 분포 — 최악의 10%는 어떤가요? 상위 10%는? 중앙값은?
5. 시간에 따른 편차 — 숫자를 마지막으로 공개한 이후 특정 언어 쌍이 나아졌나요, 나빠졌나요?
6. 측정하지 않는 것 — 벤치마크가 명시적으로 포착하지 못하는 것은 무엇인가요?

이 중 답할 수 없는 질문은 없습니다. 그저 누구의 마케팅 페이지에도 없을 뿐입니다.

우리가 공개하는 것

/benchmark가 우리의 답입니다. 방법론은 /benchmark/methodology에서 확인할 수 있습니다 — 이 글을 읽게 될 것을 알기 전에 작성되었습니다.

이를 카테고리의 일반적인 관행과 차별화하는 세 가지가 있습니다.

1. 선별된 모음이 아닌 실제 트래픽

공개 벤치마크의 모든 점수는 실제 /demo 테스트 실행에서 나옵니다. 우리는 성과가 좋은 언어 쌍을 미리 선별하지 않습니다. 구매자의 데모를 제공하는 것과 동일한 파이프라인이 측정에 사용됩니다.

2. 판정자를 명시함

주 판정자: google/gemini-3.5-flash. 보조 판정자: anthropic/claude-sonnet-5. 모두 Vercel AI Gateway를 통해 이루어집니다. 판정자는 방법론의 일부이며 — 이름이 공개됩니다. 판정자를 변경할 때(모델이 단종되어 변경한 적이 있습니다), 과거 기록은 실제로 점수를 매긴 판정자를 따르며; 기존 점수는 조용히 재평가되지 않습니다.

3. 평균이 아닌 분포가 곧 데이터입니다

공개된 모든 행은 단일 숫자가 아닌 중앙값, p10, p90, 최솟값, 최댓값 및 표본 크기를 보여줍니다. 번역 쌍에 대한 단일 숫자는 노이즈입니다. 분포의 형태가 신호입니다.

카테고리가 아직 채택하지 않은 관행들

• 저점수 쌍을 숨기지 않습니다. 공개 인덱스는 ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60을 기준으로 게이트를 설정하지만, 누구나 어떤 쌍이든 직접 딥링크하여 이번 달에 성과가 저조한 쌍을 포함한 실제 숫자를 볼 수 있습니다.
• 알려진 문제를 문서화합니다. 2026년 초반에 몇 주 동안 채팅 테스트 하네스가 손상되었을 때, 해당 기간은 인덱스에서 제외되고 방법론 페이지에 글로 명시되었습니다. 기록은 조용히 재작성되지 않습니다.
• 우리가 의도적으로 주장하지 않는 것은 방법론 페이지의 전체 섹션에 자세히 나와 있습니다. LLM 판정자 자체가 불완전한 부분을 명시합니다. 우리가 측정하지 않는 것(지연 시간, 비용, 사용자 만족도, 번역이 실행되기 전의 ASR 측 오류)을 명시합니다. 우리의 자동화된 스모크 테스트가 트래픽의 일부임을 공개합니다.

다음 벤더 평가를 위한 필터

다국어 회의 플랫폼을 평가 중이라면 — 우리 것이든 다른 것이든 — 방법론이 읽을 가치가 있는 페이지입니다. 숫자 자체는 쉬운 부분입니다.

이 카테고리의 모든 벤더를 위한 실용적인 필터:

• 실제 트래픽 기반의 언어 쌍별, 월별 품질 데이터를 요구하세요. 선별된 벤치마크가 아닌. 집계 데이터가 아닌.
• 그들의 판정자가 무엇인지, 명시적으로 측정하지 않는 것이 무엇인지, 지난 6개월 동안 무엇이 변경되었는지 물어보세요.
• 언어 쌍의 점수가 떨어지면 어떻게 되는지 물어보세요 — 누군가에게 알리나요, 아니면 조용히 수정하나요?

벤더가 세 가지 답변 모두를 문서로 가지고 있다면 진지하게 평가하세요. 그렇지 않다면, 당신은 번역 품질이 아닌 마케팅을 구매하는 것입니다.

직접 사용해 보세요

• 라이브 데모 사용하기 — 내 오디오에서 프로덕션 번역 파이프라인을 실행하고, 공개 벤치마크를 평가하는 것과 동일한 판정자로 점수를 매겨 결과를 보여줍니다.
• 벤치마크 확인하기 — 매월 공개된 모든 언어 쌍과 전체 분포를 확인하세요.
• 방법론 읽기 — 숫자가 어떻게 계산되는지, 무엇이 포함되는지, 무엇이 포함되지 않는지 알아보세요.

어느 것에 대해서도 우리의 말을 믿을 필요가 없을 것입니다. 그것이 핵심입니다.

출처: 위의 판정자 식별자, 게이트 설정 기준 및 제외 규칙은 출시된 코드를 기준으로 검증되었으며 /benchmark/methodology에서 공개됩니다; 판정자는 Vercel AI Gateway를 통해 제공됩니다; 상단에 인용된 마케팅 주장은 특정 벤더의 인용이 아닌 카테고리의 전형적인 표현입니다; 2026년 8월에 확인됨.