Warum Marketing mit Übersetzungsqualität nicht funktioniert – und was wir stattdessen veröffentlichen

Öffnen Sie die Website eines beliebigen Anbieters für Live-Übersetzung. Sie sehen immer die gleichen Arten von Zahlen:

• „200+ Sprachen“
• „6.000+ Sprachpaare“
• „Weltweit erstes“ / „Höchste Genauigkeit“
• „99 % Genauigkeit“

Versuchen Sie nun, auf einer dieser Anbieterseiten herauszufinden, was diese Zahlen für ein Meeting bedeuten, das Sie gleich durchführen. Qualität pro Sprache. Reproduzierbare Methodik. Stichprobengröße. Werte im Zeitverlauf. Ehrliche Angaben dazu, wo das Modell schwach ist.

Sie werden nichts davon finden. Nicht im Marketingtext, und selten in der Dokumentation.

Das ist das Gleichgewicht dieser Branche. Es besteht aus drei Gründen:

1. Die meisten Anbieter besitzen ihre Übersetzungs-Engine nicht selbst. Sie leiten über OpenAI, Google, DeepL, Microsoft oder eine Kombination daraus. Qualitätsdaten pro Sprachpaar zu veröffentlichen hieße, das Modell eines anderen zu vermessen – das hat keinen Marketingwert.
2. Ehrliche Qualitätsdaten eignen sich schlecht für eine Werbetafel. Ein einzelner Wert ist verrauscht. Eine Verteilung ist nützlicher, lässt sich aber schwerer verdichten. Ein last-six-months trend ist noch nützlicher und noch schwerer zu vermitteln.
3. Der Einkauf hat bisher nicht widersprochen. Käufer akzeptieren die Marketingzahlen für bare Münze, und so hält das Gleichgewicht.

Das Gleichgewicht wird nicht halten. Die nächste Käufergeneration – Pharma, Recht, Finanzen, Audit, öffentlicher Sektor – wird härtere Fragen stellen als „Wie viele Sprachen?“. Wir haben /benchmark gebaut, weil niemand dem Wort eines Anbieters einfach glauben müssen sollte.

Was die Marketingzahlen Ihnen nicht verraten

„200+ Sprachen“ bedeutet, dass ein Anbieter ein Modell hat, das Text in 200 Sprachen ausgibt. Die Qualität über diese Sprachen hinweg reicht von produktionsreif für große Paare (EN↔DE, EN↔ES, EN↔FR) bis kaum brauchbar für ressourcenarme Paare. Ohne Aufschlüsselung pro Sprachpaar können Sie nicht beurteilen, auf welcher Seite dieser Grenze Ihr Meeting landet.

„6.000+ Sprachpaare“ ist N × N-Kombinatorik auf 80 Ausgangssprachen. 6.000 Paare zu unterstützen zu behaupten ist der leichte Teil. Zu belegen, dass ein bestimmtes Paar gut genug ist für ein CAPA-Review, eine Vertragsverhandlung oder einen Earnings Call – das steht nicht in der Broschüre.

„99 % Genauigkeit“ ist ohne Angabe, was gemessen wurde, gegen welche Referenz, auf welcher Stichprobe und von welcher Bewertungsinstanz, inhaltsleer. Übersetzungsqualität hat keinen universellen Skalar. Sie hat eine Verteilung, die vom Sprachpaar, vom Inhaltsbereich, von der Audioqualität (bei Sprache), vom Latenzbudget und davon abhängt, was „gut genug“ für den konkreten Einsatzfall bedeutet.

Was Käufer wirklich wissen müssen

Die Fragen, die ein Host stellen sollte, bevor er einem Sprachpaar einen Kundentermin anvertraut:

1. Qualität pro Sprachpaar – wie schneidet das Modell konkret bei DE↔EN, EN↔AR, JA↔KO ab?
2. Stichprobengröße – auf wie vielen Durchläufen beruht Ihr veröffentlichter Wert? Zehn? Zehntausend?
3. Methodik – wer bewertet die Übersetzungen, gegen welche Referenz, nach welchem Bewertungsraster?
4. Verteilung statt Durchschnitt – wie sehen die schlechtesten 10 % aus? Die besten 10 %? Der Median?
5. Veränderung im Zeitverlauf – ist ein Sprachpaar besser oder schlechter geworden, seit Sie zuletzt einen Wert veröffentlicht haben?
6. Was Sie nicht messen – was erfasst Ihr Benchmark ausdrücklich nicht?

Keine dieser Fragen ist unbeantwortbar. Sie stehen nur auf keiner Marketingseite.

Was wir veröffentlichen

/benchmark ist unsere Antwort. Die Methodik steht unter /benchmark/methodology – geschrieben, bevor wir wussten, dass Sie das hier lesen würden.

Drei Dinge unterscheiden ihn von den Gepflogenheiten der Branche.

1. Echter Traffic statt kuratierter Testsammlung

Jeder Wert im öffentlichen Benchmark stammt aus einem echten Testlauf über /demo. Wir wählen keine Paare vorab aus, die gut abschneiden. Dieselbe Pipeline, die die Demo eines Käufers bedient, wird gemessen.

2. Die Bewertungsinstanz ist benannt

Primär: google/gemini-3.5-flash. Fallback: anthropic/claude-sonnet-5. Beide über das Vercel AI Gateway. Die Bewertungsinstanz ist Teil der Methodik – und wird namentlich offengelegt. Wenn wir sie wechseln (das ist vorgekommen, da Modelle auslaufen), tragen historische Zeilen diejenige Instanz, die sie tatsächlich bewertet hat; alte Werte werden nie stillschweigend neu bewertet.

3. Die Verteilung ist die Datengrundlage, nicht der Durchschnitt

Jede veröffentlichte Zeile zeigt Median, p10, p90, Minimum, Maximum und Stichprobengröße – nicht eine einzelne Zahl. Eine einzelne Zahl für ein Übersetzungspaar ist Rauschen. Die Form der Verteilung ist das Signal.

Praktiken, die die Branche noch nicht übernommen hat

• Paare mit niedrigen Werten werden nicht versteckt. Der öffentliche Index ist an ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 geknüpft – aber jeder kann direkt auf jedes Paar verlinken und die echten Zahlen sehen, auch für Paare, die in diesem Monat schlecht abschneiden.
• Bekannte Probleme sind dokumentiert. Als das Chat-Test-Harness Anfang 2026 einige Wochen lang defekt war, wurde dieser Zeitraum aus dem Index ausgeblendet und schriftlich auf der Methodikseite vermerkt. Die Historie wird nicht stillschweigend umgeschrieben.
• Was wir bewusst NICHT behaupten ist ein eigener Abschnitt auf der Methodikseite. Wir benennen, wo die LLM-Bewertungsinstanz selbst unvollkommen ist. Wir benennen, was wir nicht messen (Latenz, Kosten, Nutzerzufriedenheit, ASR-seitige Fehler, bevor die Übersetzung überhaupt läuft). Wir legen offen, dass unsere eigenen automatisierten Smoke-Tests Teil des Traffics sind.

Ein Filter für die nächste Anbieterbewertung

Wenn Sie eine mehrsprachige Meeting-Plattform bewerten – unsere oder eine andere –, lohnt sich vor allem die Methodik. Die Zahlen selbst sind der leichte Teil.

Ein praktischer Filter für jeden Anbieter dieser Branche:

• Fordern Sie Qualitätsdaten pro Sprachpaar und Monat auf echtem Traffic an. Keinen kuratierten Benchmark. Keinen Aggregatwert.
• Fragen Sie, welche Bewertungsinstanz sie einsetzen, was sie ausdrücklich nicht messen und was sich in den letzten sechs Monaten geändert hat.
• Fragen Sie, was passiert, wenn der Wert eines Paares sinkt – informieren sie jemanden, oder beheben sie es stillschweigend?

Wenn der Anbieter alle drei Antworten schriftlich vorlegt, nehmen Sie ihn ernst. Wenn nicht, kaufen Sie Marketing – keine Übersetzungsqualität.

Probieren Sie es selbst aus

• Live-Demo ausprobieren – führt die produktive Übersetzungspipeline auf Ihrem Audio aus, bewertet das Ergebnis mit derselben Bewertungsinstanz, die den öffentlichen Benchmark bewertet, und zeigt Ihnen die Ausgabe.
• Benchmark ansehen – jedes veröffentlichte Sprachpaar, jeden Monat, mit der vollständigen Verteilung.
• Methodik lesen – wie die Zahlen berechnet werden, was sie einschließen und was nicht.

Sie müssen uns nichts davon einfach glauben. Genau darum geht es.

Quellen: Die oben genannten Kennungen der Bewertungsinstanzen, Schwellenwerte für den Index und Ausblendungsregeln sind gegen den ausgelieferten Code geprüft und unter /benchmark/methodology veröffentlicht; die Bewertungsinstanzen werden über das Vercel AI Gateway bereitgestellt; die eingangs zitierten Marketingaussagen sind branchentypische Formulierungen, keine Zitate eines namentlich genannten Anbieters; Stand: August 2026.