Warum das Marketing für Übersetzungsqualität kaputt ist – und was wir stattdessen veröffentlichen

Öffnen Sie die Website eines beliebigen Anbieters für Live-Übersetzung. Sie werden immer dieselben Arten von Zahlen sehen:

• "200+ Sprachen"
• "6.000+ Sprachpaare"
• "Weltweit das erste" / "Höchste Genauigkeit"
• "99 % genau"

Versuchen Sie nun herauszufinden – auf einer dieser Anbieter-Seiten –, was diese Zahlen für ein Meeting bedeuten, das Sie gleich durchführen werden. Qualität pro Sprache. Reproduzierbare Methodik. Stichprobenumfang. Verlauf der Werte über die Zeit. Ehrliche Offenlegung der Schwächen des Modells.

Sie werden es nicht finden. Nicht im Marketing-Text und selten in den Docs.

Das ist das Gleichgewicht der Kategorie. Es existiert aus drei Gründen:

1. Die meisten Anbieter besitzen keine eigene Übersetzungs-Engine. Sie leiten Anfragen über OpenAI, Google, DeepL, Microsoft oder eine Kombination daraus weiter. Die Veröffentlichung von Qualitätsdaten pro Sprachpaar wäre ein Benchmarking des Modells eines anderen – das hat keinen Marketing-Wert.
2. Ehrliche Qualitätsdaten lassen sich schwer auf einem Billboard unterbringen. Ein einzelner Wert ist verrauscht. Eine Verteilung ist nützlicher, aber schwerer zu komprimieren. Ein last-six-months trend ist noch nützlicher und noch schwerer.
3. Der Einkauf hat bisher nicht widersprochen. Käufer akzeptieren die Marketing-Zahlen unkritisch, und so hält sich das Gleichgewicht.

Dieses Gleichgewicht wird nicht Bestand haben. Die nächste Käuferklasse – Pharma, Recht, Finanzen, Audit, öffentlicher Sektor – wird härtere Fragen stellen als „Wie viele Sprachen?". Wir haben /benchmark entwickelt, weil wir glauben, dass sie einem Anbieter nicht auf sein Wort hin vertrauen sollten.

Was Ihnen die Marketing-Zahlen nicht sagen

„200+ Sprachen" bedeutet, dass ein Anbieter ein Modell hat, das Text in 200 Sprachen ausgibt. Die Qualität über diese Sprachen hinweg reicht von produktionsreif für wichtige Paare (EN↔DE, EN↔ES, EN↔FR) bis kaum nutzbar für Paare mit geringen Ressourcen. Ohne eine Aufschlüsselung nach Sprachpaar können Sie nicht erkennen, auf welcher Seite dieser Linie Ihr Meeting landen wird.

„6.000+ Sprachpaare" ist N × N-Kombinatorik auf 80 Quellsprachen. Zu sagen, dass man 6.000 Paare unterstützt, ist der einfache Teil. Zu sagen, dass ein bestimmtes Paar gut genug für eine CAPA-Überprüfung, eine Vertragsverhandlung oder einen Earnings Call ist – das ist der Teil, der nicht in der Broschüre steht.

„99 % genau", ohne anzugeben, was gemessen wurde, gegen welche Referenz, an welcher Stichprobe, von welchem Prüfer – ist inhaltsleer. Übersetzungsqualität hat keinen universellen Skalarwert. Sie hat eine Verteilung, die vom Sprachpaar, Inhaltsbereich, der Audioqualität (für Sprache), dem Latenzbudget und davon abhängt, was „gut genug" für den spezifischen Anwendungsfall bedeutet.

Was ein Käufer tatsächlich wissen muss

Die Fragen, die in echten DPA-Überprüfungen und Einkaufsbewertungen auftauchen:

1. Qualität pro Paar – wie genau performt das auf DE↔EN, EN↔AR, JA↔KO?
2. Stichprobenumfang – auf wie vielen Durchläufen basiert Ihre angegebene Zahl? Zehn? Zehntausend?
3. Methodik – wer bewertet die Übersetzungen, gegen welche Referenz, mit welchem Raster?
4. Verteilung, nicht Durchschnitt – wie sieht das Worst-Case-Szenario von 10 % aus? Die besten 10 %? Der Median?
5. Drift über die Zeit – ist ein bestimmtes Paar besser oder schlechter geworden, seit Sie zuletzt eine Zahl veröffentlicht haben?
6. Was Sie nicht messen – was erfasst Ihr Benchmark explizit nicht?

Keine dieser Fragen ist unbeantwortbar. Sie stehen nur auf keiner Marketing-Seite.

Was wir veröffentlichen

/benchmark ist unsere Antwort. Die Methodik finden Sie unter /benchmark/methodology – geschrieben, bevor wir wussten, dass Sie dies lesen würden.

Drei Dinge unterscheiden es von den Normen der Kategorie.

1. Echter Traffic, keine kuratierte Suite

Jede Punktzahl im öffentlichen Benchmark stammt von einem echten /demo-Testlauf. Wir wählen im Voraus keine Paare aus, die gut performen. Dieselbe Pipeline, die einem Käufer eine Demo bereitstellt, ist diejenige, die gemessen wird.

2. Der Prüfer wird benannt

Primär: google/gemini-3.5-flash. Fallback: anthropic/claude-sonnet-5. Beide über Vercel AI Gateway. Der Prüfer ist Teil der Methodik – namentlich offengelegt. Wenn wir den Prüfer wechseln (was wir getan haben, als Modelle ausgemustert wurden), tragen die historischen Zeilen den Prüfer, der sie tatsächlich bewertet hat; alte Werte werden nie stillschweigend neu bewertet.

3. Die Verteilung sind die Daten, nicht der Durchschnitt

Jede veröffentlichte Zeile zeigt Median, p10, p90, Min, Max und Stichprobenumfang – nicht eine einzelne Zahl. Eine einzelne Zahl für ein Übersetzungspaar ist Rauschen. Die Form der Verteilung ist das Signal.

Praktiken, die die Kategorie noch nicht übernommen hat

• Paare mit niedrigen Werten werden nicht versteckt. Der öffentliche Index ist über ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 reglementiert – aber jeder kann direkt auf jedes Paar verlinken und die echten Zahlen sehen, einschließlich der Paare, die in diesem Monat schlecht performen.
• Bekannte Probleme sind dokumentiert. Als das Chat-Test-Harness Anfang 2026 für ein paar Wochen defekt war, wurde dieser Zeitraum aus dem Index unterdrückt und auf der Methodik-Seite schriftlich vermerkt. Die History wird nicht stillschweigend umgeschrieben.
• Was wir bewusst NICHT behaupten ist ein eigener Abschnitt auf der Methodik-Seite. Wir sagen, wo der LLM-Prüfer selbst unvollkommen ist. Wir sagen, was wir nicht messen (Latenz, Kosten, Nutzerzufriedenheit, ASR-seitige Fehler, bevor die Übersetzung überhaupt läuft). Wir legen offen, dass unsere eigenen automatisierten Smoke-Tests Teil des Traffics sind.

Ein Filter für die nächste Anbieter-Evaluierung

Wenn Sie eine mehrsprachige Meeting-Plattform evaluieren – unsere oder eine andere –, ist die Methodik die Seite, die es zu lesen lohnt. Die Zahlen selbst sind der einfache Teil.

Ein praktischer Filter für jeden Anbieter in dieser Kategorie:

• Fordern Sie Qualitätsdaten pro Sprachpaar und pro Monat auf echtem Traffic. Kein kuratierter Benchmark. Kein Aggregat.
• Fragen Sie, was ihr Prüfer ist, was sie explizit nicht messen und was sich in den letzten sechs Monaten geändert hat.
• Fragen Sie, was passiert, wenn der Wert eines Paars sinkt – sagen sie es jemandem oder beheben sie es stillschweigend?

Wenn der Anbieter alle drei Antworten schriftlich liefert, evaluieren Sie ihn ernsthaft. Wenn nicht, kaufen Sie Marketing – keine Übersetzungsqualität.

Testen Sie es selbst

• Testen Sie die Live-Demo – führt die Produktions-Übersetzungspipeline auf Ihrem Audio aus, bewertet sie gegen denselben Prüfer, der auch den öffentlichen Benchmark bewertet, und zeigt Ihnen das Ergebnis.
• Sehen Sie sich den Benchmark an – jedes veröffentlichte Sprachpaar, jeden Monat, mit der vollständigen Verteilung.
• Lesen Sie die Methodik – wie die Zahlen berechnet werden, was sie beinhalten und was nicht.

Sie müssen uns für nichts davon aufs Wort glauben. Das ist der Punkt.

Quellen: Die oben genannten Prüfer-IDs, Schwellenwerte und Unterdrückungsregeln wurden gegen den ausgelieferten Code verifiziert und unter /benchmark/methodology veröffentlicht; die Prüfer werden über Vercel AI Gateway bereitgestellt; die oben zitierten Marketing-Behauptungen sind typische Formulierungen der Kategorie und keine Zitate eines namentlich genannten Anbieters; überprüft im August 2026.