KI-Übersetzung Qualität Benchmark

Weil die Zahl der Sprachen stetig wächst. Jede Sprache, die wir dem Produkt hinzufügen, wird in den wöchentlichen Benchmark-Lauf aufgenommen und geht in den Index ein, sobald sie die Veröffentlichungsschwelle überschreitet – und eine neue Sprache startet selten dort, wo ein Paar steht, das wir seit einem Jahr optimieren. Die Kennzahl an der Spitze ist der Median über alle veröffentlichten Paare des Quartals; eine Gruppe von Neuzugängen zieht ihn daher nach unten, selbst wenn sich jedes etablierte Paar hält oder verbessert. Die neuen Paare steigen dann mit unserer Optimierung, und der Index erholt sich. Um den Fortschritt bei einer einzelnen Sprache zu sehen, öffnen Sie unten die Seite des jeweiligen Paars: Dieser Trend wird durch nichts anderes verwässert.

Bei jedem Test wird ein Referenztext (Chat) gesendet oder eine Referenz-Audiodatei (Sprache) abgespielt, und zwar durch dieselbe Live-Pipeline, die auch das Produkt nutzt. Ein LLM-Judge bewertet die Ausgabe auf einer Skala von 0 bis 100 anhand einer kanonischen Referenzübersetzung. Die Scores fallen in Bänder: 90 und mehr ist exzellent, 70–89 gut, 50–69 befriedigend, unter 50 schwach. Ein einzelner Durchlauf kann um mehrere Dutzend Punkte schwanken, weil Spracherkennung und Judge beide verrauscht sind. Beurteilen Sie ein Paar daher nach seinem Median und seiner Spannweite über einen Monat, nicht nach einer einzelnen Zahl.

Sprache ist ein durchgängiger Ende-zu-Ende-Wert: Spracherkennung plus Übersetzung. Chat ist allein die Übersetzung getippten Texts. Erkennungsfehler fließen in den Sprachwert ein, deshalb liegen Sprachpaare im Schnitt niedriger und haben eine niedrigere Veröffentlichungsschwelle – 45 gegenüber 60 beim Chat. Wenn Ihr Team überwiegend tippt, ist der Chat-Wert maßgeblich; wenn es überwiegend spricht, orientieren Sie sich am Sprachwert.

Nein. Der Benchmark ist synthetisch: Unsere automatisierte Testsuite spielt jede Woche ein festes FLORES-200-Referenzset durch die Pipeline, und das ist die einzige Quelle dieser Zahlen. Sitzungen, die Personen in der Demo durchführen, werden weder bewertet noch im Benchmark gespeichert, und Ihre Meetings werden dafür nie verwendet.

Öffnen Sie in der Tabelle oben die eigene Seite des Sprachpaars: Sie zeigt Median, Spannweite und Stichprobengröße pro Monat sowie den Verlauf über die Monate. Um es mit Ihrem eigenen Material zu prüfen, öffnen Sie den Testaufbau – dasselbe Zwei-Fenster-Setup, in dem der Benchmark läuft – und sprechen oder tippen Sie in Ihrer Sprache; nichts startet von selbst, und nichts wird gespeichert. Ist ein Sprachpaar nicht aufgeführt, hat es die Veröffentlichungsschwelle noch nicht erreicht oder ist noch nicht im Produkt enthalten. Niedrige Werte bleiben über einen direkten Link erreichbar; wir verbergen sie nicht.