Benchmark della Qualità della traduzione AI

Perché l'insieme delle lingue continua a crescere. Ogni lingua che aggiungiamo al prodotto entra nell'esecuzione settimanale del benchmark e compare nell'indice non appena supera la soglia di pubblicazione — e una nuova lingua raramente parte dal livello di una coppia che ottimizziamo da un anno. Il dato principale è la mediana di tutte le coppie pubblicate nel trimestre, quindi un gruppo di nuove arrivate lo abbassa anche quando ogni coppia consolidata si mantiene o migliora. Le nuove coppie poi crescono man mano che le ottimizziamo e l'indice si riprende. Per vedere i progressi di una singola lingua, apri qui sotto la pagina della sua coppia: quell'andamento non è diluito da nient'altro.

Ogni test invia un testo di riferimento (chat) o riproduce un file audio di riferimento (voce) attraverso la stessa pipeline live utilizzata dal prodotto, e un giudice LLM valuta l'output da 0 a 100 rispetto a una traduzione di riferimento canonica. I punteggi si dividono in fasce: 90 e oltre è eccellente, 70–89 buono, 50–69 discreto, sotto 50 debole. Una singola esecuzione può oscillare di decine di punti perché sia il riconoscimento vocale sia il giudice sono soggetti a rumore, quindi giudica una coppia in base alla mediana e all'intervallo su un mese, non da un solo numero.

La voce ha un unico punteggio end-to-end: riconoscimento vocale più traduzione. La chat è la traduzione del solo testo digitato. Gli errori di riconoscimento ricadono sul punteggio della voce, per cui le coppie vocali hanno in media valori più bassi e una soglia di pubblicazione più bassa: 45 contro 60 per la chat. Se il vostro team scrive soprattutto, il dato da guardare è quello della chat; se parla soprattutto, fidatevi del dato vocale.

No. Il benchmark è sintetico: la nostra suite automatizzata fa passare ogni settimana nella pipeline un set di riferimento fisso di FLORES-200, ed è l'unica fonte di questi numeri. Le sessioni che le persone eseguono nella demo non vengono né valutate né salvate nel benchmark, e i vostri meeting non vengono mai utilizzati a questo scopo.

Aprite la pagina dedicata alla coppia dalla tabella qui sopra: mostra mediana, intervallo e dimensione del campione per mese, oltre all'andamento nei vari mesi. Per verificarla sul vostro materiale, aprite il banco di prova — la stessa configurazione a due pannelli in cui gira il benchmark — e parlate o scrivete nella vostra lingua; nulla parte da solo e nulla viene salvato. Se una coppia non è elencata, non ha ancora superato la soglia di pubblicazione oppure non è ancora presente nel prodotto. I punteggi bassi restano raggiungibili tramite link diretto: non li nascondiamo.