Perché il marketing sulla qualità della traduzione è sbagliato — e cosa pubblichiamo noi

Aprite il sito di un qualsiasi fornitore di traduzione dal vivo. Vedrete sempre lo stesso tipo di numeri:

• "200+ lingue"
• "6.000+ coppie di lingue"
• "Il primo al mondo" / "Massima accuratezza"
• "99% di accuratezza"

Ora provate a trovare — su una qualsiasi di quelle pagine — cosa significano quei numeri per una riunione che state per tenere. Qualità per lingua. Metodologia riproducibile. Dimensione del campione. Punteggio nel tempo. Dichiarazione onesta di dove il modello è debole.

Non lo troverete. Non nei testi di marketing, e raramente nella documentazione.

Questo è l'equilibrio della categoria. Esiste per tre ragioni:

1. La maggior parte dei fornitori non possiede il proprio motore di traduzione. Si appoggiano a OpenAI, Google, DeepL, Microsoft o a una combinazione di questi. Pubblicare dati di qualità per coppia significherebbe misurare il modello di qualcun altro — e questo non ha alcun valore di marketing.
2. I dati onesti sulla qualità sono difficili da mettere su un cartellone. Un singolo punteggio è rumoroso. Una distribuzione è più utile ma più difficile da comprimere. Un last-six-months trend è ancora più utile, e ancora più difficile.
3. Gli uffici acquisti non hanno ancora fatto pressione. Chi acquista accetta i numeri del marketing per buoni, e così l'equilibrio regge.

L'equilibrio non reggerà. La prossima generazione di acquirenti — farmaceutico, legale, finanziario, revisione contabile, settore pubblico — farà domande più impegnative di "quante lingue". Abbiamo creato /benchmark perché crediamo che non debbano accontentarsi della parola di un fornitore.

Cosa non dicono i numeri del marketing

"200+ lingue" significa che un fornitore dispone di un modello che produce testo in 200 lingue. La qualità tra queste lingue va da un livello da produzione per le coppie principali (EN↔DE, EN↔ES, EN↔FR) a un livello a malapena utilizzabile per le coppie con poche risorse. Senza un dettaglio per coppia, non potete sapere da quale lato di quella linea cadrà la vostra riunione.

"6.000+ coppie di lingue" è semplice combinatoria N × N su 80 lingue di partenza. Dichiarare di supportare 6.000 coppie è la parte facile. Dichiarare che una coppia specifica è abbastanza buona per una revisione CAPA, una trattativa contrattuale o una presentazione dei risultati trimestrali — questa è la parte che nella brochure non c'è.

"99% di accuratezza", senza specificare cosa è stato misurato, rispetto a quale riferimento, su quale campione, con quale giudice, è privo di contenuto. La qualità della traduzione non ha uno scalare universale. Ha una distribuzione che dipende dalla coppia di lingue, dall'ambito del contenuto, dalla qualità audio (per la voce), dal budget di latenza e da cosa significhi "abbastanza buono" per lo specifico caso d'uso.

Cosa deve sapere davvero chi acquista

Le domande che un host dovrebbe porsi prima di affidare una coppia a una chiamata con un cliente:

1. Qualità per coppia — come si comporta su DE↔EN, EN↔AR, JA↔KO, nello specifico?
2. Dimensione del campione — su quante esecuzioni si basa il numero riportato? Dieci? Diecimila?
3. Metodologia — chi giudica le traduzioni, rispetto a quale riferimento, con quale griglia di valutazione?
4. Distribuzione, non media — com'è il 10% peggiore? Il 10% migliore? La mediana?
5. Andamento nel tempo — una determinata coppia è migliorata o peggiorata dall'ultima volta che avete pubblicato un numero?
6. Cosa non misurate — cosa il vostro benchmark esplicitamente non cattura?

Nessuna di queste domande è senza risposta. Semplicemente non compaiono sulla pagina di marketing di nessuno.

Cosa pubblichiamo

/benchmark è la nostra risposta. La metodologia è disponibile in /benchmark/methodology — scritta prima di sapere che state leggendo questo testo.

Tre cose lo distinguono dalle consuetudini della categoria.

1. Traffico reale, non una suite selezionata

Ogni punteggio del benchmark pubblico proviene da un'esecuzione di prova reale su /demo. Non selezioniamo in anticipo le coppie che funzionano bene. La stessa pipeline che serve la demo di un acquirente è quella che viene misurata.

2. Il giudice è indicato per nome

Primario: google/gemini-3.5-flash. Di riserva: anthropic/claude-sonnet-5. Entrambi tramite Vercel AI Gateway. Il giudice fa parte della metodologia — dichiarato per nome. Quando cambiamo giudice (è successo, perché i modelli vengono ritirati), le righe storiche riportano il giudice che le ha effettivamente valutate; i vecchi punteggi non vengono mai rivalutati di nascosto.

3. I dati sono la distribuzione, non la media

Ogni riga pubblicata mostra mediana, p10, p90, minimo, massimo e dimensione del campione — non un singolo numero. Un singolo numero per una coppia di traduzione è rumore. La forma della distribuzione è il segnale.

Pratiche che la categoria non ha adottato

• Le coppie con punteggi bassi non vengono nascoste. L'indice pubblico è filtrato da ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — ma chiunque può accedere direttamente a qualsiasi coppia tramite link e vedere i numeri reali, comprese le coppie che questo mese vanno male.
• I problemi noti sono documentati. Quando il chat-test harness è rimasto fuori uso per alcune settimane all'inizio del 2026, quel periodo è stato escluso dall'indice e annotato per iscritto nella pagina della metodologia. La storia non viene riscritta di nascosto.
• Ciò che deliberatamente NON dichiariamo è una sezione intera della pagina della metodologia. Diciamo dove il giudice LLM stesso è imperfetto. Diciamo cosa non misuriamo (latenza, costi, soddisfazione degli utenti, errori lato ASR prima ancora che la traduzione parta). Dichiariamo che i nostri stessi smoke test automatici fanno parte del traffico.

Un filtro per la prossima valutazione di un fornitore

Se state valutando una qualsiasi piattaforma di riunioni multilingue — la nostra o un'altra — la metodologia è la pagina che vale la pena leggere. I numeri in sé sono la parte facile.

Un filtro pratico per qualsiasi fornitore di questa categoria:

• Chiedete dati di qualità per coppia di lingue e per mese su traffico reale. Non un benchmark selezionato. Non un aggregato.
• Chiedete qual è il loro giudice, cosa esplicitamente non misurano e cosa è cambiato negli ultimi sei mesi.
• Chiedete cosa succede quando il punteggio di una coppia scende — lo comunicano a qualcuno o lo correggono di nascosto?

Se il fornitore ha tutte e tre le risposte per iscritto, valutatelo seriamente. Se non le ha, state comprando marketing — non qualità della traduzione.

Provatelo voi stessi

• Provate la demo dal vivo — esegue la pipeline di traduzione di produzione sul vostro audio, lo valuta con lo stesso giudice che valuta il benchmark pubblico e vi mostra il risultato.
• Consultate il benchmark — ogni coppia di lingue pubblicata, ogni mese, con la distribuzione completa.
• Leggete la metodologia — come vengono calcolati i numeri, cosa includono, cosa non includono.

Non avrete bisogno di fidarvi della nostra parola per nulla di tutto questo. È proprio questo il punto.

Fonti: gli identificativi dei giudici, le soglie di filtraggio e le regole di esclusione sopra riportati sono verificati rispetto al codice rilasciato e pubblicati su /benchmark/methodology; i giudici sono serviti tramite Vercel AI Gateway; le dichiarazioni di marketing citate all'inizio sono formulazioni tipiche della categoria, non citazioni di un fornitore specifico; verificato ad agosto 2026.