Tekoälykäännösten laatu benchmark

Koska kielten joukko kasvaa jatkuvasti. Jokainen tuotteeseen lisäämämme kieli liittyy viikoittaiseen benchmark-ajoon ja tulee indeksiin heti, kun se ylittää julkaisurajan – ja uusi kieli harvoin lähtee samalta tasolta kuin pari, jota olemme hienosäätäneet vuoden. Pääluku on neljänneksen kaikkien julkaistujen kieliparien mediaani, joten joukko uusia tulokkaita painaa sitä alas, vaikka jokainen vakiintunut pari pysyisi ennallaan tai paranisi. Uudet parit nousevat, kun hienosäädämme niitä, ja indeksi toipuu. Jos haluat nähdä yhden kielen kehityksen, avaa sen kieliparisivu alla: sen trendiä ei vääristä mikään muu.

Jokainen testi lähettää viitetekstin (chat) tai toistaa viiteäänitiedoston (puhe) saman live-putken läpi, jota tuote käyttää, ja LLM-arvioija pisteyttää tuloksen asteikolla 0–100 kanonista viitekäännöstä vasten. Pisteet jakautuvat luokkiin: 90 ja yli on erinomainen, 70–89 hyvä, 50–69 tyydyttävä ja alle 50 heikko. Yksittäisen ajon tulos voi vaihdella kymmeniä pisteitä, koska puheentunnistus ja arvioija ovat kumpikin kohinaisia, joten arvioi paria kuukauden mediaanin ja vaihteluvälin perusteella, älä yksittäisen luvun.

Puhe on yksi päästä päähän -pistemäärä: puheentunnistus plus käännös. Chat on pelkän kirjoitetun tekstin käännös. Tunnistusvirheet näkyvät puheen pistemäärässä, joten puhekieliparit jäävät keskimäärin alemmas ja niiden julkaisuraja on matalampi – 45 chatin 60:tä vastaan. Jos tiimisi kirjoittaa enimmäkseen, katso chatin lukua; jos se puhuu enimmäkseen, luota puheen lukuun.

Ei. Benchmark on synteettinen: automaattinen testisarjamme ajaa kiinteän FLORES-200-vertailuaineiston putken läpi joka viikko, ja se on näiden lukujen ainoa lähde. Demossa ajettuja istuntoja ei pisteytetä eikä tallenneta benchmarkiin, eikä meetingejäsi koskaan käytetä siihen.

Avaa kielipari omalle sivulleen yllä olevasta taulukosta: siinä näkyvät mediaani, vaihteluväli ja otoskoko kuukausittain sekä kehitys kuukausien yli. Voit tarkistaa parin omalla aineistollasi avaamalla testiympäristön – saman kaksiruutuisen asetelman, jossa benchmark ajetaan – ja puhumalla tai kirjoittamalla omalla kielelläsi; mikään ei käynnisty itsestään eikä mitään tallenneta. Jos paria ei ole listalla, se ei ole vielä ylittänyt julkaisurajaa tai sitä ei ole vielä tuotteessa. Matalat pistemäärät löytyvät suoralla linkillä; emme piilota niitä.