Menetelmä

InterMINDin käännöslaadun benchmark tuotetaan automaattisesti omalla testisarjallamme: viikoittainen synteettinen ajo käyttää samaa käännösputkea, joka pyörittää julkista /demo-sivua, kiinteän vertailuaineiston läpi, samalla tavalla jokaiselle kieliparille. Ajo on synteettinen ja toistettavissa — mitään ei ole valikoitu tai poimittu parhaita päältä, eikä pisteytyksessä ole mukana ihmistä.

Miten yksittäinen testi toimii

Testiajo toistaa vertailuääniraidan (puhetesti) tai lähettää vertailutekstin (chat-testi) lähdekielestä kohdekieleen live-käännösputkemme läpi. Syntyneen käännöksen pisteyttää LLM-arvioija asteikolla 0–100 kanonista vertailukäännöstä vasten.

LLM-arvioija: ensisijaisesti google/gemini-3.8-flash, varavaihtoehtona anthropic/claude-sonnet-5 (Vercel AI Gatewayn kautta). Kaikille pareille käytetään samaa kehotetta, arviointikriteeristöä ja vertailutekstejä.

Miten kuukausi aggregoidaan

Jokainen valmistunut täysi benchmark-ajo tallennetaan tauluun demo_test_runs kohdekielikohtaisine pisteineen. Yksittäisten parien esikatseluajot jätetään pois — mediaaneihin vaikuttavat vain täydet monikieliset ajot.
Jokaiselle yhdistelmälle (lähdekieli, kohdekieli, testityyppi, viikko) säilytetään viimeisin ajo ja aggregoidaan sitten kuukausitasolla — näin yksittäinen lähde ei voi heilutella mediaaneja toistamalla samaa paria viikon sisällä.
Deduplikoidusta joukosta lasketaan mediaani, minimi, maksimi, p10, p90, keskiarvo ja otoskoko.
Tallennamme yksittäiset pisteet tilannekuvana, jotta numerot pysyvät vakaina kuukauden päätyttyä, vaikka raakaajot poistuisivat TTL:n myötä.

Milloin kielipari näkyy julkisessa hakemistossa

Rivi (pari × testityyppi × kuukausi) kelpaa julkiseen hakemistoon ja sivustokarttaan, kun se ylittää vähimmäisotoskoon ja mediaanipistemäärän alarajan (puheelle alempi raja, koska siinä on väistämätöntä ASR-kohinaa). Koska aineisto tulee yhdestä automaattisesta lähteestä eikä monilta riippumattomilta kävijöiltä, uniikkien lähteiden vaatimusta on lievennetty tälle synteettiselle datalle — otoskoon ja laadun alarajat pätevät edelleen.

Rajan alle jäävät parit ovat edelleen saatavilla suoralla linkillä — kynnysarvot rajaavat vain sen, mitä hakukoneet näkevät. Emme piilota alhaisia pisteitä keneltäkään, joka kysyy niitä suoraan.

Mitä emme tarkoituksella väitä

Yksittäiseen pistemäärään ei voi luottaa. Hyvin toimiva pari voi heilahtaa 30 pistettä ajojen välillä, koska sekä ASR että LLM-arviointi ovat kohinaisia. Siksi jokaisella sivulla näytetään jakauma, ei yksittäistä lukua.
LLM-arvioija itsekin on epätäydellinen. Saatamme vaihtaa arvioijaa tai käyttää kahta arvioijaa tulevaisuudessa; silloin historialliset rivit sisältävät arvioijan tunnisteen.
Benchmark ei mittaa viivettä, kustannuksia, saatavuutta eikä käyttäjätyytyväisyyttä. Ne löytyvät muualta.
Aineisto on synteettinen — oman automaattisen testisarjamme tuottama, ei riippumattoman kolmannen osapuolen liikenteen. Kerromme tämän avoimesti sen sijaan, että antaisimme ymmärtää taustalla olevan ulkopuolisen paneelin.

Rehelliset ratkaisut

Kun kuukauden laatu laskee tietyllä parilla — se pysyy näkyvissä. Kun virhe korjataan ja seuraavan kuukauden tulos hyppää ylöspäin — parannus näkyy samalla sivulla. Emme koskaan kirjoita historiallisia aggregaatteja uusiksi. Ylläpitäjät voivat vain piilottaa yksittäisiä kuukausia julkisesta hakemistosta; he eivät voi muuttaa jo julkaistuja lukuja.

Tunnetut historiadataan vaikuttavat ongelmat

Chat-testiympäristö ennen 2026-04-23: automaattisessa chat-testiputkessa oli kielikohtaisia virheitä. Aiempien kuukausien chat-aggregaatit voivat näyttää alhaisempia pisteitä kuin kyseisten jaksojen todellinen käännöslaatu. Vaikutuksen alaiset kuukaudet säilytetään tietokannassa, mutta ne on suljettu pois julkisesta hakemistosta; trendikaaviossa näkyy porrasmainen muutos korjauksen kohdalla.

Kysymykset

Oletko eri mieltä jostakin täällä? Avaa issue tai kirjoita meille. Päivitämme tämän sivun ja merkitsemme muutoksen.