Miksi käännöslaadulla markkinointi on rikki – ja mitä me julkaisemme sen sijaan

Avaa minkä tahansa live-käännöspalvelun sivusto. Näet samanlaisia lukuja:

• "200+ kieltä"
• "6 000+ kielparia"
• "Maailman ensimmäinen" / "Korkein tarkkuus"
• "99 % tarkka"

Yritä nyt löytää miltä tahansa näistä sivuista, mitä nämä luvut tarkoittavat kokoukselle, jonka olet pitämässä. Kielikohtainen laatu. Toistettava menetelmä. Otoskoko. Pistemäärän kehitys ajan yli. Rehellinen kuvaus siitä, missä malli on heikko.

Et löydä sitä. Et markkinointitekstistä, ja harvoin dokumentaatiostakaan.

Tämä on alan tasapainotila. Se johtuu kolmesta asiasta:

1. Useimmat toimittajat eivät omista käännösmoottoriaan. Ne reitittävät liikenteen OpenAI:n, Googlen, DeepL:n, Microsoftin tai näiden yhdistelmän kautta. Kieliparikohtaisen laatudatan julkaiseminen tarkoittaisi jonkun toisen mallin vertailua, eikä siinä ole markkinointiarvoa.
2. Rehellistä laatudataa on vaikea panna mainostaululle. Yksittäinen pistemäärä on kohinainen. Jakauma on hyödyllisempi mutta vaikeampi tiivistää. last-six-months trend on vielä hyödyllisempi ja vielä vaikeampi.
3. Hankinta ei ole vielä vaatinut parempaa. Ostajat hyväksyvät markkinointiluvut sellaisinaan, ja siksi tasapaino pysyy.

Tasapaino ei tule pysymään. Seuraava ostajasukupolvi – lääketeollisuus, juridiikka, rahoitusala, tilintarkastus, julkinen sektori – kysyy kovempia kysymyksiä kuin "kuinka monta kieltä". Rakensimme /benchmark-sivun, koska uskomme, ettei kenenkään pitäisi joutua luottamaan toimittajan sanaan.

Mitä markkinointiluvut eivät kerro

"200+ kieltä" tarkoittaa, että toimittajalla on malli, joka tuottaa tekstiä 200 kielellä. Laatu vaihtelee näiden kielten välillä tuotantokelpoisesta suurille pareille (EN↔DE, EN↔ES, EN↔FR) tuskin käyttökelpoiseen vähäresurssisilla pareilla. Ilman kielipariKohtaista erittelyä et voi tietää, kummalle puolelle rajaa kokouksesi osuu.

"6 000+ kielipariä" on N × N -kombinatoriikkaa 80 lähdekielellä. Se, että väittää tukevansa 6 000 paria, on helppo osa. Se, että väittää jonkin tietyn parin riittävän CAPA-katselmukseen, sopimusneuvotteluun tai tulosjulkistukseen, on se osa, jota esitteessä ei ole.

"99 % tarkka" on sisällötön, jos ei kerrota, mitä mitattiin, minkä vertailuaineiston suhteen, millä otoksella ja minkä arvioijan toimesta. Käännöslaadulla ei ole yleispätevää yksittäistä lukua. Sillä on jakauma, joka riippuu kielriparista, sisältöalueesta, äänenlaadusta (puheessa), viivebudjetista ja siitä, mitä "riittävän hyvä" tarkoittaa kyseisessä käyttötapauksessa.

Mitä ostajan todella tarvitsee tietää

Kysymykset, joita isännän kannattaa kysyä ennen kuin luottaa kielipariin asiakaspuhelussa:

1. KielipariKohtainen laatu – miten tämä toimii nimenomaan pareilla DE↔EN, EN↔AR, JA↔KO?
2. Otoskoko – kuinka monta ajoa raportoitu luku perustuu? Kymmenen? Kymmenentuhatta?
3. Menetelmä – kuka arvioi käännökset, minkä vertailuaineiston suhteen ja millä arviointikriteereillä?
4. Jakauma, ei keskiarvo – miltä huonoin 10 % näyttää? Paras 10 %? Mediaani?
5. Muutos ajan yli – onko jokin pari parantunut vai huonontunut sen jälkeen, kun viimeksi julkaisitte luvun?
6. Mitä ette mittaa – mitä vertailunne nimenomaisesti ei kata?

Mikään näistä ei ole vastaamattomissa. Ne eivät vain ole kenenkään markkinointisivulla.

Mitä me julkaisemme

/benchmark on meidän vastauksemme. Menetelmä on osoitteessa /benchmark/methodology, ja se kirjoitettiin ennen kuin tiesimme sinun lukevan tätä.

Kolme asiaa erottaa sen alan tavanomaisesta käytännöstä.

1. Todellinen liikenne, ei kuratoitu testisarja

Jokainen julkisen vertailun pistemäärä tulee todellisesta /demo-testiajosta. Emme valitse etukäteen pareja, jotka pärjäävät hyvin. Sama putki, joka palvelee ostajan demoa, on se, jota mitataan.

2. Arvioija on nimetty

Ensisijainen: google/gemini-3.5-flash. Varalla: anthropic/claude-sonnet-5. Molemmat Vercel AI Gatewayn kautta. Arvioija on osa menetelmää, ja se kerrotaan nimeltä. Kun vaihdamme arvioijaa (olemme vaihtaneet, kun malleja on poistunut käytöstä), historialliset rivit säilyttävät sen arvioijan, joka ne todella pisteytti. Vanhoja pistemääriä ei koskaan pisteytetä hiljaa uudelleen.

3. Jakauma on data, ei keskiarvo

Jokainen julkaistu rivi näyttää mediaanin, p10:n, p90:n, minimin, maksimin ja otoskoon, ei yksittäistä lukua. Yksittäinen luku käännöskielipariille on kohinaa. Jakauman muoto on signaali.

Käytännöt, joita ala ei ole omaksunut

• Heikosti pärjääviä pareja ei piiloteta. Julkinen indeksi rajataan ehdolla ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60, mutta kuka tahansa voi linkittää suoraan mihin tahansa pariin ja nähdä todelliset luvut, myös parien, jotka pärjäävät tässä kuussa huonosti.
• Tunnetut ongelmat dokumentoidaan. Kun chat-testiympäristö oli rikki muutaman viikon alkuvuodesta 2026, kyseinen jakso suljettiin pois indeksistä ja kirjattiin menetelmäsivulle. Historiaa ei kirjoiteta hiljaa uusiksi.
• Mitä emme nimenomaisesti väitä on kokonainen osio menetelmäsivulla. Kerromme, missä LLM-arvioija itse on epätäydellinen. Kerromme, mitä emme mittaa (viive, kustannus, käyttäjätyytyväisyys, ASR-puolen virheet ennen kuin käännös edes käynnistyy). Kerromme myös, että omat automaattiset savutestimme ovat osa liikennettä.

Suodatin seuraavaan toimittaja-arviointiin

Jos arvioit mitä tahansa monikielistä kokousalustaa – meidän tai jonkun muun – menetelmä on se sivu, joka kannattaa lukea. Luvut itse ovat helppo osa.

Käytännöllinen suodatin mille tahansa alan toimittajalle:

• Pyydä kielipari- ja kuukausikohtaista laatudataa todellisesta liikenteestä. Ei kuratoitua vertailua. Ei aggregaattia.
• Kysy, mikä heidän arvioijansa on, mitä he nimenomaisesti eivät mittaa ja mikä on muuttunut viimeisen kuuden kuukauden aikana.
• Kysy, mitä tapahtuu, kun jonkin parin pistemäärä laskee – kertovatko he siitä kenellekään vai korjaavatko he sen hiljaa?

Jos toimittajalla on kaikki kolme vastausta kirjallisena, arvioi se vakavasti. Jos ei ole, ostat markkinointia – et käännöslaatua.

Kokeile itse

• Kokeile live-demoa – ajaa tuotantokäännösputken sinun äänelläsi, pisteyttää tuloksen samalla arvioijalla, joka pisteyttää julkisen vertailun, ja näyttää tuloksen.
• Katso vertailu – jokainen julkaistu kielipari, joka kuukausi, koko jakauman kanssa.
• Lue menetelmä – miten luvut lasketaan, mitä ne sisältävät ja mitä eivät.

Sinun ei tarvitse luottaa sanaamme mistään tästä. Se on koko pointti.

Lähteet: yllä mainitut arvioijatunnisteet, rajausehdot ja poissulkusäännöt on tarkistettu julkaistua koodia vasten ja julkaistu osoitteessa /benchmark/methodology; arvioijia palvellaan Vercel AI Gatewayn kautta; alussa lainatut markkinointiväitteet ovat alalle tyypillisiä ilmauksia, eivät lainauksia nimetyltä toimittajalta; tarkistettu elokuussa 2026.