AI-översättning Kvalitet Benchmark

För att antalet språk fortsätter att växa. Varje språk vi lägger till i produkten ingår i den veckovisa benchmarkkörningen och hamnar i indexet så snart det klarar publiceringsgränsen – och ett nytt språk startar sällan på samma nivå som ett par vi har finjusterat i ett år. Huvudsiffran är medianen för alla publicerade par under kvartalet, så en grupp nykomlingar drar ned den även när alla etablerade par ligger kvar eller förbättras. De nya paren stiger sedan i takt med att vi finjusterar dem, och indexet repar sig. Om du vill se framstegen för ett enskilt språk kan du öppna dess parsida nedan: den trenden späds inte ut av något annat.

Varje test skickar en referenstext (chatt) eller spelar upp en referensljudfil (röst) genom samma live-pipeline som produkten använder, och en LLM-bedömare poängsätter resultatet från 0 till 100 mot en kanonisk referensöversättning. Betygen delas in i nivåer: 90 och över är utmärkt, 70–89 bra, 50–69 godtagbart, under 50 svagt. En enskild körning kan variera med tiotals poäng eftersom både taligenkänningen och bedömaren är brusiga, så bedöm ett par utifrån dess median och spridning under en månad, inte utifrån ett enskilt tal.

Röst är ett enda betyg från början till slut: taligenkänning plus översättning. Chatt är enbart översättning av skriven text. Igenkänningsfel hamnar i röstbetyget, så röstpar ligger i snitt lägre och har en lägre publiceringsgräns – 45 mot 60 för chatt. Om ert team mest skriver är det chattsiffran ni ska titta på; om det mest pratar, lita på röstsiffran.

Nej. Benchmarken är syntetisk: vår automatiserade testsvit spelar upp en fast referensuppsättning från FLORES-200 genom pipelinen varje vecka, och det är den enda källan till siffrorna. Sessioner som folk kör i demon varken poängsätts eller sparas i benchmarken, och era meetings används aldrig för den.

Öppna språkparets egen sida i tabellen ovan: där visas median, spridning och urvalsstorlek per månad, samt trenden över månaderna. Vill du testa med ditt eget material öppnar du testmiljön – samma tvåpanelsuppsättning som benchmarken körs i – och talar eller skriver på ditt språk; inget startar av sig självt och inget sparas. Om ett språkpar inte finns med har det ännu inte nått publiceringsgränsen eller finns inte i produkten ännu. Låga betyg går att nå via direktlänk; vi gömmer dem inte.