AI-oversettelse Kvalitet Referansetest

Fordi antallet språk stadig vokser. Hvert språk vi legger til i produktet kommer med i den ukentlige referansetesten og går inn i indeksen så snart det passerer publiseringsgrensen – og et nytt språk starter sjelden der et par vi har finjustert i et år ligger. Hovedtallet er medianen for alle publiserte par i kvartalet, så en gruppe nykommere trekker det ned selv om alle etablerte par holder nivået eller forbedrer seg. De nye parene stiger etter hvert som vi finjusterer dem, og indeksen henter seg inn igjen. For å se fremgangen for ett språk kan du åpne siden for paret nedenfor: den trenden blir ikke utvannet av noe annet.

Hver test sender en referansetekst (chat) eller spiller av en referanselydfil (tale) gjennom den samme live-pipelinen som produktet bruker, og en LLM-dommer gir resultatet en poengsum fra 0 til 100 opp mot en kanonisk referanseoversettelse. Poengsummene deles inn i nivåer: 90 og over er utmerket, 70–89 god, 50–69 brukbar, under 50 svak. En enkelt kjøring kan svinge med flere titalls poeng fordi både talegjenkjenningen og dommeren er upresise, så vurder et par etter medianen og spennet over en måned, ikke etter ett enkelt tall.

Tale er én ende-til-ende-poengsum: talegjenkjenning pluss oversettelse. Chat er oversettelse av skrevet tekst alene. Gjenkjenningsfeil havner i talepoengsummen, så talepar ligger lavere i gjennomsnitt og har en lavere publiseringsgrense – 45 mot 60 for chat. Hvis teamet ditt mest skriver, er det chat-tallet du bør se på; hvis det mest snakker, bør du stole på tallet for tale.

Nei. Referansetesten er syntetisk: vår automatiserte testpakke kjører et fast referansesett fra FLORES-200 gjennom pipelinen hver uke, og det er den eneste kilden til disse tallene. Økter som folk kjører i demoen, blir verken scoret eller lagret i referansetesten, og meetingene dine brukes aldri til den.

Åpne språkparets egen side fra tabellen ovenfor: der ser du median, spenn og utvalgsstørrelse per måned, og trenden over månedene. For å sjekke det med ditt eget materiale åpner du testoppsettet – det samme to-panels-oppsettet som referansetesten kjører i – og snakker eller skriver på ditt språk; ingenting starter av seg selv, og ingenting lagres. Hvis et par ikke er oppført, har det ikke passert publiseringsgrensen ennå, eller det finnes ikke i produktet ennå. Lave poengsummer er fortsatt tilgjengelige via direkte lenke; vi skjuler dem ikke.