AI-oversættelse Kvalitet Benchmark

Fordi antallet af sprog bliver ved med at vokse. Hvert sprog, vi tilføjer produktet, bliver en del af den ugentlige benchmarkkørsel og kommer med i indekset, så snart det overskrider offentliggørelsesgrænsen – og et nyt sprog starter sjældent dér, hvor et par, vi har finjusteret i et år, befinder sig. Hovedtallet er medianen på tværs af alle offentliggjorte par i kvartalet, så en gruppe nye par trækker det ned, selv om alle etablerede par holder niveauet eller forbedres. De nye par stiger, efterhånden som vi finjusterer dem, og indekset retter sig igen. Hvis du vil se fremgangen for ét sprog, så åbn dets parside nedenfor: Den trend bliver ikke fortyndet af noget andet.

Hver test sender en referencetekst (chat) eller afspiller en referencelydfil (tale) gennem den samme live-pipeline, som produktet bruger, og en LLM-dommer scorer outputtet fra 0 til 100 i forhold til en kanonisk referenceoversættelse. Scorerne falder i bånd: 90 og derover er fremragende, 70–89 god, 50–69 acceptabel, under 50 svag. En enkelt kørsel kan svinge med flere titals point, fordi både talegenkendelsen og dommeren er upræcise, så vurder et par ud fra dets median og interval over en måned – ikke ud fra ét enkelt tal.

Tale er én score fra ende til anden: talegenkendelse plus oversættelse. Chat er oversættelse af indtastet tekst alene. Genkendelsesfejl havner i talescoren, så talesprogpar ligger i gennemsnit lavere og har en lavere offentliggørelsesgrænse – 45 mod 60 for chat. Hvis jeres team mest skriver, er chattallet det, I skal se på; hvis det mest taler, så stol på talescoren.

Nej. Benchmarket er syntetisk: Vores automatiserede testsuite afspiller hver uge et fast FLORES-200-referencesæt gennem pipelinen, og det er den eneste kilde til tallene. Sessioner, som folk kører i demoen, bliver hverken scoret eller gemt i benchmarket, og jeres møder bruges aldrig til det.

Åbn parrets egen side fra tabellen ovenfor: Den viser median, interval og stikprøvestørrelse pr. måned samt udviklingen på tværs af måneder. Hvis du vil tjekke det på dit eget materiale, kan du åbne testopsætningen – den samme opsætning med to ruder, som benchmarket kører i – og tale eller skrive på dit sprog; intet starter af sig selv, og intet bliver gemt. Hvis et par ikke er på listen, har det endnu ikke nået offentliggørelsesgrænsen eller er endnu ikke i produktet. Lave scorer kan stadig findes via direkte link; vi skjuler dem ikke.