Metodik

Referensvärdet för översättningskvalitet i InterMIND tas fram automatiskt av vår egen testsvit: en veckovis syntetisk körning driver samma översättningskedja som ligger bakom den publika /demo över en fast referensuppsättning, på samma sätt för varje språkpar. Den är syntetisk och reproducerbar – inget här är handplockat eller utvalt för att se bra ut, och ingen människa deltar i poängsättningen.

Så fungerar ett enskilt test

En testkörning spelar upp en referensljudfil (rösttest) eller skickar en referenstext (chattest) från ett källspråk genom vår live-översättningskedja till ett målspråk. Den resulterande översättningen poängsätts 0–100 av en LLM-bedömare mot en kanonisk referensöversättning.

LLM-bedömare: google/gemini-3.8-flash primärt, anthropic/claude-sonnet-5 som reserv (via Vercel AI Gateway). Samma prompt, samma bedömningsmall och samma referenstexter används för alla par.

Så aggregeras en månad

1. Varje avslutad fullständig benchmarkkörning sparas i demo_test_runs med poäng per målspråk. Förhandsvisningar av enskilda par är undantagna – endast fullständiga körningar med flera språk ingår i medianerna.
2. För varje kombination av (källspråk, målspråk, testtyp, vecka) behåller vi den senaste körningen och aggregerar sedan per månad – så att en enskild källa inte kan påverka medianerna genom att upprepa ett par under samma vecka.
3. Från den deduplicerade mängden beräknar vi median, min, max, p10, p90, medelvärde och urvalsstorlek.
4. Vi tar en ögonblicksbild av de enskilda poängen, så att siffrorna förblir stabila när en månad har stängts, även efter att råa körningar har raderats via TTL.

När ett par visas i det publika indexet

En rad (par × testtyp × månad) är kvalificerad för det publika indexet och sitemappen när den uppnår en minsta urvalsstorlek och ett golv för medianpoäng (ett lägre golv för röst, som har oundvikligt ASR-brus). Eftersom datamängden kommer från en enda automatiserad källa snarare än från många oberoende besökare, är kravet på unika källor lättat för dessa syntetiska data – golven för urvalsstorlek och kvalitet gäller fortfarande.

Par som inte når upp till kraven är fortfarande åtkomliga via direktlänk – tröskelvärdena styr endast vad sökmotorer ser. Vi döljer inte låga poäng för någon som ber om dem direkt.

Vad vi medvetet INTE påstår

• En enskild poäng är inte tillförlitlig. Ett välfungerande par kan svänga 30 poäng mellan körningar eftersom både ASR och LLM-bedömning är brusiga. Därför visar varje sida en fördelning, inte ett enskilt tal.
• LLM-bedömaren i sig är ofullkomlig. Vi kan komma att byta eller använda dubbla bedömare i framtiden; historiska rader kommer då att bära bedömarens identifierare.
• Referensvärdet mäter inte latens, kostnad, tillgänglighet eller användarnöjdhet. Det finns på andra ställen.
• Datamängden är syntetisk – framtagen av vår egen automatiska svit, inte av oberoende trafik från tredje part. Vi redovisar detta uttryckligen i stället för att antyda en extern panel.

Ärliga besked

När en månad försämras i kvalitet för ett visst par – förblir den synlig. När ett fel rättas och nästa månad stiger – syns förbättringen på samma sida. Vi skriver aldrig om historiska aggregat. Administratörer kan endast dölja enskilda månader från det publika indexet; de kan inte ändra siffror som redan har publicerats.

Kända problem som påverkar historiska data

• Chattestmiljön, före 2026-04-23: den automatiska chattestkedjan hade fel för enskilda språk. Chattaggregat från tidigare månader kan visa lägre poäng än den faktiska översättningskvaliteten under de perioderna. Berörda månader finns kvar i databasen men är utelämnade från det publika indexet; trenddiagrammet visar ett stegvist språng vid rättelsen.

Frågor

Håller du inte med om något här? Öppna ett ärende eller skriv till oss. Vi uppdaterar den här sidan och noterar ändringen.