תרגום בינה מלאכותית איכות מבחן השוואה

כי קבוצת השפות ממשיכה לגדול. כל שפה שאנחנו מוסיפים למוצר מצטרפת להרצת מבחן ההשוואה השבועית ונכנסת למדד ברגע שהיא עוברת את סף הפרסום — ושפה חדשה כמעט אף פעם לא מתחילה באותה רמה של צמד שאנחנו מכווננים כבר שנה. המספר המוביל הוא החציון של כל הצמדים שפורסמו ברבעון, ולכן קבוצת שפות חדשות מורידה אותו גם כשכל הצמדים הוותיקים נשארים יציבים או משתפרים. הצמדים החדשים עולים ככל שאנחנו מכווננים אותם, והמדד מתאושש. כדי לראות התקדמות בשפה מסוימת, פתחו את דף הצמד שלה למטה: המגמה הזו לא מתדלדלת בגלל שום דבר אחר.

בכל בדיקה נשלח טקסט ייחוס (צ'אט) או מושמע קובץ שמע ייחוס (קול) דרך אותו צינור חי שבו המוצר משתמש, ושופט מבוסס LLM נותן לפלט ציון מ-0 עד 100 ביחס לתרגום ייחוס קנוני. הציונים מתחלקים לרמות: 90 ומעלה הוא מצוין, 70–89 טוב, 50–69 בינוני, מתחת ל-50 חלש. הרצה בודדת יכולה להשתנות בעשרות נקודות, כי זיהוי הדיבור והשופט שניהם רועשים, ולכן שפטו צמד לפי החציון והטווח שלו לאורך חודש, ולא לפי מספר אחד.

ציון הקול הוא ציון אחד מקצה לקצה: זיהוי דיבור ותרגום יחד. ציון הצ'אט מודד רק תרגום של טקסט מוקלד. שגיאות זיהוי נכנסות לציון הקול, ולכן צמדי שפות בקול נוטים לקבל ציונים נמוכים יותר בממוצע, ויש להם סף פרסום נמוך יותר — 45 לעומת 60 בצ'אט. אם הצוות שלכם מקליד בעיקר, הציון שכדאי לבדוק הוא של הצ'אט; אם הוא בעיקר מדבר, הסתמכו על ציון הקול.

לא. מבחן ההשוואה סינתטי: הסוויטה האוטומטית שלנו מריצה מדי שבוע דרך תהליך התרגום מערך התייחסות קבוע של FLORES-200, וזה המקור היחיד למספרים האלה. סשנים שמשתמשים מריצים בדמו אינם מקבלים ציון ואינם נשמרים במבחן ההשוואה, וה-meetings שלכם אינם משמשים אותו לעולם.

פתחו את הדף של הצמד מהטבלה שלמעלה: הוא מציג חציון, טווח וגודל מדגם לכל חודש, ואת המגמה לאורך החודשים. כדי לבדוק על החומר שלכם, פתחו את מערך הבדיקה — אותה סביבת שני חלונות שבה רץ מבחן ההשוואה — ודברו או הקלידו בשפה שלכם; שום דבר לא מתחיל מעצמו ושום דבר לא נשמר. אם צמד אינו מופיע ברשימה, הוא עדיין לא עבר את סף הפרסום או שהוא עדיין לא קיים במוצר. ציונים נמוכים נשארים נגישים בקישור ישיר; אנחנו לא מסתירים אותם.