מדוע שיווק איכות התרגום שבור — ומה אנחנו מפרסמים במקומו

היכנסו לאתר של כל ספק תרגום חי. תראו את אותם סוגי מספרים:

• "200+ שפות"
• "6,000+ צמדי שפות"
• "הראשון בעולם" / "הדיוק הגבוה ביותר"
• "דיוק של 99%"

עכשיו נסו למצוא — בכל אחד מדפי הספקים האלה — מה המספרים האלה אומרים על פגישה שאתם עומדים לקיים. איכות לכל שפה. מתודולוגיה שניתן לשחזר. גודל מדגם. ציון לאורך זמן. גילוי כן של המקומות שבהם המודל חלש.

לא תמצאו את זה. לא בטקסטים השיווקיים, ולעיתים נדירות גם בתיעוד.

זהו שיווי המשקל של הקטגוריה. הוא קיים בגלל שלושה דברים:

1. רוב הספקים אינם הבעלים של מנוע התרגום שלהם. הם מנתבים דרך OpenAI, Google, DeepL, Microsoft או שילוב כלשהו ביניהם. פרסום נתוני איכות לכל צמד שפות יהיה בעצם מדידה של המודל של מישהו אחר — ואין בכך ערך שיווקי.
2. נתוני איכות כנים קשה לתלות על שלט חוצות. ציון בודד הוא רועש. התפלגות שימושית יותר אך קשה יותר לדחיסה. מגמה של ששת החודשים האחרונים שימושית עוד יותר, וקשה עוד יותר.
3. הרכש עדיין לא התנגד. הקונים מקבלים את המספרים השיווקיים כפשוטם, ולכן שיווי המשקל נשמר.

שיווי המשקל הזה לא יחזיק מעמד. הדור הבא של הקונים — פארמה, משפט, פיננסים, ביקורת, המגזר הציבורי — הולך לשאול שאלות קשות יותר מ"כמה שפות". בנינו את /benchmark כי אנחנו סבורים שהם לא צריכים להסתמך על המילה של הספק.

מה שהמספרים השיווקיים לא מספרים לכם

"200+ שפות" פירושו שלספק יש מודל שמפיק טקסט ב-200 שפות. האיכות בין השפות האלה נעה מרמת ייצור עבור צמדים מרכזיים (EN↔DE, EN↔ES, EN↔FR) ועד שימושיות גבולית עבור צמדים דלי-משאבים. בלי פירוט לפי צמד שפות, אי אפשר לדעת באיזה צד של הקו תנחת הפגישה שלכם.

"6,000+ צמדי שפות" הוא קומבינטוריקה של N × N על 80 שפות מקור. לומר שאתם תומכים ב-6,000 צמדים זו החלק הקל. לומר שצמד מסוים טוב מספיק לסקירת CAPA, למשא ומתן על חוזה או לשיחת דוחות רבעוניים — זה החלק שאינו בחוברת.

"דיוק של 99%", בלי לציין מה נמדד, ביחס לאיזה ייחוס, על איזה מדגם, ובידי איזה שופט — הוא נטול תוכן. לאיכות תרגום אין סקלר אוניברסלי. יש לה התפלגות שתלויה בצמד השפות, בתחום התוכן, באיכות האודיו (בקול), בתקציב ההשהיה, ובמשמעות של "טוב מספיק" עבור מקרה השימוש הספציפי.

מה קונה באמת צריך לדעת

השאלות שעולות בסקירות DPA אמיתיות ובהערכות רכש:

1. איכות לכל צמד — כיצד המערכת מתפקדת ב-DE↔EN, EN↔AR, JA↔KO, בפירוט?
2. גודל מדגם — על כמה הרצות מבוסס המספר שאתם מדווחים? עשר? עשרת אלפים?
3. מתודולוגיה — מי שופט את התרגומים, ביחס לאיזה ייחוס, ולפי איזה רובריקה?
4. התפלגות, לא ממוצע — איך נראים 10% הגרועים ביותר? 10% הטובים ביותר? החציון?
5. סחיפה לאורך זמן — האם צמד מסוים השתפר או הידרדר מאז הפעם האחרונה שפרסמתם מספר?
6. מה אתם לא מודדים — מה המדד שלכם מצהיר במפורש שאינו לוכד?

אף אחת מהשאלות האלה אינה חסרת מענה. הן פשוט לא נמצאות בדף השיווק של אף אחד.

מה אנחנו מפרסמים

/benchmark הוא התשובה שלנו. המתודולוגיה נמצאת ב-/benchmark/methodology — נכתבה לפני שידענו שתקראו את זה.

שלושה דברים מבדילים אותו מנורמות הקטגוריה.

1. תעבורה אמיתית, לא מערך נבחר

כל ציון במדד הציבורי מגיע מהרצת בדיקה אמיתית ב-/demo. אנחנו לא בוחרים מראש צמדים שמניבים ביצועים טובים. אותו צינור שמשרת את הדמו של קונה הוא זה שנמדד.

2. השופט מצוין בשמו

ראשי: google/gemini-3.5-flash. גיבוי: anthropic/claude-sonnet-5. שניהם דרך Vercel AI Gateway. השופט הוא חלק מהמתודולוגיה — ומוצהר בשמו. כשאנחנו מחליפים שופט (עשינו זאת, עם פרישת מודלים), השורות ההיסטוריות נושאות את השופט שאכן נתן להן ציון; ציונים ישנים לעולם לא מקבלים ציון חדש בשקט.

3. ההתפלגות היא הנתון, לא הממוצע

כל שורה שמפורסמת מציגה חציון, p10, p90, מינימום, מקסימום וגודל מדגם — ולא מספר בודד. מספר בודד עבור צמד תרגום הוא רעש. צורת ההתפלגות היא האות.

פרקטיקות שהקטגוריה לא אימצה

• צמדים עם ציון נמוך אינם מוסתרים. האינדקס הציבורי מסונן לפי ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 — אבל כל אחד יכול לקשר ישירות לכל צמד ולראות את המספרים האמיתיים, כולל הצמדים שמציגים ביצועים גרועים החודש.
• בעיות ידועות מתועדות. כשמערך בדיקות הצ'אט היה תקול במשך כמה שבועות בתחילת 2026, התקופה הזו הוסרה מהאינדקס ונרשמה בכתב בדף המתודולוגיה. ההיסטוריה לא נכתבת מחדש בשקט.
• מה שאנחנו במכוון לא טוענים הוא פרק שלם בדף המתודולוגיה. אנחנו מציינים היכן שופט ה-LLM עצמו אינו מושלם. אנחנו מציינים מה איננו מודדים (השהיה, עלות, שביעות רצון משתמשים, שגיאות בצד ה-ASR עוד לפני שהתרגום רץ). אנחנו מגלים שבדיקות העשן האוטומטיות שלנו עצמנו הן חלק מהתעבורה.

מסנן להערכת הספק הבא

אם אתם בוחנים פלטפורמת meetings רב-לשונית כלשהי — שלנו או של אחר — המתודולוגיה היא הדף ששווה לקרוא. המספרים עצמם הם החלק הקל.

מסנן מעשי לכל ספק בקטגוריה הזו:

• בקשו נתוני איכות לכל צמד שפות ולכל חודש על תעבורה אמיתית. לא מדד נבחר. לא נתון מצטבר.
• שאלו מיהו השופט שלהם, מה הם במפורש לא מודדים, ומה השתנה בששת החודשים האחרונים.
• שאלו מה קורה כשהציון של צמד יורד — האם הם מספרים למישהו, או מתקנים בשקט?

אם לספק יש את כל שלוש התשובות בכתב, הערכו אותו ברצינות. אם לא, אתם קונים שיווק — לא איכות תרגום.

נסו בעצמכם

• נסו את הדמו החי — מריץ את צינור התרגום של סביבת הייצור על האודיו שלכם, מדרג אותו מול אותו שופט שמדרג את המדד הציבורי, ומציג לכם את הפלט.
• ראו את המדד — כל צמד שפות שפורסם, כל חודש, עם ההתפלגות המלאה.
• קראו את המתודולוגיה — כיצד המספרים מחושבים, מה הם כוללים ומה לא.

לא תצטרכו להאמין לנו על המילה בשום דבר מזה. זו הנקודה.

מקורות: מזהי השופטים, ספי הסינון וכללי ההסתרה שלעיל אומתו מול הקוד שנשלח לייצור ופורסמו ב-/benchmark/methodology; השופטים מוגשים דרך Vercel AI Gateway; הטענות השיווקיות שצוטטו בראש המסמך הן ניסוחים אופייניים לקטגוריה, ולא ציטוטים של ספק מסוים; נבדק באוגוסט 2026.