অনুবাদ-মানের মার্কেটিং কেন ভুল পথে — আর আমরা তার বদলে কী প্রকাশ করি

যেকোনো লাইভ-অনুবাদ ভেন্ডরের সাইট খুলুন। একই ধরনের সংখ্যা চোখে পড়বে:

• "200+ ভাষা"
• "6,000+ ভাষা-জোড়া"
• "বিশ্বের প্রথম" / "সর্বোচ্চ নির্ভুলতা"
• "99% নির্ভুল"

এবার ওই ভেন্ডর পেজগুলোর কোনোটিতে খুঁজে দেখুন, আপনি যে মিটিং চালাতে যাচ্ছেন তার জন্য এই সংখ্যাগুলোর অর্থ কী। প্রতিটি ভাষার মান। পুনরুৎপাদনযোগ্য পদ্ধতি। নমুনার আকার। সময়ের সঙ্গে স্কোরের পরিবর্তন। মডেল কোথায় দুর্বল, তার সৎ প্রকাশ।

এগুলো আপনি পাবেন না। মার্কেটিং কপিতে নয়, আর ডকুমেন্টেশনেও কচিৎ।

এটিই এই ক্যাটাগরির ভারসাম্যাবস্থা। এর পেছনে তিনটি কারণ আছে:

1. বেশিরভাগ ভেন্ডরের নিজস্ব অনুবাদ ইঞ্জিন নেই। তারা OpenAI, Google, DeepL, Microsoft, অথবা এগুলোর কোনো সমন্বয়ের মধ্য দিয়ে রুট করে। জোড়াভিত্তিক মানের তথ্য প্রকাশ করা মানে অন্য কারও মডেলের বেঞ্চমার্কিং করা — এতে মার্কেটিং-মূল্য নেই।
2. সৎ মানের তথ্য বিলবোর্ডে তোলা কঠিন। একটিমাত্র স্কোরে অনেক নয়েজ থাকে। বিন্যাস (distribution) বেশি কাজের, কিন্তু সংক্ষেপে দেখানো কঠিন। last-six-months trend আরও কাজের, আর আরও কঠিন।
3. ক্রয় বিভাগ এখনো প্রশ্ন তোলেনি। ক্রেতারা মার্কেটিংয়ের সংখ্যা আপাতমূল্যেই মেনে নেয়, ফলে ভারসাম্য টিকে থাকে।

এই ভারসাম্য টিকবে না। পরবর্তী প্রজন্মের ক্রেতারা — ফার্মা, আইন, অর্থ, অডিট, সরকারি খাত — "কয়টি ভাষা" এর চেয়ে কঠিন প্রশ্ন করবেন। আমরা /benchmark তৈরি করেছি, কারণ আমরা মনে করি ভেন্ডরের কথা চোখ বুজে মেনে নেওয়ার প্রয়োজন তাঁদের থাকা উচিত নয়।

মার্কেটিংয়ের সংখ্যা আপনাকে যা বলে না

"200+ ভাষা" মানে ভেন্ডরের এমন একটি মডেল আছে যা 200টি ভাষায় টেক্সট তৈরি করে। এসব ভাষায় মান প্রধান জোড়ায় (EN↔DE, EN↔ES, EN↔FR) প্রোডাকশন-মানের থেকে শুরু করে স্বল্প-সম্পদের জোড়ায় কোনোমতে ব্যবহারযোগ্য পর্যন্ত হয়ে থাকে। জোড়াভিত্তিক বিশ্লেষণ ছাড়া আপনার মিটিং ওই রেখার কোন পাশে পড়বে, তা বলা যায় না।

"6,000+ ভাষা-জোড়া" হলো 80টি সোর্স ভাষার উপর N × N কম্বিনেটরিক্স। 6,000 জোড়া সমর্থনের কথা বলা সহজ অংশ। কোনো নির্দিষ্ট জোড়া CAPA রিভিউ, চুক্তি-আলোচনা বা আর্নিংস কলের জন্য যথেষ্ট ভালো — এটা বলা যে অংশ, সেটি ব্রোশিয়ারে থাকে না।

"99% নির্ভুল" — কী পরিমাপ করা হয়েছে, কোন রেফারেন্সের বিপরীতে, কোন নমুনায়, কোন বিচারকের দ্বারা, তা না বললে — এটি বিষয়বস্তুহীন। অনুবাদের মানের কোনো সর্বজনীন একক সংখ্যা নেই। এটি একটি বিন্যাস, যা নির্ভর করে ভাষা-জোড়া, কনটেন্টের ক্ষেত্র, অডিওর মান (ভয়েসের ক্ষেত্রে), লেটেন্সি বাজেট এবং নির্দিষ্ট ব্যবহারের ক্ষেত্রে "যথেষ্ট ভালো" বলতে কী বোঝায় তার উপর।

একজন ক্রেতার আসলে কী জানা দরকার

বাস্তব DPA রিভিউ ও ক্রয় মূল্যায়নে যে প্রশ্নগুলো ওঠে:

1. জোড়াভিত্তিক মান — DE↔EN, EN↔AR, JA↔KO-তে এটি ঠিক কেমন পারফর্ম করে?
2. নমুনার আকার — আপনার প্রকাশিত সংখ্যাটি কতবার রানের উপর ভিত্তি করে? দশ? দশ হাজার?
3. পদ্ধতি — কে অনুবাদ বিচার করছে, কোন রেফারেন্সের বিপরীতে, কোন রুব্রিক দিয়ে?
4. গড় নয়, বিন্যাস — সবচেয়ে খারাপ 10% দেখতে কেমন? সবচেয়ে ভালো 10%? মিডিয়ান?
5. সময়ের সঙ্গে সরণ (drift) — সর্বশেষ সংখ্যা প্রকাশের পর কোনো জোড়া কি ভালো বা খারাপ হয়েছে?
6. যা আপনি পরিমাপ করেন না — আপনার বেঞ্চমার্ক স্পষ্টভাবে কী ধারণ করে না?

এর কোনোটিই উত্তরহীন নয়। শুধু এগুলো কারও মার্কেটিং পেজে নেই।

আমরা যা প্রকাশ করি

/benchmark আমাদের উত্তর। পদ্ধতি রয়েছে /benchmark/methodology-তে — আপনি যে এটি পড়বেন তা জানার আগেই লেখা।

তিনটি বিষয় এটিকে ক্যাটাগরির সাধারণ রীতি থেকে আলাদা করে।

1. বাছাই করা স্যুট নয়, বাস্তব ট্রাফিক

পাবলিক বেঞ্চমার্কের প্রতিটি স্কোর আসে বাস্তব /demo টেস্ট রান থেকে। ভালো পারফর্ম করে এমন জোড়া আমরা আগে থেকে বেছে নিই না। ক্রেতার ডেমো যে পাইপলাইনে চলে, মাপা হয় সেটিকেই।

2. বিচারকের নাম জানানো হয়

প্রাইমারি: google/gemini-3.5-flash। ফলব্যাক: anthropic/claude-sonnet-5। দুটোই Vercel AI Gateway-র মাধ্যমে। বিচারক পদ্ধতিরই অংশ — নামসহ প্রকাশিত। যখন আমরা বিচারক বদলাই (মডেল অবসরে গেলে বদলেছি), পুরোনো সারিতে সেই বিচারকের নামই থাকে যিনি আসলে স্কোর করেছিলেন; পুরোনো স্কোর কখনো নীরবে পুনরায় স্কোর করা হয় না।

3. গড় নয়, বিন্যাসই তথ্য

প্রকাশিত প্রতিটি সারিতে মিডিয়ান, p10, p90, min, max এবং নমুনার আকার দেখানো হয় — একটিমাত্র সংখ্যা নয়। একটি অনুবাদ-জোড়ার জন্য একক সংখ্যা নয়েজ। বিন্যাসের আকৃতিই সংকেত।

যেসব অনুশীলন এই ক্যাটাগরি এখনো গ্রহণ করেনি

• কম স্কোরের জোড়া লুকানো হয় না। পাবলিক ইন্ডেক্স ≥ 10 distinct IPs, ≥ 10 runs, median ≥ 60 শর্তে গেটেড — কিন্তু যে কেউ সরাসরি ডিপ-লিংকে যেকোনো জোড়ায় গিয়ে আসল সংখ্যা দেখতে পারেন, এমনকি এই মাসে যেসব জোড়া খারাপ করছে সেগুলোও।
• জানা সমস্যাগুলো নথিবদ্ধ। 2026-এর শুরুতে কয়েক সপ্তাহ chat-test harness ভাঙা থাকলে সেই সময়কাল ইন্ডেক্স থেকে বাদ দেওয়া হয়েছে এবং মেথডোলজি পেজে লিখিতভাবে উল্লেখ করা হয়েছে। ইতিহাস নীরবে নতুন করে লেখা হয় না।
• আমরা ইচ্ছাকৃতভাবে যা দাবি করি NOT — মেথডোলজি পেজে এটি একটি পূর্ণ অংশ। LLM বিচারক নিজে কোথায় অসম্পূর্ণ, তা আমরা বলি। আমরা কী পরিমাপ করি না, তাও বলি (লেটেন্সি, খরচ, ব্যবহারকারীর সন্তুষ্টি, অনুবাদ চলার আগের ASR-পর্যায়ের ত্রুটি)। আমাদের নিজস্ব স্বয়ংক্রিয় স্মোক টেস্টও যে ট্রাফিকের অংশ, তা আমরা প্রকাশ করি।

পরবর্তী ভেন্ডর মূল্যায়নের জন্য একটি ছাঁকনি

আপনি যদি কোনো বহুভাষিক মিটিং প্ল্যাটফর্ম মূল্যায়ন করেন — আমাদেরটি বা অন্য কোনোটি — পড়ার মতো পেজ হলো মেথডোলজি। সংখ্যাগুলো নিজেরা সহজ অংশ।

এই ক্যাটাগরির যেকোনো ভেন্ডরের জন্য একটি বাস্তবসম্মত ছাঁকনি:

• বাস্তব ট্রাফিকের উপর জোড়াভিত্তিক, মাসভিত্তিক মানের তথ্য চান। বাছাই করা বেঞ্চমার্ক নয়। সামগ্রিক গড়ও নয়।
• তাদের বিচারক কে, তারা স্পষ্টভাবে কী পরিমাপ করে না, আর গত ছয় মাসে কী বদলেছে — জিজ্ঞেস করুন।
• কোনো জোড়ার স্কোর কমে গেলে কী হয়, জিজ্ঞেস করুন — তারা কি কাউকে জানায়, নাকি নীরবে ঠিক করে?

ভেন্ডরের কাছে তিনটি উত্তরই লিখিতভাবে থাকলে গুরুত্ব দিয়ে মূল্যায়ন করুন। না থাকলে আপনি মার্কেটিং কিনছেন — অনুবাদের মান নয়।

নিজে চেষ্টা করুন

• লাইভ ডেমো চেষ্টা করুন — আপনার অডিওর উপর প্রোডাকশন অনুবাদ পাইপলাইন চালায়, পাবলিক বেঞ্চমার্ক যে বিচারক স্কোর করে সেই একই বিচারক দিয়ে স্কোর করে এবং আউটপুট দেখায়।
• বেঞ্চমার্ক দেখুন — প্রকাশিত প্রতিটি ভাষা-জোড়া, প্রতিটি মাস, পূর্ণ বিন্যাসসহ।
• মেথডোলজি পড়ুন — সংখ্যাগুলো কীভাবে গণনা হয়, তাতে কী অন্তর্ভুক্ত, আর কী নয়।

এর কোনোটির জন্যই আপনাকে আমাদের কথা বিশ্বাস করতে হবে না। এটাই মূল কথা।

সূত্র: উপরের বিচারক-শনাক্তকারী, গেটিং থ্রেশহোল্ড ও সাপ্রেশন নিয়মগুলো শিপ করা কোডের বিপরীতে যাচাই করা এবং /benchmark/methodology-তে প্রকাশিত; বিচারকেরা Vercel AI Gateway-এর মাধ্যমে পরিবেশিত; শুরুতে উদ্ধৃত মার্কেটিং দাবিগুলো ক্যাটাগরি-সাধারণ বাক্যাংশ, কোনো নির্দিষ্ট ভেন্ডরের উদ্ধৃতি নয়; আগস্ট 2026-এ যাচাই করা।