এআই অনুবাদ মানের বেঞ্চমার্ক

কারণ ভাষার সংখ্যা ক্রমাগত বাড়ছে। পণ্যে আমরা যে ভাষাই যোগ করি, তা সাপ্তাহিক বেঞ্চমার্ক রানে যুক্ত হয় এবং প্রকাশের ন্যূনতম সীমা পার করলেই সূচকে ঢোকে — আর নতুন ভাষা সাধারণত সেখান থেকে শুরু করে না, যেখানে এক বছর ধরে টিউন করা একটি জোড়া দাঁড়িয়ে আছে। শীর্ষ সংখ্যাটি হলো ওই ত্রৈমাসিকের সব প্রকাশিত জোড়ার মিডিয়ান, তাই প্রতিষ্ঠিত প্রতিটি জোড়া একই থাকলে বা উন্নত হলেও একগুচ্ছ নতুন জোড়া সেটিকে নিচে টেনে নামায়। আমরা টিউন করার সাথে সাথে নতুন জোড়াগুলো ওপরে ওঠে এবং সূচক আবার সেরে ওঠে। কোনো একটি ভাষার অগ্রগতি দেখতে নিচে তার জোড়া-পাতা খুলুন: সেই ট্রেন্ড অন্য কিছুর কারণে ম্লান হয় না।

প্রতিটি পরীক্ষায় একটি রেফারেন্স টেক্সট (চ্যাট) পাঠানো হয় বা একটি রেফারেন্স অডিও ফাইল (ভয়েস) চালানো হয়, পণ্য যে লাইভ পাইপলাইন ব্যবহার করে ঠিক সেটির মধ্য দিয়ে, এবং একটি LLM বিচারক আদর্শ রেফারেন্স অনুবাদের বিপরীতে আউটপুটকে ০ থেকে ১০০ স্কোর দেয়। স্কোর কয়েকটি ব্যান্ডে পড়ে: ৯০ ও তার বেশি চমৎকার, ৭০–৮৯ ভালো, ৫০–৬৯ মোটামুটি, ৫০-এর নিচে দুর্বল। একটি রানে স্কোর কয়েক দশ পয়েন্ট পর্যন্ত ওঠানামা করতে পারে, কারণ স্পিচ রিকগনিশন ও বিচারক দুটোতেই কিছু অস্থিরতা থাকে; তাই একটি সংখ্যা দিয়ে নয়, এক মাসের মিডিয়ান ও পরিসর দেখে কোনো জোড়ার মূল্যায়ন করুন।

ভয়েস হলো একটি এন্ড-টু-এন্ড স্কোর: স্পিচ রিকগনিশন ও অনুবাদ মিলিয়ে। চ্যাট হলো শুধু টাইপ করা লেখার অনুবাদ। রিকগনিশনের ভুল ভয়েস স্কোরে ধরা পড়ে, তাই ভয়েস জোড়াগুলোর গড় স্কোর কম হয় এবং প্রকাশের সর্বনিম্ন সীমাও কম — চ্যাটের ৬০-এর বিপরীতে ৪৫। আপনার দল বেশি টাইপ করলে চ্যাটের সংখ্যাটি দেখুন; বেশি কথা বললে ভয়েসের সংখ্যাটির ওপর ভরসা করুন।

না। বেঞ্চমার্কটি সিন্থেটিক: আমাদের স্বয়ংক্রিয় টেস্ট স্যুট প্রতি সপ্তাহে FLORES-200-এর একটি নির্দিষ্ট রেফারেন্স সেট পাইপলাইনের মধ্য দিয়ে চালায়, এবং এই সংখ্যাগুলোর একমাত্র উৎস সেটিই। ডেমোতে মানুষ যে সেশন চালান তা বেঞ্চমার্কে স্কোর করা বা সংরক্ষণ করা হয় না, আর আপনার মিটিং কখনোই এতে ব্যবহার করা হয় না।

উপরের টেবিল থেকে জোড়াটির নিজস্ব পেজ খুলুন: সেখানে প্রতি মাসের মিডিয়ান, পরিসর ও নমুনার আকার এবং মাসওয়ারি ট্রেন্ড দেখা যায়। নিজের উপাদানে যাচাই করতে টেস্ট রিগ খুলুন — বেঞ্চমার্ক যে দুই-প্যানের সেটআপে চলে, ঠিক সেটিই — এবং আপনার ভাষায় বলুন বা টাইপ করুন; কিছুই নিজে থেকে শুরু হয় না এবং কিছুই সংরক্ষণ করা হয় না। কোনো জোড়া তালিকায় না থাকলে বুঝতে হবে সেটি এখনও প্রকাশের সর্বনিম্ন সীমা পার করেনি অথবা এখনও প্রোডাক্টে নেই। কম স্কোরও সরাসরি লিংকে পাওয়া যায়; আমরা সেগুলো লুকাই না।