فارس‌ایول (FarsEval) یک بنچمارک جامع برای ارزیابی عملکرد مدل‌های زبانی بزرگ در زبان فارسی است که با هدف پوشش طیف گسترده‌ای از قابلیت‌ها، دامنه‌ها و ملاحظات زبانی–فرهنگی طراحی شده است. این بنچمارک توانمندی مدل‌ها را در حوزه‌هایی متنوع از جمله تولید متن، دانش عمومی، زبان فارسی، مذهب و حوزه‌های تخصصی نظیر پزشکی و حقوق، در قالب پرسش‌وپاسخ مورد ارزیابی قرار می‌دهد.
یکی از ویژگی‌های متمایز فارس‌ایول، توجه به بافت فرهنگی، اجتماعی و مذهبی ایران در فرایند تولید داده‌هاست؛ به‌گونه‌ای که بسیاری از پرسش‌ها ناظر به مسائل بومی و فرهنگی بوده و امکان ارزیابی دقیق‌تری از میزان انطباق مدل‌ها با زبان فارسی و فرهنگ ایرانی را فراهم می‌کند. علاوه بر این، فارس‌ایول ابعاد اخلاقی عملکرد مدل‌ها را نیز در نظر می‌گیرد و جنبه‌هایی نظیر سوگیری‌های جنسیتی و قومیتی، رعایت حقوق دیگران، محتوای توهین‌آمیز و ملاحظات اخلاقی را به‌صورت صریح مورد سنجش قرار می‌دهد.
این بنچمارک انواع قالب‌ها از جمله پرسش‌های چندگزینه‌ای، پاسخ کوتاه و تشریحی را شامل می‌شود؛ امری که امکان ارزیابی رفتار مدل‌ها را در سناریوهای مختلف فراهم می‌سازد. بخش اصلی داده‌های فارس‌ایول توسط انسان و در یک فرایند تولید نظارت‌شده گردآوری شده‌اند.
مشاهده جزئیات بیشتر و دانلود پیکره