آزمایشگاه پردازش زبان طبیعی

فارس‌ایول (FarsEval) یک بنچمارک جامع برای ارزیابی عملکرد مدل‌های زبانی بزرگ در زبان فارسی است که با هدف پوشش طیف گسترده‌ای از قابلیت‌ها، دامنه‌ها و ملاحظات زبانی–فرهنگی طراحی شده است. این بنچمارک توانمندی مدل‌ها را در حوزه‌هایی متنوع از جمله تولید متن، دانش عمومی، زبان فارسی، مذهب و حوزه‌های تخصصی نظیر پزشکی و حقوق، در قالب پرسش‌وپاسخ مورد ارزیابی قرار می‌دهد.

یکی از ویژگی‌های متمایز فارس‌ایول، توجه به بافت فرهنگی، اجتماعی و مذهبی ایران در فرایند تولید داده‌هاست؛ به‌گونه‌ای که بسیاری از پرسش‌ها ناظر به مسائل بومی و فرهنگی بوده و امکان ارزیابی دقیق‌تری از میزان انطباق مدل‌ها با زبان فارسی  و فرهنگ ایرانی را فراهم می‌کند. علاوه بر این، فارس‌ایول ابعاد اخلاقی عملکرد مدل‌ها را نیز در نظر می‌گیرد و جنبه‌هایی نظیر سوگیری‌های جنسیتی و قومیتی، رعایت حقوق دیگران، محتوای توهین‌آمیز و ملاحظات اخلاقی را به‌صورت صریح مورد سنجش قرار می‌دهد.

این بنچمارک انواع قالب‌ها از جمله پرسش‌های چندگزینه‌ای، پاسخ کوتاه و تشریحی را شامل می‌شود؛ امری که امکان ارزیابی رفتار مدل‌ها را در سناریوهای مختلف فراهم می‌سازد. بخش اصلی داده‌های فارس‌ایول توسط انسان و در یک فرایند تولید نظارت‌شده گردآوری شده‌اند.

فارس‌ایول به‌صورت مستمر در حال توسعه و به‌روزرسانی است تا با پیشرفت‌های سریع مدل‌های زبانی همگام باقی بماند. نسخه کنونی این بنچمارک شامل بیش از ۱۱ هزار جفت پرسش‌وپاسخ است که ۴۰۰۰ نمونه از آن به‌صورت آزاد تحت عنوان FarsEval-PKBETS (Persian Knowledge, Bias, Ethics, Toxicity and Skills) در دسترس پژوهشگران قرار گرفته و امکان استفاده گسترده در مطالعات ارزیابی و مقایسه مدل‌های زبانی را فراهم می‌کند.

همچنین افزونه FarsEval-Boom (“بوم” به معنای سرزمین) شامل ۳۰۰ رکورد از دسته‌های آشپزی، گردشگری و آداب و رسوم ایرانی، سیاست، تاریخ و خلاصه‌سازی نیز به‌صورت آزاد منتشر شده.

جهت اطلاعات بیشتر به مقالات زیر مراجعه فرمایید:

M. Shamsfard, Z. Saaberi, M. Karimi Manesh, S. M. H. Hashemi, Z. Vatankhah, M. Ramezani, N. Pourazin, T. Zare, M. Azimi, S. Chitsaz, S. Khoraminejad, M. Mahdavi Mortazavi, M. M. Chizari, S. Maleki, S. S. Majd, M. Masumi, S. A. Musavi Khoeini, A. Mohseni, and S. Alipour, “FarsEval-PKBETS: A new diverse benchmark for evaluating Persian large language models,” arXiv preprint arXiv:2504.14690, 2025.

جهت دانلود کلیک کنید