آشنایی با بنچمارک‌های مدرنی که توانایی واقعی مدل‌های زبانی را می‌سنجند

به گزارش نذیر کرمان؛ تا چند سال پیش، سنجش توانایی یک مدل زبانی بزرگ تا حد زیادی به آزمون‌هایی مانند MMLU و HumanEval وابسته بود. مدل‌ها در این آزمون‌ها با مجموعه‌ای از پرسش‌های علمی، ریاضی، عمومی یا برنامه‌نویسی مواجه می‌شدند و امتیاز نهایی آن‌ها برای مقایسه عملکرد مدل‌های مختلف مورد استفاده قرار می‌گرفت. این روش‌ها در زمان خود بسیار کاربردی بودند، اما رشد سریع مدل‌های هوش مصنوعی باعث شده است محدودیت‌های آن‌ها بیشتر نمایان شود. مدل‌های جدید در بسیاری از آزمون‌های شناخته‌شده به امتیاز‌های بسیار بالا رسیده‌اند و در نتیجه، تفاوت میان مدل‌های قدرتمند به‌سختی قابل تشخیص است. از سوی دیگر، احتمال وجود سوالات بنچمارک‌ها در داده‌های آموزشی مدل‌ها باعث شده مشخص نباشد یک مدل واقعاً مسئله را حل کرده یا پاسخ آن را به شکل مستقیم یا غیرمستقیم از داده‌های آموزشی یاد گرفته است.

به همین دلیل، نسل جدید ارزیابی‌ها به سمت آزمون‌هایی حرکت کرده است که یا از داده‌های زنده و تولیدشده توسط کاربران استفاده می‌کنند، یا مدل را با پروژه‌ها و مسائل واقعی مواجه می‌سازند و یا مسئله‌هایی را در اختیار آن قرار می‌دهند که حل آن‌ها به کشف الگو و استدلال جدید نیاز دارد. در میان این روش‌ها، Chatbot Arena ،SWE-bench ،GPQA Diamond و ARC-AGI ۲ چهار نمونه مهم از تغییر رویکرد در ارزیابی مدل‌های هوش مصنوعی هستند.

Chatbot Arena؛ رقابت مدل‌ها در برابر کاربران واقعی

یکی از مهم‌ترین نمونه‌های تغییر رویکرد در ارزیابی مدل‌های زبانی، Chatbot Arena است. این سامانه به جای آنکه مجموعه‌ای ثابت از سوالات را به مدل‌ها ارائه کند، عملکرد آن‌ها را در مواجهه با درخواست‌های واقعی کاربران مقایسه می‌کند. در ساختار این آزمون، کاربر یک پرسش یا درخواست را وارد می‌کند و سامانه دو مدل هوش مصنوعی را به شکل ناشناس برای پاسخ‌گویی انتخاب می‌کند. کاربر پاسخ هر دو مدل را می‌بیند، اما در ابتدا نمی‌داند کدام پاسخ متعلق به کدام مدل است. پس از مقایسه، کاربر پاسخ موردنظر خود را انتخاب می‌کند و نتیجه در رتبه‌بندی مدل‌ها اثر می‌گذارد.

این روش یک تفاوت مهم با آزمون‌های سنتی دارد. در یک بنچمارک ثابت، مدل ممکن است با مجموعه محدودی از سوالات مواجه شود که احتمال دارد نمونه‌های مشابه آن‌ها در داده‌های آموزشی وجود داشته باشد. در Chatbot Arena، اما پرسش‌ها توسط کاربران واقعی و در شرایط مختلف ایجاد می‌شوند و همین موضوع ارزیابی را به استفاده روزمره از مدل‌ها نزدیک‌تر می‌کند. کاربران ممکن است از مدل درباره برنامه‌نویسی، نگارش متن، حل مسئله، تحلیل داده، ترجمه، دانش عمومی، برنامه‌ریزی یا حتی موضوعات بسیار تخصصی سوال کنند. در نتیجه، مدل فقط برای پاسخ دادن به یک نوع سوال آموزش ندیده و باید بتواند در طیف گسترده‌ای از موقعیت‌ها عملکرد مناسبی داشته باشد.

نکته مهم دیگر، نقش ترجیح انسانی در این روش است. بسیاری از ویژگی‌های یک پاسخ خوب را نمی‌توان صرفاً با یک پاسخ صحیح یا غلط سنجید. برای مثال، ممکن است دو مدل پاسخ یکسانی از نظر محتوای اصلی ارائه دهند، اما یکی از آن‌ها پاسخ را دقیق‌تر، واضح‌تر و کاربردی‌تر توضیح دهد. در چنین شرایطی، قضاوت کاربر می‌تواند تفاوت میان دو مدل را مشخص کند.

البته Chatbot Arena نیز بدون محدودیت نیست. نتیجه این آزمون تا حد زیادی به نوع کاربران، نوع پرسش‌ها و معیار‌های شخصی آن‌ها وابسته است. همچنین یک مدل ممکن است برای مکالمه و تولید متن بسیار خوب باشد، اما در یک وظیفه تخصصی مانند حل مسائل علمی عملکرد ضعیف‌تری داشته باشد؛ بنابراین رتبه یک مدل در این سامانه را نمی‌توان به معنای برتری مطلق آن در تمام زمینه‌ها دانست. با وجود این محدودیت‌ها، Chatbot Arena یکی از نمونه‌های مهم حرکت صنعت از «حل مجموعه‌ای ثابت از سوالات» به سمت «عملکرد واقعی در تعامل با انسان» است.

SWE-bench؛ وقتی هوش مصنوعی باید مانند مهندس نرم‌افزار کار کند

یکی از مشکلات آزمون‌های قدیمی برنامه‌نویسی این بود که وظایف ارائه‌شده معمولاً کوچک و مستقل بودند. برای مثال، از مدل خواسته می‌شد یک تابع مشخص را بنویسد و در صورت درست بودن خروجی، امتیاز دریافت کند. چنین آزمایش‌هایی می‌تواند توانایی مدل در تولید کد را نشان دهد، اما لزوماً مشخص نمی‌کند که آیا مدل می‌تواند در یک پروژه نرم‌افزاری واقعی نیز کار کند یا خیر.

SWE-bench با هدف نزدیک‌تر کردن ارزیابی به چنین شرایطی طراحی شده است. در این بنچمارک، مدل با مشکلات واقعی ثبت‌شده در پروژه‌های نرم‌افزاری مواجه می‌شود و باید برای حل آن‌ها در کد پروژه تغییر ایجاد کند. در یک وظیفه معمول، مدل تنها یک سوال ساده دریافت نمی‌کند؛ بلکه گزارش خطا، ساختار مخزن نرم‌افزار، فایل‌های مختلف، وابستگی‌های پروژه و بخش‌های مرتبط کد در اختیار آن قرار می‌گیرد. مدل باید ابتدا متوجه شود مشکل دقیقاً چیست، سپس فایل یا فایل‌های مرتبط را پیدا کند و در نهایت تغییرات لازم را اعمال کند.

این فرآیند به کاری که یک مهندس نرم‌افزار واقعی انجام می‌دهد بسیار نزدیک‌تر است. یک برنامه‌نویس حرفه‌ای نیز هنگام دریافت گزارش یک خطا، معمولاً نمی‌تواند تنها با نوشتن چند خط کد مشکل را حل کند؛ بلکه باید ساختار پروژه را بررسی، مسیر اجرای برنامه را دنبال، علت خطا را پیدا و سپس راه‌حل مناسب را پیاده‌سازی کند. مرحله مهم بعدی، آزمایش تغییرات است. در SWE-bench صرفاً تولید یک قطعه‌کد زیبا کافی نیست و راه‌حل مدل باید بتواند آزمون‌های مربوط به پروژه را پشت سر بگذارد. به همین دلیل، این بنچمارک بخشی از فاصله میان «توانایی تولید کد» و «توانایی مهندسی نرم‌افزار» را آشکار می‌کند.

نسخه SWE-bench Verified نیز برای افزایش اعتبار نتایج، روی مجموعه‌ای از مسائل بررسی‌شده تمرکز دارد. این موضوع اهمیت زیادی دارد، زیرا در ارزیابی مدل‌های هوش مصنوعی، کیفیت سوال و امکان تأیید نتیجه به اندازه خود مدل اهمیت دارد. SWE-bench همچنین یک نکته مهم درباره آینده مدل‌های هوش مصنوعی را نشان می‌دهد: توانایی نوشتن کد به‌تنهایی کافی نیست. مدل‌های جدید باید بتوانند چندین مرحله را پشت سر هم انجام دهند، محیط پروژه را درک کنند، ابزار‌های مختلف را به کار بگیرند، نتیجه اقدامات خود را بررسی کنند و در صورت شکست، مسیر دیگری را امتحان کنند. به همین دلیل، این بنچمارک در ارزیابی سیستم‌های عامل‌محور یا Agentic AI نیز اهمیت پیدا کرده است؛ سیستم‌هایی که قرار نیست فقط به سوال کاربر پاسخ دهند، بلکه باید بتوانند بخشی از یک کار واقعی را از ابتدا تا انتها انجام دهند.

GPQA Diamond؛ آزمونی برای سنجش استدلال علمی

در حوزه دانش و استدلال علمی، GPQA یکی از بنچمارک‌هایی است که برای به چالش کشیدن مدل‌های قدرتمند طراحی شده است. بخش دشوارتر این مجموعه با عنوان GPQA Diamond شناخته می‌شود و سوالات آن در حوزه‌هایی مانند فیزیک، شیمی و زیست‌شناسی قرار دارند. هدف این آزمون صرفاً بررسی میزان اطلاعات ذخیره‌شده در مدل نیست، بلکه سوالات به گونه‌ای طراحی شده‌اند که پاسخ دادن به آن‌ها نیازمند ترکیبی از دانش تخصصی، تحلیل چندمرحله‌ای و استدلال منطقی باشد.

یکی از ویژگی‌های مهم GPQA، دشواری یافتن پاسخ مستقیم سوالات از طریق جست‌وجوی اینترنتی است. به همین دلیل، این سوالات گاهی با عنوان Google-Proof توصیف می‌شوند. منظور این نیست که هیچ اطلاعات مرتبطی در اینترنت وجود ندارد؛ بلکه پاسخ مستقیم و آماده‌ای برای سوال وجود ندارد و فرد باید اطلاعات مختلف را کنار یکدیگر قرار دهد و مسئله را حل کند. این ویژگی باعث می‌شود GPQA برای بررسی تفاوت میان «دانستن» و «استدلال کردن» مفید باشد. یک مدل ممکن است حجم بسیار زیادی از اطلاعات علمی را در اختیار داشته باشد، اما اگر نتواند این اطلاعات را در یک مسئله جدید به کار بگیرد، عملکرد آن در چنین آزمونی محدود خواهد بود.

در GPQA Diamond، سوالات توسط متخصصان حوزه‌های علمی طراحی شده‌اند و همین موضوع سطح دشواری آزمون را افزایش می‌دهد؛ تا جایی که بسیاری از مسائل برای افرادی که آموزش تخصصی در رشته مربوطه ندارند نیز دشوار هستند. اهمیت چنین آزمونی در دوره مدل‌های زبانی جدید بیشتر شده است؛ زیرا مدل‌ها در آزمون‌های عمومی به سطحی رسیده‌اند که امتیاز بالا دیگر الزاماً به معنای برتری چشمگیر نیست. در مقابل، سوالات دشوار علمی می‌توانند نقاط ضعف مدل را بهتر آشکار کنند.

GPQA همچنین نشان می‌دهد که ارزیابی هوش مصنوعی باید از آزمون‌های صرفاً اطلاعاتی فاصله بگیرد. اگر سوالی تنها به بازیابی یک واقعیت مشخص نیاز داشته باشد، مدل‌های بزرگ به دلیل دسترسی به حجم عظیمی از داده‌ها مزیت زیادی خواهند داشت. اما زمانی که سوال نیازمند ترکیب چند مفهوم و رسیدن به نتیجه‌ای جدید باشد، توانایی استدلال اهمیت بیشتری پیدا می‌کند. البته GPQA نیز نمی‌تواند به تنهایی معیار کامل هوش یک مدل باشد. این آزمون بیشتر توانایی استدلال علمی را هدف قرار می‌دهد و نمی‌تواند مهارت‌هایی مانند تعامل اجتماعی، استفاده از ابزار، برنامه‌نویسی یا حل مسائل بصری را به شکل کامل ارزیابی کند.

ARC-AGI ۲؛ سنجش توانایی حل مسئله‌های کاملاً جدید

ARC-AGI ۲ از نظر نوع مسئله با سه بنچمارک دیگر تفاوت زیادی دارد. این آزمون به جای تمرکز بر دانش متنی یا تولید کد، مدل را با الگو‌های بصری و شبکه‌های رنگی مواجه می‌کند. در هر مسئله، چند نمونه ورودی و خروجی به مدل نشان داده می‌شود. مدل باید رابطه میان ورودی و خروجی را پیدا کند و سپس همان قاعده را روی یک نمونه جدید اعمال کند. نکته مهم این است که مدل نمی‌تواند صرفاً یک پاسخ آماده را از حافظه خود بازیابی کند، زیرا مسئله بر کشف یک الگوی جدید استوار است.

برای مثال، ممکن است چند شبکه رنگی در اختیار مدل قرار بگیرد که در هرکدام یک تغییر مشخص رخ داده است. مدل باید متوجه شود چه قاعده‌ای باعث تبدیل شبکه اول به شبکه دوم شده و سپس همان قاعده را روی یک شبکه جدید اجرا کند. این نوع مسئله به مفهوم هوش سیال نزدیک است؛ یعنی توانایی فرد برای حل مسئله‌ای که قبلاً با آن مواجه نشده و کشف روابط جدید بدون تکیه مستقیم بر دانش قبلی.

اهمیت این موضوع برای هوش مصنوعی بسیار زیاد است. مدل‌های زبانی بزرگ به حجم عظیمی از متن، کد، تصویر و سایر داده‌ها دسترسی دارند و همین مسئله می‌تواند باعث شود بخشی از موفقیت آن‌ها در آزمون‌های سنتی به توانایی بازیابی الگو‌های قبلی مربوط باشد. ARC-AGI تلاش می‌کند شرایط متفاوتی ایجاد کند؛ مسئله جدید است و مدل باید از نمونه‌های محدود ارائه‌شده، یک قاعده استخراج کند. بنابراین، موفقیت در آن بیشتر به توانایی تعمیم و کشف الگو مربوط می‌شود.

نسخه دوم این آزمون نیز با هدف افزایش دشواری و کاهش راه‌های میان‌بر طراحی شده است. تمرکز بر مسئله‌هایی که نیازمند چند مرحله استدلال هستند، باعث می‌شود مدل‌هایی که صرفاً در تشخیص الگو‌های آشنا عملکرد خوبی دارند، با چالش بیشتری مواجه شوند. با این حال، ARC-AGI ۲ نیز نباید به عنوان یک «آزمون قطعی هوش عمومی مصنوعی» در نظر گرفته شود. هوش عمومی مفهومی بسیار گسترده‌تر از حل مسائل بصری است و شامل توانایی‌هایی مانند یادگیری، برنامه‌ریزی، تعامل با محیط، استفاده از ابزار و سازگاری با شرایط مختلف می‌شود. این بنچمارک بیشتر یک ابزار برای سنجش بخشی از توانایی تعمیم و حل مسئله است.

چرا بنچمارک‌های قدیمی دیگر کافی نیستند؟

مشکل اصلی بسیاری از آزمون‌های سنتی این است که با افزایش توانایی مدل‌ها، فاصله میان عملکرد آن‌ها کمتر می‌شود. زمانی که یک مدل بتواند بخش عمده‌ای از سوالات یک آزمون را با دقت بسیار بالا پاسخ دهد، آن آزمون دیگر ابزار مناسبی برای مقایسه مدل‌های نسل بعدی نخواهد بود. موضوع آلودگی داده نیز اهمیت زیادی دارد؛ اگر سوالات یک آزمون در داده‌های آموزشی مدل وجود داشته باشند، تشخیص اینکه مدل واقعاً مسئله را حل کرده یا صرفاً پاسخ را از اطلاعات قبلی بازیابی کرده، دشوار خواهد بود.

بنابراین، نسل جدید بنچمارک‌ها تلاش می‌کند از روش‌های مختلف این مشکل را کاهش دهد. Chatbot Arena از تعامل زنده کاربران استفاده می‌کند، SWE-bench مدل را در پروژه‌های واقعی قرار می‌دهد، GPQA Diamond سوالات تخصصی و دشوار را به کار می‌گیرد و ARC-AGI ۲ نیز مدل را با مسائل بصری جدید و ناشناخته مواجه می‌کند. هیچ‌کدام از این آزمون‌ها به تنهایی نمی‌توانند «هوش واقعی» یک مدل را اندازه‌گیری کنند؛ هرکدام بخشی از توانایی سیستم را بررسی می‌کنند و تصویر کامل‌تر زمانی به دست می‌آید که نتایج چند بنچمارک متفاوت در کنار یکدیگر قرار گیرند.

تغییر معیار سنجش مدل‌های هوش مصنوعی

حرکت از MMLU و HumanEval به سمت بنچمارک‌هایی مانند Chatbot Arena ،SWE-bench ،GPQA Diamond و ARC-AGI ۲ نشان‌دهنده تغییر مهمی در نگاه صنعت به ارزیابی هوش مصنوعی است. در نسل نخست مدل‌های زبانی، میزان دانش و توانایی پاسخ‌گویی به سوالات مشخص اهمیت زیادی داشت؛ اما اکنون مسئله اصلی این است که مدل در برابر یک موقعیت جدید و پیش‌بینی‌نشده چه عملکردی از خود نشان می‌دهد.

مدل‌های آینده احتمالاً نه فقط بر اساس تعداد پارامتر‌ها یا امتیاز یک آزمون، بلکه بر اساس توانایی آن‌ها در حل مسائل واقعی، استفاده از ابزار، انجام وظایف چندمرحله‌ای، تعامل با انسان و تعمیم دانش به موقعیت‌های جدید ارزیابی خواهند شد. به همین دلیل، بنچمارک‌های جدید را می‌توان بخشی از تلاش گسترده‌تر صنعت برای پاسخ به یک سوال اساسی دانست: آیا مدل واقعاً مسئله را می‌فهمد و می‌تواند آن را حل کند، یا فقط در بازسازی الگو‌هایی که قبلاً دیده است مهارت دارد؟

پاسخ به این سوال با قدرتمندتر شدن مدل‌ها دشوارتر می‌شود و احتمالاً به همین دلیل، رقابت اصلی در آینده نه فقط بر سر ساخت مدل‌های بزرگ‌تر، بلکه بر سر طراحی آزمون‌های دقیق‌تر برای سنجش توانایی واقعی آن‌ها خواهد بود.