دقت ChatGPT در پاسخ به یک مسئله ساده ریاضی از ۹۸٪ به ۲٪ رسیده است.

اختلاف دقت نسخه‌های مختلف ChatGPT

قابل توجه ترین نتیجه ذکر شده توسط آنها احتمالاً مربوط به توانایی مدل GPT-4 در حل مسائل ریاضی است که به درستی ۱۷۰۷۷ را به عنوان عدد اول در ۹۷.۶ درصد از سؤالات مارس تشخیص داده است. اما تنها سه ماه بعد دقت آن به ۲.۴ درصد کاهش یافته است!

در مقابل، GPT-3.5 عملاً مسیر معکوس را طی کرده است. اگرچه نسخه مارس آن تنها ۷.۴ درصد از مواقع به این سؤالات پاسخ صحیح داده است، اما در ژوئن موفق شد دقت پاسخ های خود را به ۸۶.۸ درصد برساند.

زمانی که محققان از مدل‌ها خواستند کد بنویسند یا آزمایش استدلال بصری (پیش‌بینی شکل بعدی یک الگو) را انجام دهند، نتایج مشابهی وجود داشت.

نتایج بسیار متفاوتی که از مارس تا ژوئن نسبت به مدل هوش مصنوعی OpenAI مشاهده شد، اثرات غیرقابل پیش‌بینی تغییرات در بخشی از مدل را نشان می‌دهد. جیمز زو، استاد علوم کامپیوتر دانشگاه استنفورد، که یکی از نویسندگان این تحقیق نیز می باشد، در این رابطه توضیح می دهد:

هنگامی که ما تصمیم به بهبود عملکرد یک مدل زبان بزرگ در برخی وظایف خاص می‌کنیم، می‌تواند عواقب ناخواسته زیادی داشته باشد که ممکن است عملکرد آن را در سایر وظایف تضعیف کند. انواع مختلفی از وابستگی‌های متقابل در نحوه پاسخ مدل به سؤالات وجود دارد که می‌تواند منجر به رفتار بدتر از آنچه تاکنون دیده‌ایم شود.»