سایه های ابهام بر ادعاهای اوپن ای آی

به گزارش لینک بگیر دات کام به نقل از ایسنا، اختلاف بین نتایج یک آزمایش جدید با اطلاعات اولیه در رابطه با مدل هوش مصنوعی «o3» شرکت «اوپن ای آی»(OpenAI)، پرسش هایی را در رابطه با شفافیت و شیوه های آزمایش مدل هوش مصنوعی این شرکت بوجود می آورد.
به نقل از تک کرانچ، وقتی اوپن ای آی در ماه دسامبر از o3 رونمایی نمود، ادعا نمود این مدل می تواند به بیشتر از یک چهارم پرسش های «FrontierMath» که مجموعه چالش برانگیزی از مسایل ریاضی است، پاسخ دهد. این امتیاز، رقابت را از بین برد؛ چونکه بهترین مدل بعدی تنها توانست به حدود دو درصد از مسایل FrontierMath به درستی پاسخ دهد.
«مارک چن»(Mark Chen)، مدیر ارشد تحقیقات اوپن ای آی در جریان یک پخش زنده اظهار داشت: امروز همه مدلها کمتر از دو درصد امتیاز را در FrontierMath دارند. ما شاهد می باشیم که با o3 می توانیم به امتیاز بیشتر از ۲۵ درصد برسیم.
همان گونه که مشخص شد، این احیانا امتیاز بالاتری بود که بوسیله ی یک نسخه از o3 با محاسبات بیشتر نسبت به مدل عرضه شده اوپن ای آی در هفته گذشته به دست آمد.
مؤسسه تحقیقاتی «Epoch AI» مسئول FrontierMath، نتایج آزمایش مستقل خود در رابطه با o3 را در روز جمعه منتشر نمود. این مؤسسه دریافت o3 حدود ۱۰ درصد امتیاز کسب کرده که بسیار کمتر از بالاترین امتیاز ادعاشده توسط اوپن ای آی است.
این بدان معنا نیست که اوپن ای آی دروغ گفته است. نتایج آزمایشی که این شرکت در ماه دسامبر منتشر کرد، یک امتیاز پایین تر را نشان داده است که با امتیاز مشاهده شده در آزمایش Epoch AI مطابقت دارد. همچنین، Epoch تصریح کرد که تنظیمات آزمایشی آن احیانا با اوپن ای آی متفاوت است و از نسخه بروزرسانی شده FrontierMath برای ارزیابی های خود بهره برده است.
Epoch نوشت: تفاوت بین نتایج ما و اوپن ای آی امکان دارد به علت ارزیابی این شرکت با چارچوب داخلی قوی تر و استفاده از زمان آزمایش بیشتر یا به این علت باشد که این نتایج در زیرمجموعه دیگری از FrontierMath به دست آمده اند.
اختلاف فاحش بین نتایج آزمایش مستقل Epoch AI و ادعاهای اولیه OpenAI در مورد عملکرد مدل هوش مصنوعی o3 در حل مسائل پیچیده ریاضی، بار دیگر مسئله‌ی شفافیت در ارزیابی و معرفی قابلیت‌های مدل‌های پیشرفته هوش مصنوعی را به کانون توجه کشانده است. در حالی که OpenAI مدعی دستیابی o3 به امتیاز خیره‌کننده‌ی بالای ۲۵ درصد در مجموعه داده FrontierMath بود، آزمایش Epoch AI نشان می‌دهد که عملکرد این مدل به حدود ۱۰ درصد محدود می‌شود. این تناقض، حتی با در نظر گرفتن احتمالی تفاوت در تنظیمات آزمایشی و نسخه‌های مختلف مدل، پرسش‌های جدی در مورد نحوه‌ی ارائه‌ی اطلاعات و استانداردهای ارزیابی در شرکت‌های پیشرو در زمینه‌ی هوش مصنوعی، از جمله رقبای قدرتمندی چون گوگل، ایجاد می‌کند. این ابهامات می‌تواند زمینه‌ای برای نظارت دقیق‌تر نهادهای نظارتی و افزایش انتظارات از ارائه‌دهندگان این فناوری نوظهور در راستای شفافیت بیشتر باشد.