دراسة: ChatGPT أصبح أكثر فقرًا فى حل المعادلات الرياضية
وجدت دراسة أجرتها جامعة ستانفورد أن chatbot الشهير ChatGPT الذي أنشأته OpenAI يزداد سوءًا في حل المعادلات الرياضية ، وشهد روبوت الدردشة تقلبات كبيرة في الأداء في مهام معينة بين مارس ويونيو.
قارن البحث نسختين من التقنية GPT3.5 و GPT4 ، مع التركيز على مهام مثل حل مسائل الرياضيات ، والإجابة على الأسئلة الحساسة ، وإنشاء الكود ، والتفكير المرئي.
وفقًا لتقرير Fortune ، كشفت الدراسة عن ظاهرة تسمى “الانجراف” ، حيث تتغير قدرة التكنولوجيا على أداء مهام محددة بشكل غير متوقع بمرور الوقت.
في حالة قدرة حل المشكلات الرياضية GPT4 ، انخفضت دقتها بشكل كبير من 97.6٪ في مارس إلى 2.4٪ فقط في يونيو. وفقًا للنتائج ، أظهر نموذج GPT3.5 مسارًا معاكسًا ، حيث تحسن من دقة 7.4٪ في مارس إلى 86.8٪ في يونيو في نفس المهمة.
لوحظت تقلبات مماثلة عندما طُلب من النماذج كتابة التعليمات البرمجية وإجراء اختبارات التفكير البصري ، وأعرب أستاذ علوم الكمبيوتر في جامعة ستانفورد ، جيمس زو ، أحد مؤلفي الدراسة ، عن دهشته من حجم التغيير ، نظرًا لتطور ChatGPT.
قال زو في مقابلة مع مجلة Fortune: “عندما نقوم بضبط نموذج لغوي كبير لتحسين أدائه في مهام معينة ، يمكن أن يكون لذلك في الواقع الكثير من النتائج غير المقصودة ، والتي يمكن أن تضر بأداء هذا النموذج في مهام أخرى”. “هناك جميع أنواع الارتباطات المثيرة للاهتمام في كيفية استجابة النموذج للأشياء التي يمكن أن تؤدي إلى بعض السلوكيات المتدهورة التي لاحظناها.” استجابةً لقدرات ChatGPT الرياضية المتدهورة ، علق أحد مستخدمي Reddit على أن كونك غبيًا مع تقدم العمر هو أغبى شيء يمكن أن يفعله الإنسان.
لم يكن التباين في النتائج بسبب عدم دقة النموذج في مهام محددة. بدلاً من ذلك ، حدث ذلك لأنهم عندما حاولوا تحسين النموذج في بعض المهام ، كان له تأثيرات غير مقصودة على أجزاء أخرى من النموذج ، مما تسبب في سلوكيات غير متوقعة.
تكشف النتائج أن هذه النماذج يمكن أن تخضع لتغييرات بمرور الوقت ، والتي يشار إليها باسم “الانجرافات”. تتسبب هذه الانجرافات في أداء النماذج بشكل مختلف في مهام مختلفة.
لضمان استمرار هذه النماذج اللغوية في العمل بفعالية ، تؤكد الدراسة على أهمية مراقبة أدائها بانتظام. من خلال القيام بذلك ، يمكن تحديد أي مشكلات أو مشاكل تنشأ بسبب هذه الانجرافات ومعالجتها على الفور ، مع الحفاظ على الأداء الأمثل للنماذج.
تسلط دراسة ستانفورد الضوء على التحديات التي تطرحها الانجرافات في نماذج لغة الذكاء الاصطناعي مثل ChatGPT ويبرز البحث الحاجة إلى مزيد من التحقيق والشفافية لضمان أداء ثابت وموثوق لهذه الأنظمة في مهام مختلفة.
