قررت جمعية تنمية العلوم الأمريكية (AAAS) التحقق مما إذا كان بإمكان Tatgpt كتابة ملاحظات علمية قصيرة بأسلوب Scipak أم لا مثل هذه النحاس الخاص للصحفيين ، وغالبًا ما يتم إعدادها من قبل مجلة Eurekalent Science and Service.
استمرت التجربة في السنة: من ديسمبر 2023 إلى ديسمبر 2024 ، أطلق الصحفيون نموذجًا أو دراستين علميتين صعبة كل أسبوع.
المهمة بسيطة للغاية لإصدارها لجعلها مريحة للزملاء: الحد الأدنى من المصطلحات ، وهيكل واضح وسياق واضح. لذلك ، تعاملت Chatgpt مع 64 عمل.
نتيجة؟ بشكل عام ، تعلم النموذج كيفية نسخ أشكال طوابع Scipak ، لكنه لم يحقق المحتوى. وفقًا لمؤلف الدراسة ، الصحفي Aaas Abigail Aizenstadt ، فإن وثائق Tatgpt بسيطة للغاية وغير صحيحة في كثير من الأحيان. اضطررت إلى مضاعفة التحقق من كل شيء ، لذلك استغرق الأمر المزيد من الوقت لكتابة ملاحظة من البداية.
الأرقام تخبر نفسها أيضا. عندما يُطلب من المحررين ، قد يضيع مثل هذا التقويم بين برافعات Scipak الحقيقية ، فإن متوسط الرتبة هو 2.26 نقطة فقط في الرقم 5. وعمل واحد فقط في العام بأكمله يحصل على أعلى الدرجات من الصحفيين.
عادةً ما تفربت ChatGPT من العلاقات والعلاقات السببية ، ونسيان ذكر القيود المهمة للبحث (على سبيل المثال ، تعمل أجهزة النقل الناعمة ببطء شديد) وأحيانًا تتفرق كثيرًا على الثناء على اختراقات الإسلام والجدة.
لقد لخص مؤلفو التجربة: حتى الآن ، لم يمتثل Chatgpt لمعايير Scipak. لكنهم لم يضعوا الصليب تمامًا في الفكرة. لاحظ AAAS أنه يمكنك العودة إلى الاختبارات إذا تم تحديث النموذج على محمل الجد. وفي أغسطس ، ذكرنا ، فقط GPT-5 منها ، للأسف ، وجدوا حفرة.