نشر العالمان الألمانيان صوفي ينشين وكريستيان كريستينغ ورقة علمية يختبران فيها قُدرة شات جي بي تي (3.5) من شركة open AI على فهم حس الفكاهة وتوليده، واكتشفوا أنّ معرفة شات جي بي تي بالنكات محدودة إلى حد ما، فخلال فحص تجريبي تبين أن 90% من 1008 نكتة كانت عبارة عن 25 نكتة مُكررة، ما قادهم لاستنتاج أن شات جي بي تي لم يولّد الردود من تلقاء نفسه كما هو مفترض، بل كانت هذه الردود ملقنة ومحفوظة عنده خلال مرحلة تدريب نموذج الذكاء الاصطناعي.
استكشف الباحثان (من معهد تكنولوجيا البرمجيات ومركز الفضاء الألماني (DLR)، وجامعة دارمستاديت التقنية) الفروق الدقيقة في معاني الفكاهة الموجودة في الإصدار (3.5) من شات جي بي تي من خلال سلسلة من التجارب التي تركز على توليد النكات وتفسيرها وشرحها.
أجُريِت هذه التجارب بحث شات جي بي تي دون القدرة على الاطلاع على العمل الداخلي للنموذج أو مجموعة بياناته، والحث هو توجيه نموذج الذكاء الصنعي عبر أوامر مدروسة. قال الباحثان:
«لاختبار مدى تنوع نكات شات جي بي تي، طلبنا منه إلقاء نكتة ألف مرة، جميع الردود كانت صحيحة نحويًا، وتقريبًا كل الردود احتوت نكتة واحدة تمامًا، لكن عند تغيير السؤال المدخل إلى (هل تعرف أية نكات جيدة؟) أدى ذلك لإنتاج عدّة نكات إضافية، وصولًا إلى إجمالي 1008 نكتة، وبغض النظر عن هذا الأمر، لم يكن لتغيير السؤال المدخل أي تأثير يذكر».
تتوافق نتائج البحث مع ما نختبره عمليًا لدى تقييم حس الفكاهة لشات جي بي تي، فقد لاحظ كثير من الناس أن سؤال شات جي بي تي عن نكتة، يعود بتكرار النموذج لنفس جواب عن احمرار الطماطم. وعليه، من غير المفاجئ أن يجد ينشين وكريستينغ أن نكتة الطماطم هي ثاني أكثر نتائج شات جي بي تي 3.5 تكرارًا، وفي ملحق الورقة وضعا لائحة بأكثر 25 نكتة تكررت.
مع إن عددًا قليلًا من هذه الردود كان مميزًا، فيبدو أنّ شات جي بي تي أنشأ أغلبها بمزج عناصر من نكات مختلفة كان يعرفها مسبقًا. وجد الباحثون أنّ الإنشائات الأصلية للنماذج اللّغوية، ولم تكن دائمًا ذات معنى، فمثلًا ورد هذا الرد: «لماذا وضع الرجل المال في الخلاط؟ \لأنه أراد أن يجعل الوقت يطير».
عندما يُطلب تفسير كل من ال 25 نكتة الأكثر تكرارًا، غالبًا يعطي شات جي بي تي تفسيرًا صحيحًا وفق المنهجية التي اعتمدها الباحثان، ما يشير إلى فهم عناصر الأسلوب مثل التلاعب بالكلمات والمعاني المزدوجة، ومع ذلك فقد كانت معاناته أكبر مع التراكيب التي لا تتناسب مع أنماطه المُتعلَّمة، ولم يستطع أن يعرف متى تكون النكتة غير مضحكة، بدلًا من ذلك، فإنّه يشكل تفسيرات خيالية ولكن معقولة.
وجد ينشين وكريستينغ عمومًا أنّ اكتشاف شات جي بي تي للنكات كان مُتأثرًا بشدة بوجود الصفات الظاهرة للنكات، مثل بنية النكتة ووجود التلاعب بالألفاظ أو تضمين الجناس (محسن بديعي)، ما يُظهر درجة من الفهم لعناصر الفكاهة.
ردًا على الدراسة التي أجريت عبر تويتر، يرى مهندس معايير توجيه الذكاء الاصطناعي رايلي غودسايد أن اللوم في افتقار شات جي بي تي لحس الفكاهة يقع على عاتق التعليم المعزز عبر الردود البشرية (RLHF)، وهو تقنية توجه نموذج التعليم اللّغوي عبر جمع الردود البشرية، إذ يقول:
«يظهر تأثير (RLHF) الأكثر وضوحًا عندما يتّبع النموذج للأوامر، فعادةً ما يكون توجيه نماذج اللغة الكبيرة LLMs الأساسية أصعب عمليًا، وتحقيق هذه الميزة ليس دون ثمن، فتحقيقها يحد من إبداع النموذج بطريقة أو بأخرى».
ومع إن قدرة شات جي بي تي على توليد النكات وتفسيرها محدودة، فقد أشار الباحثون إلى أن تركيزه على المحتوى والمعنى في الفكاهة يشير إلى تقدم نحو فهم بحثي أكثر شمولًا للفكاهة في النماذج اللغوية.
توضح ملاحظات هذه الدراسة أنّ شات جي بي تي يفضل تعلم نمط محدد من النكات على أن يكون مضحكًا فعلًا، كتب الباحثان:
«ولكن عند توليد النكات وتفسيرها وتحديدها، يركز شات جي بي تي على المعنى والمحتوى، وليس كثيرًا على الصفات الظاهرية. وبالإمكان استغلال هذه الصفات لتعزيز تطبيقات الفكاهة الحاسوبية، وبالمقارنة مع (LLMs) سابقة نستطيع أن نعدها قفزة كبيرة باتجاه فهم عام للفكاهة».
يخطط ينشين وكريستينغ في المستقبل لمواصلة دراسة الفكاهة في نماذج لغوية ضخمة، بالتحديد تقييم شات جي بي تي 4، مع إنه في هذه النسخة أيضًا أنه يحب إلقاء نكات الطماطم.
اقرأ أيضًا:
باحثون يطورون برنامج الدردشة شات جي بي تي بجعله يتعلم من أخطائه!
لماذا سمي تشات جي بي تي بهذا الاسم؟</a
ترجمة: يوسف الشيخ
تدقيق: نينار راهب
مراجعة: محمد حسان عجك
