إذا نظرنا إلى نماذج اللغة الضخمة نجد أنها تستطيع صياغة جمل مقنعة مثل الإنسان، بل وتستطيع تقييم الأشياء لأن النماذج المتحكمة بها تُطور بتركيز عميق، بحيث تستطيع أن تشرح لنا كيفية أخذها لقراراتها، مع ذلك كيف يمكننا أن نتيقن أنها تقول الحقيقة؟
أعدّ الباحثون من شركة مايكروسوفت ومعهد ماساتشوستس للتكنولوجيا، ورقةً بحثية جديدة بها طريقة مبتكرة لتقييم نماذج اللغة الضخمة مع أخذ مدى موثوقيتها بالحسبان، إذ يمثل الاستدلال أسباب العملية التي تقف خلف إجابة النموذج.
أخبرت كاتي ماتون الكاتبة البارزة والطالبة في برنامج الدكتوراه أن التحقق من صحة المعلومات ليس بالأمر اليسير، إذ كانت نماذج اللغة الضخمة تقدم تفسيرات معقولة ولكن ليست موثوقة، لذا قد يكوّن المستخدمون رأيًا غير واثق من استجابات النموذج، بل ويصعب عليهم استيعاب استجاباته وترشيحاته إذا كانت غير متوافقة مع قيم المستخدم الخاصة، مثل تجنب المجاملات في مراحل التوظيف.
مثلًا، في المجالات المتعلقة بالصحة العامة أو القانون تعد الإجابات غير الموثوق فيها أمرًا قد يسبب عواقب وخيمة، وقد صرح الباحثون في هذا الصدد أن نموذج ( GPT-3.5 ) أعطى تقييمات عالية للمرشحات الإناث لشغل وظيفة ممرضة على حساب المرشحين الذكور لشغل نفس الوظيفة حتى مع تبديل كامل المرشحين، وحينما سُئل عن إجاباته أوضح بأن إجاباته كانت متعلقة فقط بالعمر والمهارات والسمات الشخصية.
تقدم الطرق السابقة المستخدمة لقياس مدى الثقة في الإجابات بمقاييس كمية قد تكون صعبة الفهم على المستخدمين. بناءً على هذه الفكرة ركزت ماتون وزملاؤها على تطوير مقياس لمقدار الثقة بحيث تتيح للمستخدمين فهم الطرق التي تصف الإجابات وتقيم مدى كونها مضللة.
لإنجاز هذه المهمة، قدم العلماء نموذج مفهوم الصدق السببي، إذ يقيس النموذج الاختلافات بين حزمة المفاهيم المدخلة عبر نص كتابي الذي تصفه نماذج اللغة الضخمة وتدل على مدى أثرها في المفاهيم المؤثرة في إجابة النموذج، وبفحص هذا التضارب في النتائج بين حزمتي المفاهيم تظهر أنماط قابلة للتفسير بمقدار الثقة الموجودة داخل النظام. مثلًا، إن تفسيرات النموذج اللغوي الضخم لا تذكر الجنس عندما ينبغي لها ذلك.
لقد استخدم الباحثون في البداية مساعد للنموذج اللغوي الضخم لتحديد المفاهيم الأساسية في السؤال المُدخل. ثم لاختبار التأثير السببي لكل مفهوم على إجابة النموذج الأساسي، اختبروا ما إذا كان تغيير المفهوم يؤثر في إجابة النموذج.
لإجراء هذه التعديلات استخدموا مساعد النموذج اللغوي الضخم لإنتاج بعض الأسئلة المغايرة للحقائق، إذ تُغير قيمة المفهوم لدى النظام، مثلًا تغيير نوع المرشحين أو تغيير بعض المعلومات الصحية، ثم تُجمع الاستجابات الأولية للنموذج اللغوي الضخم للأسئلة المغايرة، ثم معرفة كيفية تغيير إجابات النظام.
إن تقدير تأثيرات المفاهيم لدى النظام قد تكون مكلفة لأنه يتضمن طلبات متكررة للنموذج اللغوي الضخم لجمع إجاباته عند الأسئلة المتغيرة.
للوصول إلى هذه الفكرة، عمل الفريق على نموذج هرمي لتقدير أثر المفاهيم لدى النظام عند سؤاله العديد من الأسئلة معًا. في الاختبارات التجريبية، قارن الباحثون النماذج (GPT-3.5) و(GPT-4o) و(Claude-3.5-Sonnet) بناء على إجاباته عن الأسئلة لمجموعتين من البيانات.
وجد ماتون شيئين مهمين في هذا الصدد، أولهما وُجد في حزمة البيانات المصممة لاختبار التحيز الاجتماعي لنماذج اللغة الضخمة، وجد العلماء أن نموذج اللغة الضخمة يوفر تفسيرات قد تخفي اعتمادها على التحيز الاجتماعي، بعبارة أخرى يأخذ نموذج اللغة الضخمة قرارات قد تتأثر بمعلومات الهوية الاجتماعية، مثل العرق أو الدخل أو الجنس، لكنها في تبرير قراراتها كانت تشير إلى عوامل أخرى مثل سلوك الفرد، ما يُخفي التأثير الحقيقي لهذه المعلومات في اتخاذ القرار.
في حزمة البيانات الخاصة بالأسئلة الطبية متضمنة سيناريوهات وفرضيات للمريض أظهرت أساليب الفريق بعض الحالات، إذ حذفت تفسيرات نموذج اللغة الضخمة بعض الأدلة التي لها تأثير كبير في إجابات النموذج بخصوص مرحلة علاج المريض والاعتناء به.
يشير المؤلفون إلى بعض القيود في منهجهم وتحليلهم، متضمنةً اعتمادهم على «نموذج لغوي ضخم مساعد» قد يرتكب أخطاء عرضية أحيانًا، أيضًا فإن طريقتهم قد تُقلل أحيانًا من تقدير التأثيرات السببية للمفاهيم التي ترتبط ارتباطًا عاليًا بمفاهيم أخرى في النص المُدخل، ولهذا يقترحون استخدام تدخلات متعددة المفاهيم تحسينًا محتملًا في المستقبل.
يقول فريق البحث إن منهجهم قد يمكّن من استجابة موجّهة للتفسيرات المضللة، بكشف أنماط محددة في التفسيرات غير الموثوقة، مثلًا قد يتجنب المستخدم استخدام «نموذج لغوي ضخم» لمقارنة مرشحين من جنسين مختلفين إذا لاحظ أن النموذج يُظهر تحيّزًا على أساس النوع بينما يمكن لمطوّر النموذج أن يُطبّق إصلاحًا مخصصًا لمعالجة هذا التحيّز.
تقول ماتون أنها ترى في طريقتهم خطوة مهمة نحو بناء أنظمة ذكاء اصطناعي أكثر موثوقية وشفافية.
اقرأ أيضًا:
كيف يتخيل الذكاء الاصطناعي شكل الرجل والمرأة المثاليين؟
نموذج الذكاء الاصطناعي (ريبليكا) يتحرش بالمستخدمين!
ترجمة: أحمد صبري عبد الحكيم
تدقيق: باسل حميدي
