أدوات المشرف/المشرف الآلي
يعمل فريق Moderator Tools حاليًا على بناء أداة «مشرف آلي» لمشاريع ويكيميديا. سيسمح للإداريين بتفعيل وإعداد التراجع التلقائي عن التعديلات السيئة بناءً على تقييم من نموذج للتعلّم الآلي. بعبارات أبسط، نحن نتطلع إلى إنشاء برنامج يؤدي وظيفة مشابهة لـ "بوتات مكافحة التخريب" مثل ClueBot NG وSeroBOT وDexbot، ولكن مع جعل هذا متاحًا لجميع المجتمعات اللغوية. يجري تطوير امتداد لـ "ميدياويكي" الآن - Extension:AutoModerator.
|
Automoderator
|
كان هذا العمل جزءاً من خطتنا السنوية FY23/24 وفق الفرضية التالية: إذا قمنا بتمكين المجتمعات من منع أو التراجع عن التخريب الواضح تلقائيًا، فسيكون لدى الإداريين المزيد من الوقت لقضائه في الأنشطة الأخرى.
سنستمر بعملنا في السنة FY24/25 وفق الفرضية WE1.3.1: إذا تمكنا من إتاحة تخصيص إضافي لسلوك المشرف الآلي وإجراء تغييرات بناءً على تعليقات المشروع التجريبي في Q1، فإن المزيد من الإداريين سيكونوا راضين عن مجموعة الميزات والموثوقية، وسوف يختارون استخدامه في مشروعهم في ويكيميديا، مما يزيد من استعماله.
مجتمعات يمكنها التطوع بإضافة المشرف الآلي إلى مشروع ويكيبيديا الخاص بهم.
التحديثات
- يونيو 2024: بدأت ويكيبيديا التركية باستخدام المشرف الآلي (Otomoderatör).
- فبراير 2024: نُشرت تصميمات صفحات الإعدادات والتهيئة للإصدار الأولي. الأفكار والاقتراحات مُرحَّب بها!
- فبراير 2024: نشرنا النتائج الأولية لعملية الاختبار.
- أكتوبر 2023: نحن نبحث عن آراء وتعليقات حول خطة القياس، لتحديد البيانات التي يجب أن نستخدمها لتقييم نجاح هذا المشروع، وقمنا بجعل بيانات الاختبار متاحة لتجميع الآراء حول عملية صنع القرار لدى المشرف الآلي.
- أغسطس 2023: لقد قدمنا مؤخرًا هذا المشروع وغيره من المشاريع التي تركز على الإداريين في ويكيمانيا. يمكنك العثور على تسجيل الجلسة هنا.
الدافع
تجري تعديلات كثيرة على مشاريع ويكيميديا والتي يجب التراجع عنها بشكل لا لبس فيه، مما يعيد الصفحة إلى حالتها السابقة. (التغييرات التخريبية) يتعين على المراجعين والإداريين قضاء الكثير من الوقت في مراجعة هذه التعديلات وإعادتها يدويًا، مما يساهم في الشعور في العديد من مواقع الويكي الأكبر حجمًا بأن هناك قدرًا هائلاً من العمل الذي يتطلب الاهتمام مقارنة بعدد المشرفين النشطين. نرغب في تقليل هذه الأعباء، وتحرير وقت المشرف للعمل على مهام أخرى.
توفر العديد من مواقع المجتمع عبر الإنترنت، بما في ذلك Reddit وTwitch وDiscord، وظيفة "الإشراف الآلي"، حيث يمكن لمشرفي المجتمع إعداد مزيج من إجراءات الإشراف الآلي المحددة والخوارزمية. في ويكيبيديا، يوفر "مُرشح الإساءة" وظائف محددة قائمة على القواعد، ولكن يمكن أن يكون محبطًا عندما يتعين على المشرفين، على سبيل المثال، تحديد تعبير عادي بعناية شديدة لكل اختلاف إملائي لكلمة بذيئة. كما أنها معقدة، ويسهل التغلب عليها، مما يجعل العديد من المجتمعات تتجنب استخدامها. تمتلك ما لا يقل عن اثني عشر مجتمعًا "بوتات" لمكافحة التخريب، ولكن يقوم المجتمع بتشغيلها وصيانتها، وتتطلب خبرة تقنية محلية وعادة ما تكون ذات تكوينات غير مرئية للجميع. تعتمد هذه البوتات أيضًا إلى حد كبير على نموذج ORES الضار، والذي لم يجري تدريبه منذ فترة طويلة ولديه دعم لغوي محدود.
الأهداف
- تقليل تراكمات أعمال الإشراف عن طريق منع التعديلات السيئة من الدخول إلى قوائم انتظار المراجعة.
- منح المشرفين الثقة في أن المشرف الآلي موثوق به ولا ينتج عنه نتائج إيجابية كاذبة كبيرة.
- تمكين المحررين الذين يواجهون "نتيجة إيجابية كاذبة" بطرق واضحة للإبلاغ عن الخطأ / إعادة التعديل الخاص بهم.
- هل هناك أهداف أخرى يجب أن نأخذها بعين الاعتبار؟
أبحاث التصميم
لقد تعمقنا في عملية بحث شاملة في التصميم لإنشاء أساس قوي لأداة التكوين للمشرف الآلي. ويُعد جوهر نهجنا هو صياغة مبادئ التصميم الأساسية لتشكيل واجهة تشكيل بديهية وسهلة الاستخدام.
نظرنا إلى التقنيات القائمة وأفضل التطبيقات وهذه العملية تعرف باسم بحث المكتب. سمح لنا هذا بالحصول على رؤى قيمة في الاتجاهات الحالية، والمسارات المحتملة، والنماذج الناجحة في مجال الإشراف الآلي على المحتوى. لقد أدركنا أولوية فهم الآثار الأخلاقية للتفاعل بين الإنسان والآلة، وركزنا على ممارسات التصميم المسؤولة لضمان تجربة إيجابية ومفهومة للمستخدم. لقد تمكنا من تحسين مبادئ التصميم التي تعطي الأولوية للشفافية وتمكين المستخدمين والاعتبارات الأخلاقية.
نموذج
سيستفيد هذا المشروع من نماذج مخاطر التراجع الجديدة التي طورها فريق Wikimedia Foundation Research. هناك نسختان من هذا النموذج:
- نموذج متعدد اللغات، يدعم 47 لغة.
- نموذج حيادي اللغة.
يمكن لهذه النماذج حساب درجة (تقييم) لكل تعديل تشير إلى احتمالية التراجع عن ذلك التعديل. نحن نتصور تزويد المجتمعات بطريقة لتعيين حد لهذه الدرجة (التقييم)، والذي إذا تجاوزته سيجري منع التعديلات أو التراجع عنها تلقائيًا.
تدعم النماذج حاليًا ويكيبيديا فقط، ولكن يمكن تدريبها على مشاريع ويكيميديا الأخرى. بالإضافة إلى ذلك، فقد جرى حاليًا تدريبهم فقط على النطاق الرئيسي (نطاق المقالات). بمجرد نشره، يمكننا إعادة تدريب النموذج بشكل مستمر حيث يقوم المجتمع بالإبلاغ عن "نتائج إيجابية كاذبة".
قبل المضي قدمًا في هذا المشروع، نود توفير فرص لاختبار النموذج على "أحدث التغييرات"، حتى يتمكن المشرفون من فهم مدى دقة النموذج وما إذا كانوا يشعرون بالثقة في استخدامه بالطريقة التي نقترحها.
- هل لديك أي مخاوف بشأن هذه النماذج؟
- ما هي النسبة المئوية للنتائج الإيجابية الكاذبة التي ستكون الحد الأقصى الذي تقبله أنت أو مجتمعك؟
الحلّ المحتمل
نحن نتصور أداة يمكن تهيئتها بواسطة مشرفي المجتمع لمنع التعديلات أو التراجع عنها تلقائيًا. يعد التراجع عن التعديلات هو السيناريو الأكثر احتمالاً - حيث يتطلب منع التعديل أداءً عاليًا حتى لا يؤثر على أوقات حفظ التعديل. بالإضافة إلى ذلك، فهو يوفر قدرًا أقل من الإشراف على التعديلات التي يجري منعها، وهو ما قد لا يكون مرغوبًا فيه، خاصة فيما يتعلق بحالات "الإيجابيات الكاذبة". يجب أن يكون المشرفون قادرين على تهيئة ما إذا كانت الأداة نشطة أم لا، وأن يكون لديهم خيارات لمدى صرامة النموذج، وتحديد اسم المستخدم وملخص التحرير المستَخدَم، والمزيد.
قد تعني الحدود المنخفضة التراجع عن المزيد من التعديلات، ولكن معدل "الحالات الإيجابية الكاذبة" سيكون أعلى، في حين أن الحد المرتفع سيؤدي إلى التراجع عن عدد أقل من التعديلات، ولكن بثقة أعلى.
في حين أن الشكل الدقيق لهذا المشروع لا يزال قيد الاستكشاف، فيما يلي بعض أفكار الميزات التي ندرسها، بما يتجاوز أساسيات منع أو التراجع عن التعديلات التي تلبي حد خطر التراجع.
الاختبار
إذا كان لدى المجتمعات خيارات بشأن مدى الصرامة التي تريد أن يكون عليها المشرف الآلي، فنحن بحاجة إلى توفير طريقة لاختبار تلك الحدود مسبقًا. قد يبدو هذا مثل وظيفة اختبار "مُرشح الإساءة"، حيث يمكن التحقق من أداء المشرف الأى مع "أحدث التغييرات"، لفهم التعديلات التي كان من الممكن التراجع عنها عند حد معين.
- ما مدى أهمية هذا النوع من وظائف الاختبار بالنسبة لك؟ هل هناك أي ميزات اختبار قد تجدها مفيدة بشكل خاص؟
تهيئة المجتمع
سيكون أحد الجوانب الأساسية لهذا المشروع هو منح المشرفين خيارات تهيئة واضحة لإعداد المشرف الآلي وتخصيصه وفقًا لاحتياجات مجتمعهم. بدلاً من التراجع عن جميع التعديلات التي تُحقق الحد الأدنى، يمكننا، على سبيل المثال، توفير مرشحات لعدم التشغيل على المحررين في مجموعات مستخدمين معينة، أو تجنب صفحات معينة.
- ما هي خيارات التهيئة التي تعتقد أنك ستحتاجها قبل استخدام هذا البرنامج؟
الإبلاغ عن الحالات الإيجابية الكاذبة
نماذج التعلم الآلي ليست مثالية، ولذلك يجب أن نتوقع أنه سيكون هناك عدد من النتائج الإيجابية الكاذبة. هناك شيئان على الأقل نحتاج إلى أخذهما في الاعتبار هنا: عملية قيام المستخدم بالإبلاغ عن أن تعديله قد جرى التراجع عنه بشكل خاطئ حتى يمكن إعادته، وتوفير آلية للمجتمعات لتقديم تعليقات إلى النموذج بمرور الوقت حتى يمكن إعادة تدريبه.
النموذج أكثر حساسية للتعديلات التي يجريها المستخدمون الجدد وغير المسجلين، حيث أن هذا هو المكان الذي تأتي منه معظم أعمال التخريب. لا نريد أن تؤثر هذه الأداة سلبًا على تجربة المستخدمين الجدد بحسن نية، لذلك نحتاج إلى إنشاء مسارات واضحة للمستخدمين الجدد لفهم أن تعديلهم قد جرى التراجع عنه، وأن يكونوا قادرين على استعادته. ومع ذلك، يجب موازنة ذلك مع عدم توفير طرق سهلة للمخربين للتراجع عن عمل الأداة.
على الرغم من أن هذه النماذج قد جرى تدريبها على كمية كبيرة من البيانات، إلا أن التقارير عن الحالات الإيجابية الكاذبة من المحررين يمكن أن توفر مجموعة بيانات قيمة لإعادة التدريب المستمر للنموذج. نحتاج إلى معرفة كيفية تمكين المحررين ذوي الخبرة من إرسال بيانات عن الحالات الإيجابية الكاذبة مرة أخرى إلى النموذج حتى يتمكن من التحسن بمرور الوقت.
- كيف يمكننا تقديم معلومات وإجراءات واضحة للمحررين بخصوص الحالات الإيجابية الكاذبة، بطريقة لا يستغلها المخربون؟
- ما هي المخاوف التي لديك بشأن النتائج الإيجابية الكاذبة؟
التصميمات
خططنا الحالية لـ المشرف الآلي تحتوي على المكونات التالية.
صفحة البدء
-
صفحة البدء
صفحة البدء وبها معلومات عن المشرف الآلي، ووسيلة لمراجعة قرارات البوت، ورابط لتهيئة البوت.
صفحة الإعدادات
-
صفحة الإعدادات -
إجراء تغييرات على صفحة الإعدادات. -
حفظ التغييرات على صفحة الإعدادات.
صفحة الإعدادات، والتي سيجري إنشاؤها بإعدادات المجتمع. في MVP ، سيكون بإمكان المشرفين تشغيل أو إيقاف المشرف الآلي وتحديد الحد (أي كيفية عملها) وتخصيص "ملخص التعديل" الافتراضي واسم المستخدم. نتوقع أن نضيف المزيد من خيارات التهيئة مع مرور الوقت ردا على التعليقات. بمجرد حفظ الصفحة، إذا قام المستخدم بتشغيل المشرف الآلي، فسيعمل على الفور.
أسئلة أخرى مفتوحة
- إذا كان مجتمعك يستخدم بوتًا لمكافحة التخريب يديره متطوعون، فما هي تجربتك مع هذا البوت؟ ما هو شعورك إذا توقفت عن العمل؟
- هل تعتقد أن مجتمعك سيستخدم هذا؟ كيف تتناسب مع سير العمل والأدوات الأخرى لديك؟
- ما الذي حتاج لمزيد من التوثيق أعلاه (أو لم يجري توثيقه)؟