النمو/اليوم الأول المعدَّل/مهام الوافدين الجدد/تحاليل التجربة، نوفمبر/تشرين الثاني 2020
ملخّص هذه الصفحة: أفضت تحاليل هذه البيانات، إلى أنّ مِيزة «مهام الوافدين الجدد» من فريق النموّ تنحو إلى الزيادة في:
|
خلال شهر نوفمبر/تشرين الثاني 2019، أضاف فريق النموّ مِيزة «مهام الوافدين الجدد» على لوحة الوافدين الجدد. توفّر مهام الوافدين الجدد تدفّقا لمقالات مقترحة قصد تعديلها، تطابق مجالات اهتماماتهم. كان الهدف من ذلك تقديم تعديلات سهلة للوافدين الجدد تثير اهتمامهم عند وصولهم للمرّة الأولى على الويكي. كانت فرضيتنا أن تقوم الأداة بجعل الوافدين الجدد يقومون بالبدء في التعديل، ولتعلّم مهارات التعديل، ومشاهدة تأثيرهم، وبعدها الاستمرار في التعديل.
|
Newcomer tasks experiment analysis
Results from controlled experiment testing efficacy of Growth features.
|
للتعرّف على تأثير المزايا، قمنا بنشرها في تجربة مضبوطة: 76% من الوافدين الجدد تحصّلوا على المزايا والـ24% المتبقية لم تحصل عليها. دامت التجربة ستة أشهر، ثمّ جمعنا البيانات من الويكيبيديات العربية والتشيكية والفيتنامية والكورية.
ملخص النتائج
عمومان أظهرت التحليلات أنّ مزايا فريق النموّ تحسّن أداء الوافدين الجدد. في ما يلي أبرز النِّقَاط.
- يكون الوافدون الجدد المتحصّلون على مزايا النموّ أكثر قابلية للـ «تفعيل» (أي القيام بأوّل تعديل لمقالة).
- نعتقد أيضا أن لديهم قابلية الاستبقاء (أي الرجوع في يوم آخر وتعديل مقالة أخرى).
- هذه المِيزة تزيد من حجم التعديلات (أي عدد التعديلات) دون النقصان في البنائية (أي ما إذا تم استرجاع التعديلات).
تعتقد أن النتائج تؤكّد أنّ مزايا النموّ، و خاصة منها مهام الوافدين الجدد، تؤدّي إلى أن الوافدين الجدد يعدّلون أكثر ويبقون في الويكي لوقت اطول.
نظرا إلى هذه النتائج، نعتقد أن جميع الويكيات يجب أن تفكّر في تنصيب هذه المزايا.
نعتقد أيضا أن هذه النتائج تؤيّد أنّ على فريق النموّ المضيّ في العمل على المهام المهيكلة، وفي إنشاء أنواع جديدة من مسارات العمل الخاصة بالوافدين الجدد.
مصطلحات
- بموفّى شهر نوفمبر/تشرين الثاني، تحصّلت سبعة عشرة ويكي على مزايا النموّ. لكننا، خلال تجربتنا، قمنا بتحليل أربع ويكيات رائدة: الويكيبيديات العربية، والفيتنامية، والتشيكية، والكورية.
- لم يتحصّل كل الوافدون الجدد على مزايا النموّ؛ 20% منهم اختيروا عشوائيا للحصول على التجربة الافتراضية. المجموعة المتحصّلة على المزايا هي مجموعة المعالجة والمجموعة صاحبة التجربة الافتراضية هي المجموعة الضابطة. الأرقام التي تأتي من التجربة الافتراضية تُدعى الأرقام القاعدية.
- نعرّف الـتنشيط بأن يقوم الوافدون الجدد بالتعديل الأوّل في ظرف 24 ساعة الموالية للتسجيل. معدّل التنشيط القاعدي هو معدّل التنشيط مع المزايا الافتراضية، لا مزايا النموّ.
- التنشيط البناء نعرّفه بأن يقوم الوافدون الجدد بالتعديل الأوّل خلال 24 ساعة بعد التسجيل، وأن لا يتمّ استرجاع ذلك التعديل خلال 48 ساعة. معدّل البنائية القاعدي هو المعدّل الخاص بالمستخدمين مع المزايا الافتراضية، لا مزايا النموّ.
- الاستبقاء يُعرّف بأن يرجع الوافدون الجدد في يوم آخر خلال أسبوعين بعد التفعيل والقيام بتعديل آخر. معدّل الاستبقاء القاعدي هو المعدّل الخاص بالمستخدمين مع المزايا الافتراضية، لا مزايا النموّ.
- حجم التعديلات هو العدد الإجمالي للتعديلات التي قام بها الوافدون الجدد خلال الأسبوعين الأوّلين. حجم التعديلات القاعدي هو المعدّل الخاص بالمستخدمين مع المزايا الافتراضية، لا مزايا النموّ.
النتائج المفصّلة
فيما يلي التأثيرات المحددة التي قدرناها من التجربة المراقبة. تستند كلّها على ملاحظة ٩٧٬٧٥٥ حساب جديد على الويكيبيديات الرائدة، بين نوفمبر/تشرين الثاني 2019 ومايو/أيار 2020. للمزيد من التفاصيل حول المنهجية، شاهدوا «المنهجية»، أدناه.
التنشيط
من أجل هذا التحليل، ركّزنا على التعديلات في المقالة وعلى نطاقات نقاشات المقالات.
- التنشيط: الوافدون الجدد مع مزايا النموّ 11,6% منهم يُرجّح أن يقوموا بالتعديل على مقالة. في ويكيبيدياتنا الرائدة الأربعة، معدّل التنشيط القاعدي هو 21,6%. تُقدّر زيادة التنشيط مع مزايا النموّ بـ24,1%، أي بزيادة قدرها 11,6% عن القاعدة. On our four pilot wikis, the baseline activation rate is ٢١٫٦%. The Growth features are estimated to increase activation to ٢٤٫١%, which is an ١١٫٦% increase over the baseline.
- التنشيط البناء: يكون مدى التأثير أكبر حين نشاهد فقط التنشيط البنّاء. الوافدون الجدد مع مزايا النموّ 26,7% منهم، يٌرجّح أن يقوموا بتعديلهم الأول الغير مسترجع. في ويكيبيدياتنا الرائدة الأربعة، معدّل التنشيط البنّاء القاعدي هو 16,1%. تُقدّر زيادة ذلك مع مزايا النموّ بـ20,4%، أي بزيادة قدرها 26,7% عن القاعدة. Newcomers with Growth features are ٢٦٫٧% more likely to make a first unreverted article edit. On our four pilot wikis, the baseline constructive activation rate is ١٦٫١%. The Growth features are estimated to increase this to ٢٠٫٤%, which is a ٢٦٫٧% increase over the baseline.
الاستبقاء
لأنّ الاستبقاء أندر من التنشيط، سيصعب كشف التغييرات. في هذه التجربة، لم نقم باكتشاف أي تغييرات بصفة مباشرة. عوضا عن ذلك، قدّرنا أنّ تطوّر الاستبقاء يشابه تطوّر التنشيط، أي بحوالي 11,6%. يأتي هذا من فكرة أن النشاط خلال اليوم الأول يؤثر على التنشيط في الأيام التالية، وهو أمر نضعه في الاعتبار في نماذجنا الإحصائية. نظرًا لكون ميزات النمو تفضي إلى زيادة عدد المستخدمين النشطين في يومهم الأول، ووجدنا «لا تغيير» في احتمال استبقاء المستخدمين النشطين، يترتب على ذلك أنه يمكننا توقع زيادة التنشيط مترجمة في زيادة مماثلة في الاستبقاء. بمعنى آخر، يبدو أن مزايا النمو تؤدي إلى زيادة في الاستبقاء «بسبب» الزيادة في التنشيط: سيتم استبقاء بعض المستخدمين الذين تم تنشيط مزايا النمو لديهم، بشكل طبيعي. In this experiment, we did not detect any changes directly. Instead, we estimate that retention is increased to a similar degree that activation is increased, i.e. by about ١١٫٦%. This comes from the idea that activity during the first day affects activity on the following days, something we account for in our statistical models. Since the Growth features are found to increase the number of users who are active on their first day, and we find no change in the probability that activated users are retained, it follows that we can expect the increase in activation to translate into a similar increase in retention. In other words, the Growth features appear to lead to an increase in retention caused by the increase in activation: some of the users that the Growth features activated would naturally go on to being retained.
معدّل التنشيط القاعدي في الويكيبيديات الأربع خلال التجربة هو ٣٫٢%. نقدّر أن مزايا النموّ تزيد هذا المعدّل بـ٣٫٦%.
حجم التعديل
تساهم مزايا النموّ في زيادة تقدّر بـ22% في عدد تعديلات المقالات من قبل الوافدين الجدد في الأسبوعين الأولين. في ويكيبيدياتنا الرائدة الأربعة، حجم التعديلات القاعدي يقدّر بـ 1,4 تعديلا، الذي يعني أن معدّل تعديلات الوافدين الجدد يقدّر بـ 1,4 تعديلا. مع مزايا النموّ معدّل تعديلات الوافدين الجدد يرتفع إلى 1,7 تعديلا للمقالات.
بتعبير آخر:
- ١٬٠٠٠ وافد جدد دون مزايا فريق النموّ بإمكانهم إنجاز ١٬٤٠٠ تعديلا للمقالات.
- ١٬٠٠٠ وافد جديد مع مزايا فريق النموّ بإمكانهم إنجاز ١٬٧٠٠ تعديلا للمقالات.
تعكس هذه الزيادة كلاً من أن ميزات النمو تزيد من احتمالية قيام الوافدين الجديد بتعديل المقالة و أيضا قيام بعض الوافدين الجدد بإجراء العديد من التعديلات المقترحة بسرعة. حتى أن بعضهم أجروا أكثر من 100 تعديل في غضون أسبوعين بعد التسجيل.
قياسات أخرى
ننظر أيضل إلى قياسات أخرى عدّة، مع نتائج أقلّ أهميّة.
- استرجاعات: نظرنا في ما إذا كان الوافدون الجدد الذين يستخدمون مزايا النمو أكثر أو أقل عرضة للتراجع عن تعديلاتهم. لم يظهر هذا التحليل نتائج كبيرة أو جليّة.
- وافدون جدد نشطون جدّا: أظهرت نتائجنا أنّ مزايا النموّ تجعل من الوافدين الجدد نشطين ويقومون بعدد أكبر من التعديلات. أردنا أيضا أن نرى في ما إذا كانت المزايا تجعل من الوافدين الجدد نشطين جدّا. نحن نعرّفهم بأن يقوم المستخدمون بـ50 تعديلا خلال 30 يوما. هذه التحاليل لم تظهر فرقا في النتائج مع مزايا النموّ.
- شكور: نظرنا في ما إذا كان الوافدون الجدد الذين لديهم ميزات النمو يتلقون «شكورا» أكثر من الوافدين الجدد الآخرين. لقد وجدنا نتائج مماثلة لتحليل الاستبقاء في أننا نتوقع أن تؤدي ميزات النمو تقوم بتلقي المزيد من الشكور، ولكن هذا فقط لأنها تولّد المزيد من التعديلات. هذا ليس لأن الميزات تجعل الوافدين الجدد يقومون بإجراء تعديلات من المرجح أن تجذب الشكور.
- فُرُوق بين الويكييات والمنصات: قارننا بين الويكييات والمنصات (المحمول وسطح المكتب). لم نجد فروقا واضحة لتأثير مزايا النموّ.
المُخرجات والخطوات اللاحقة
المُخرجات
- المزايا تعمل: تعمل مزايا فريق النموّ على الترفيع في ارتباط الوافدين الجدد. ينطبق ذلك بصفة ملحوظة مع عنصر «مهام الوافدين الجدد»، الذي يقوم باقتراح تعديلات سهلة.
- الثقة في إنشاء المهام المهيكلة: يعطينا هذا، الثقة في أنّ عملنا الحالي في إنشاء أنواع أخرى من مهام الوافدين الجدد، مثل مهمّة «إضافة وصلة»، سيزيد في التأثير.
- الحاجة إلى التعزيز الإيجابي: أظهرت النتائج أنّ مزايا النموّ تأثّر بشكل أساسيّ على التنشيط - جعل الوافدين الجدد للقيام بتعديلهم الأوّل - بدلاً من الاستبقاء. يبدو أن الميزات تزيد من الاستبقاء لأنها زادت من التنشيط. يجب أن يفكر فريق النموّ فيما يمكننا إضافته إلى المزايا لتشجيع الوافدين الجدد على الرجوع بعد إجراء التعديلات الأولى. وعلى هذا، فإننا نخطط للعمل على «التعزيز الإيجابي» هذا العام. سيؤدي ذلك إلى إضافة معالم وإحصائيات، بحيث يمكن للوافدين الجدد أن يتحمّسوا بشأن تقدّمهم وتأثيرهم.
الخطوات التالية
- الحديث عنّا: لدينا الآن ثقة متزايدة في قيمة المزايا. لذلك، سيشجع فريق النموّ المزيد من الويكييات عبى لاطلاع على النتائج والنظر في إمكانية نشر المزايا.
- مواصلة العمل: هذه السنة، سنواصل التركيز على إضافة أنواع جديدة من المهام وتحصيل المزيد من التعزيز الإيجابي حين ينهي الوافدون الجدد المهام.
- توسّع التحليل: الآن لمّا أنهينا هذا التحليل، نخن جاهزون لإعادة الكرّة مرّة أخرى في المستقبل. سنكون قادرين على النظر إلى مدى تأثير المزايا في ويكييات أخرى، ومشاهدة كيفية تغيير التحسينات على تأثيرها.
المنهجية
نشر فريق النمو وحدة مهام الوافدين الجدد على لوحة المستخدمين للوافدين الجدد على الويكيبيديات التشيكية والكورية والفيتنامية والعربية يوم 21 نوفمبر/تشرين الثاني 2019. خلال التجربة، تم تعيين المستخدمين بشكل عشوائي إما لمجموعة العلاج أو المجموعة الضابطة. في مجموعة العلاج، تلقى المستخدمون جميع مزايا النموّ (لوحة المستخدمين، مهام الوافدين الجدد، لوحة المساعدة، إلخ)، بينما لم يتلق المستخدمون في المجموعة الضابطة أيًا منها.
من 21 نوفمبر/تشرين الثاني إلى 12 ديسمبر/كانون الأول 2019، كانت فرصة التواجد في مجموعة العلاج 50%. تغير هذا إلى 80% في 12 ديسمبر/كانون الأول، عندما بدأ الفريق باختبار أ/ب لخيارين لوحدة مهام الوافدين الجدد.
يمكن للمستخدمين تفعيل أو تعطيل مزايا النمو بواسطة تفضيلاتهم في أيّ وقت. حينها، يُقصون من هذا التحليل. نقصي أيضا حسابات التجريب المعروفة، والمستخدمين المسجلين عبر الأي بي آي (هي حسابات تطبيقات بشكل أساسي)، والحسابات التي تمّ إنشاؤها آليا.
تحتوي مجموعة البيانات الخاصة بهذا التحليل على 97.755 حساباً مسجلاً بين بداية التجربة و14 مايو 2020. ومن بين هؤلاء، يوجد 23.529 (24.1%) في المجموعة الضابطة و74.226 (75.9%) في مجموعة العلاج. Of these, ٢٣٬٥٢٩ (٢٤٫١%) are in the control group and ٧٤٬٢٢٦ (٧٥٫٩%) are in the treatment group.
يستخدم تحليلنا multilevel (hierarchical) regression models، باستخدام الويكي كمتغير تجميع. هذا يسمح لنا بتفسير الاختلافات بين الويكي في تحليلنا. على سبيل المثال، نماذج التنشيط لدينا هي نماذج انحدار لوجستي متعددة المستويات، مما يعني أنها تأخذ في الاعتبار الاختلافات المتأصلة في معدل التنشيط بين مواقع الويكي. نعلم أيضًا أن نشاط التحرير يتبع long tail distribution، وبالتالي فإن رقم الطراز للتحرير الذي تم إجراؤه باستخدام zero-inflated negative binomial distribution (مرة أخرى باستخدام نموذج متعدد المستويات). This allows us to account for differences between the wikis in our analysis. For example, our activation models are multilevel logistic regression models, which means that they account for the inherent differences in activation rate between the wikis. We also know that editing activity follows a long tail distribution, and therefore model number of edits made using a zero-inflated negative binomial distribution (again using a multilevel model).