Croissance/Premier jour personnalisé/Tâches des nouveaux venus/Analyse de l'expérience, novembre 2020
Résumé : cette analyse révèle que les fonctionnalités de Croissance entraînent une augmentation de :
|
En novembre 2019, l'équipe Croissance a ajouté la fonctionnalité des tâches des nouveaux venus à la page d'accueil des nouveaux venus. Les tâches du nouveau venu fournissent un flux d'articles suggérés à modifier, adapté à ses domaines d'intérêt. L'objectif était de donner aux nouveaux arrivants des modifications faciles qui les concernent lorsqu'ils arrivent pour la première fois sur le wiki. Notre hypothèse était que les outils rendraient plus probable le fait que les nouveaux arrivants commencent à éditer, à apprendre les compétences en édition et voient l'impact sur les lecteurs, pour ensuite qu'ils continuent à éditer.
|
Analyse de l'expérience des tâches des nouveaux venus
Résultats de l'expérience contrôlée du test de l'efficacité des fonctionnalités de Croissance.
|
Pour en savoir plus sur l'impact des fonctionnalités, nous avons déployé les fonctionnalités dans une expérience contrôlée : 76% des nouveaux arrivants ont obtenu les fonctionnalités et 24% ne les ont pas faites. L'expérience a duré six mois, et nous avons recueilli des données des Wikipédias arabe, vietnamienne, tchèque et coréenne.
Résumé des recherches
En général, l'analyse a montré que les caractéristiques de croissance améliorent les résultats pour les nouveaux arrivants. Voici les points les plus importants.
- Les nouveaux arrivants qui ont reçu les fonctionnalités Croissance sont plus enclins à devenir « actifs » (par exemple en faisant une première modification d'article).
- Nous pensons également qu'ils seront fidèles (c'est à dire qu'ils reviendront un autre jour pour faire d'autres modifications d'articles).
- Les fonctionnalités augmentent le volume des modifications également (c'est àdire le nombre d'éditions) sans réduire la robustesse (par exemple si des modifications sont annulées).
Nous pensons que ces résultats confirment que les fonctionnalités de Croissance, en particulier les tâches des nouveaux arrivants, incitent les nouveaux arrivants à éditer davantage et à rester plus longtemps sur le wiki.
En raison de ces résultats, nous pensons que toutes les Wikipédia devraient envisager de mettre en œuvre ces fonctionnalités.
Nous pensons également que ces résultats valident le fait que l'équipe Croissance doit continuer à travailler sur les tâches structurées, pour créer de nouvelles formes faciles de flux de travail d'édition pour les nouveaux arrivants.
Glossaire
- En novembre 2020, dix sept wikis avaient les fonctionnalités de Croissance. Cependant, dans notre expérience, nous avons analysé quatre wikis pilotes: les Wikipedias arabe, vietnamienne, tchèque et coréenne.
- Tous les nouveaux arrivants ne reçoivent pas les fonctionnalités Croissance; 20 % d'entre-eux sont choisis au hasard pour recevoir l'expérience par défaut. Le groupe ayant les fonctionnalités est nommé groupe de traitement et le groupe qui a l'expérience par défaut est le groupe de contrôle. Les chiffres issus de l'expérience par défaut sont nommés chiffres de base (baseline).
- L'activation est définie par le nouvel arrivant qui fait sa première modification dans les 24 heures après s'être enregistré. Le taux d'activation de base est le taux d'activation avec les fonctionnalités par défaut, et pas celles de Croissance.
- L'activation constructive est le fait que le nouvel arrivant fait sa première modification dans les 24 heures après son inscription et que cette modification n'est pas annulée dans les 48 heures. Le taux de base de l'aspect constructif est le taux des utilisateurs ayant les fonctionnalités par défaut, et non de ceux qui ont les fonctionnalités Croissance.
- La rétention couvre tout ce qui fait qu'un nouvel arrivant revient un autre jour pour faire une nouvelle modification dans les deux semaines qui suivent l'activation de son compte. Le taux de base de rétention est le taux des utilisateurs ayant les fonctionnalités par défaut, et non de ceux qui ont les fonctionnalités Croissance.
- Le volume des modifications est le nombre total d'éditions faites par un utilisateur durant les deux premières semaines. Le taux de base du volume des modifications est le nombre pour les utilisateurs ayant les fonctionnalités par défaut et non ceux qui ont les fonctionnalités Croissance.
Recherches détaillées
Vous trouverez ci-dessous les impacts spécifiques que nous avons estimés à partir des expériences contrôlées. Ils sont tous basés sur l'observation de 97 755 nouveaux comptes des wikis pilotes, entre novembre 2019 et mai 2020. Pour plus de détails, voir la section Méthodologie ci-après.
Activation
Pour cette analyse, nous avons regardé les modifications des espaces de noms de l'article et de sa page de discussion.
- Activation : les nouveaux arrivant avec les fonctionnalités Croissance sont à 11,6% certains de poursuivre en faisant une première modification d'article. Sur nos quatre wikis pilotes, le taux d'activation de base est de 21,6%. Les fonctionnalités de Croissance sont estmées augmenter l'activation de 24,1%, soit une augmentation de 11,6% par rapport à la ligne de base.
- L'activation constructive : l'effet est plus grand si on ne regarde que l'activation constructive. Les nouveaux venus ayant les fonctionnalités Croissance ont 26,7% de chance de faire une première modification d'article non annulée. Sur nos quatre wikis pilotes, le taux d'activation constructif de base est de 16,1%. Les caractéristiques de croissance devraient augmenter ce montant à 20,4%, soit une augmentation de 26,7% par rapport à la ligne de base.
Rétention
Comme la rétention est beaucoup plus rare que l'activation, il est plus difficile de détecter les changements. Dans cette expérience, nous n'avons pas détecté de changements directement. Au lieu de cela, nous estimons que la rétention est augmentée dans un degré similaire à celui de l'activation, soit d'environ 11,6%. Cela vient de l'idée que l'activité du premier jour affecte l'activité des jours suivants, ce que nous expliquons dans nos modèles statistiques. Depuis que nous savons que les fonctionnalités de Croissance permettent d'augmenter le nombre d'utilisateurs actifs le premier jour et qu'il y a eu aucun changement dans la probabilité de retenir les utilisateurs activés, il en résulte que nous pouvons espérer que l'augmentation des activations se traduira par une augmentation similaire de la rétention. En d'autres termes, les fonctionnalités de Croissance semblent apporter une augmentation de la rétention causée par une augmentation de l'activation : certains des utilisateurs que les fonctionnalités de Croissance ont activés continueront naturellement en restant.
Le taux de rétention de base sur les quatre wikis de l'expérience est de 3,2%. Nous estimons que les caractéristiques de croissance augmentent ce pourcentage à 3,6%.
Volume des éditions
The Growth features lead to an 22% increase in the number of article edits by newcomers in their first two weeks. On our four pilot wikis, the baseline estimated edit volume is 1,4, which means that the average newcomer is estimated to make 1,4 edits. Newcomers with the Growth features are estimated to make an average of 1,7 article edits.
En d'autres termes :
- 1 000 nouveaux arrivants sans les fonctionnalités Croissance feraient 1 400 modifications d'articles.
- 1 000 nouveaux arrivants avec les fonctionnalités Croissance feraient 1 700 modifications d'articles.
This increase reflects both that the Growth features increase the likelihood that a newcomer makes an article edit and that some newcomers make many suggested edits quickly. Some of them even make over 100 edits within two weeks of registration.
Autres métriques
Nous avons également examiné plusieurs autres métriques, avec des résultats moins significatifs.
- Reverts: we looked at whether newcomers with Growth features were more or less likely to have their edits reverted. This analysis did not show large or clear results.
- Highly active newcomers: our results have shown that Growth features cause more newcomers to become active and to make more edits. We also wanted to see whether the features lead to more newcomers becoming highly active. We defined them as users making 50 edits in their first 30 days. This analysis did not show differences resulting from the Growth features.
- Thanks: we looked at whether newcomers with Growth features receive more “thanks” than other newcomers. We found similar results to the retention analysis in that we expect that Growth features do lead to more thanks received, but that this is only because they cause more edits. This is not because the features cause newcomers to make edits that are more likely to attract thanks.
- Differences between wikis and platforms: we compared the wikis and platforms (mobile vs desktop). We did not find significant differences in the effect of the Growth features.
Résultats et étapes suivantes
Résumé
- Le travail des fonctionnalités : le travail des fonctionnalités de l'équipe Croissance est d'accroître l'engagement des nouveaux arrivant. Ceci est particulièrement vrai pour le composant tâches des nouveaux venus, qui suggère des modifications faciles.
- Confidence in building structured tasks: this gives us confidence that our current work to build more kinds of newcomer tasks, such as the "add a link" task, will increase impact.
- Need for positive reinforcement: the results showed that the Growth features primarily impact activation – getting newcomers to make their first edit – as opposed to retention. The features only seemed to increase retention because they increased activation. The Growth team should think about what we can add to the features to encourage newcomers to return after making their first edits. Thus, we are planning work on "positive reinforcement" this year. This will add milestones and statistics, so that newcomers can get excited about their progress and impact.
Étapes suivantes
- Spread the word: we now have increased confidence in the value of the features. Therefore, the Growth team will encourage more wikis to read results, and consider deploying the features.
- Continuer le travail : cette année, nous continuerons de nous focaliser sur l'ajout de nouveaux types de tâches et à fournir une présence positive lorsque les nouveaux venus terminent leurs tâches.
- Extend the analysis: now that we have completed this analysis, we're able to more easily run it again in the future. We'll be able to look at how the features impact more wikis, and see how improvements alter their impact.
Méthodologie
L'équipe Croissance a déployé le module des tâches pour les nouveaux arrivant sur lapage d'accueil des Wikipedias tchèque, coréenne, vietnamienne et arabe le 21 novembre 2019. Durant cette expérience, les utilisateurs se sont vus assignés au hasard soit au groupe de traitement, soit ou au groupe de contrôle. Dans le premier, ils ont reçu toutes les fonctionnalités de Croissance (page d'accueil, tâches des nouveaux venus, panneau d'aide, etc.), alors que dans le second ils n'ont reçu aucune de ces fonctionnalités.
Du 21 novembre au 12 décembre 2019, la probabilité d'être dans le groupe de traitement était de 50%. Cela a changé à 80% le 12 décembre, lorsque l'équipe a commencé un test A/B de deux variantes du module des tâches des nouveaux arrivants.
Les utilisateurs peuvent activer ou désactiver les fonctionnalités de Croissance dans les préférences utilisateur à tout moment. S'ils le font, ils sont exclus de cette analyse. Nous excluons également les comptes de test connus, les utilisateurs qui se sont inscritst via l'API (ce sont principalement des comptes d'applications) et les comptes qui sont créés automatiquement.
L'ensemble des données pour cette analyse couvre 97 755 comptes enregistrés entre le début de l'expérience et le 14 mai 2020. Parmi ceux-ci, 23 529 (soit 24,1%) appartiennent au groupe de contrôle et 74 226 (soit 75,9%) appartiennent au groupe de traitement.
Notre analyse fait l'utilisation extensive des modèles de régression multi-niveaux (hiérarchiques), en utilisant le wiki comme variable de groupement. Cela nous permet d'expliquer les différences entre les wikis dans notre analyse. Par exemple, nos modèles d'activation sont des modèles de régression logistique à plusieurs niveaux, ce qui signifie qu'ils représentent les différences inhérentes dans le taux d'activations entre les wikis. Nous savons aussi que l'activité d'édition suit une distribution à longue traîne, d'où le nombre de modèles de modifications faites qui utilisent une distribution binômiale négative avec excès de zéros (zero-inflated model) - (ici encore avec un modèle multi-niveaux).