Croissance/Premier jour personnalisé/Sondage de bienvenue
Le 20 novembre 2018, l'enquête de bienvenue a été déployée sur les groupes de traitement des Wikipedias tchèque et coréenne, et les données initiales ont été rassemblées et analysées dans ce rapport initial en décembre 2018.
|
Welcome survey
 Gather information from new editors to help them achieve their goals
|
This page describes the Growth team's work on the "welcome survey" project, which is a specific project under the larger "Personalized first day" initiative. This page contains major assets, designs, and decisions. Most incremental updates on progress will be posted on the general Growth team updates page, with some large or detailed updates posted here.
En mars 2019, nous avions conclu que la structure appelée variante A était la meilleure, et maintenant elle est appliquée à tous les nouveaux utilisateurs des Wikipédias tchèque et coréenne.
Nous investissons actuellement pour savoir quelle variante de sondage est la meilleure pour la Wikipedia vietnamienne.
Etat actuel
- 2018-11-20: le sondage de bienvenue a été déployé sur les Wikipedia tchèque et coréenne avec la moitié des utilisateurs recevant la variante A et l'autre moitié restant dans le groupe de contrôle.
- 2018-12-22: le rapport initial avec les résultats de l'enquête a été publié.
- 2019-01-16: après avoir déterminé que la partie ayant reçu la variante A ne faisait pas baisser le taux d'activation, nous avons modifié la Wikipedia tchèque et la coréenne de sorte à ce que la moitié des utilisateurs reçoivent la variante A et l'autre moitié la variante C.
- 2019-01-24: le sondage de bienvenue a été déployé sur la Wikipedia vietnamienne avec la moitié des utilisateurs recevant la variante A et l'autre moitié la variante C.
- 2019-02-27: basculement de la Wikipedia vietnamienne de sorte à ce que la moitié des utilisateurs reçoivent la variante A et l'autre moitié aucun sondage. Intention d'enquêter sur les motifs concernant le taux d'abandon à partir de l'expérience initiale.
- 2019-03-06: après avoir analysé les expériences des Wikipédia tchèque et coréenne, nous avons commencé à distribuer sur tous les utilisateurs la variante A, parce qu'elle fonctionnait mieux pour tous les scénarios et toutes les métriques. aucune expérience en cours sur les Wikipédia tchèque et coréenne.
- 2019-03-21: enquête interrompue sur la version vietnamienne où les utilisateurs de la version pour bureau qui ont reçu la variante A ont augmenté le taux des abandons par rapport à ceux n'ayant pas reçu l'enquête. Investigations encore en cours des résultats.
- 2019-07-12: la possibilité d'ajouter un texte libre aux réponses de l'enquête a été supprimée. Nous avons appris ce que nous voulions savoir à partir des réponses déjà reçues et c'était aussi un vecteur potentiel pour les abus.
- 2019-07-15: le sondage de bienvenue a été déployé sur la Wikipedia arabe avec la moitié des utilisateurs recevant la variante A et l'autre moitié aucune enquête.
- 2019-08-30: publication des résultats montrant que l'enquête de bienvenue n'impacte pas de manière négative les utilisateurs de la Wikipedia arabe.
- 2022-01-30: début du test d'un mois concernant l'enquête sur la Wikipédia vietnamienne. phab:T325376
- Ensuite: modification des questions de l'enquête de bienvenue pour avoir les informations à propos des tâches pour les nouveaux venus
Résumé
Nous savons à partir des expériences sur les nouveaux contributeurs, que les nouveaux venus arrivent sur le wiki avec des idées bien précises de ce qu'ils veulent faire. S'ils ne peuvent pas les réaliser, il est très possible qu'ils ne reviennent pas. Avec l'enquête de bienvenue nous souhaitons demander aux nouveaux venus ce qu'ils veulent faire, de sorte à pouvoir leur proposer des expériences qui les aident à parvenir à leurs fins. Nous souhaitons poser des questions supplémentaires aux nouveaux utilisateurs pendant le processus de création de leur compte comme : pourquoi il l'ont créé, ce qu'ils veulent faire, les sujets qui les intéressent ou s'ils veulent contacter un tuteur.
Pour en savoir plus sur ce qui nous a conduit à réaliser ce projet, voir l'initiative du « Premier jour personnalisé ».
Pour connaître la manière dont les données de l'enquête de bienvenue vont être utilisées pour personnaliser les premiers jours du nouveau venu, voir les projets "Courriels d'engagement" et "Page d'accueil du nouveau venu".
Revue comparative
Pour apprendre comment concevoir la meilleure enquête de bienvenue, le concepteur de notre équipe a examiné la façon dont d'autres plateformes (par exemple Reddit, Coursera, Medium) posent les premières questions aux nouveaux arrivants. Bien que l'expérience que nous voulons offrir aux nouveaux arrivants soit définitivement différente de celle des autres plateformes (nous voulons leur offrir une expérience optionnelle, légère et non invasive), nous reconnaissons également qu'il existe de meilleures pratiques que nous pouvons apprendre d'autres logiciels. Les comparaisons figurent dans ce diaporama, duquel nous avons retenu :
- les fenêtres modales ont été généralement utilisées le plus souvent pour les formulaires au lieu d'afficher une page complète.
- Pas plus de quatre questions ont été posées pendant l'enregistrement.
- Questions were either progressively disclosed on a single screen or otherwise shown 1 question per step with clear visual indication of the number of steps (e.g. via a stepper UI).
- Multi-question forms tended to be skip-able entirely, but with mandatory questions if the user wanted to participate.
- An optional guided tour or further help was often provided afterwards once user was in the app.
- Friendly voice and tone - welcoming, informal language framed as asking for information to help orient the user ("Tell us about yourself", "Get recommendations", etc.)
Architecture
L'évolution de notre travail peut toujours être suivie sur ces maquettes cliquables avec leur information contextuelle associée sous cette tâche Phabricator. Our goal for the design is for newcomers to answer all the questions they want to, and to not depress the number of users who complete their signup process and get back to what they were doing.
Nous avons considéré trois approches de conception pour ce projet. The new account holder lands at each approach immediately after clicking "Create your account" at Special:CreateAccount. Et après avoir terminé chacune, ils sont renvoyés à la page sur laquelle ils ont cliqué initialement pour créer leur compte. Please note that the question wording and text in these mockups does not reflect current drafts -- the mockups are more for the visuals and workflows. Le texte et la formulation de la question seront publiés séparément.
- Variante A: page spéciale contenant le sondage. C'était le plus simple à implémenter et nous l'avons déployé pour la première fois le 20 novembre 2018. Bien que cela ne suive pas les meilleures pratiques que nous avons apprises par l'examen comparatif, c'est le moyen le plus rapide d'obtenir un sondage et de commencer à apprendre. Il fonctionnera également automatiquement sur le web mobile et pour les utilisateurs sans JavaScript.
- Variante B : cette option présente aux utilisateurs une question à la fois, et enlève également les liens de navigation autours, sur la gauche et en haut, afin de présenter une expérience plus linéaire. Ceci est inspiré de l'interface de l'outil Traduction de contenu. Nous avons décidé de ne plus poursuivre du tout cette variante car elle demande plus de travail que la variante C que nous préférons.
- Variante C : c'est notre présentation optimale, qui est modale au-dessus du contexte où se trouve l'utilisateur. Cela aide à préciser que l'utilisateur est proche de revenir à la tâche qu'il a commencé quand il a créé son compte. Il pose également des questions une à la fois afin que l'enquête ne soit pas écrasante. Cela inclut notre apprentissage de la relecture comparative. Nous devrons concevoir et mettre au point une version web mobile distincte, et considérer que des utilisateurs sans JavaScript la recevront. Il est en cours de fabrication en novembre et décembre 2018.
L'équipe a réalisé et déployé la variante A en novembre 2018 tout en développant la variante C. La variante C a été déployée au cours du mois de janvier 2019.
-
Modèle de la variante A -
Modèle de la variante B -
Modèle de la variante C
Questions, réponses et autre texte
Liste originale des questions
Les questions que cette fonctionnalité pose aux nouveaux arrivants, ainsi que leur libellé spécifique et le reste du texte de la fonctionnalité, sont vraiment importantes pour obtenir des données utiles. L'équipe a travaillé sur ces points avec l'aide de plusieurs autres personnes habituées des enquêtes à la WMF. Toutes les questions seront facultatives et seront traduites dans les langues des wikis sur lesquels l'enquête de bienvenue est déployée. Nous avons posé les questions ci-dessous et nous travaillons encore sur le texte. Pour voir le texte actuel de la fonctionnalité, consultez les maquettes actuelles.
- Pourquoi avez-vous créé votre compte aujourd'hui ?
- Objectif : si nous comprenons ce que les nouveaux arrivants essaient de faire, nous pourrons peut-être leur montrer des outils qui les aideront à le faire.
- Options de réponse :
- Pour corriger une erreur d'orthographe ou une erreur dans un article Wikipedia
- Pour ajouter des informations à un article Wikipedia
- Pour créer un nouvel article Wikipedia
- Pour consulter Wikipedia
- Autre (veuillez préciser)
- Avez-vous déjà modifié le contenu de Wikipedia ?
- Objectif : nous voulons savoir combien de personnes qui créent des comptes ont déjà fait des modifications de manière anonyme. Cela nous permettrait également de ne pas donner trop de matériel d'aide à des personnes qui savent déjà ce qu'elles font.
- Options de réponse :
- Oui, plusieurs fois
- Oui, une fois ou deux
- Non, je ne savais mas que je pouvais modifier Wikipedia
- Non, pour d'autres raisons
- Je ne me souviens pas
- Les contributeurs peuvent modifier les articles de Wikipedia concernant les sujets dont ils s'occupent. Nous avons énuméré quelques sujets qui sont souvent mis à jour. Sélectionnez les thèmes sur lesquels vous souhaitez travailler.
- Objectif : il est possible à l'avenir de connecter les nouveaux arrivants à des rédacteurs expérimentés qui partagent leurs intérêts, ou simplement de leur donner des recommandations sur des articles à modifier.
- Options de réponse (voir cette mise à jour pour l'explication sur la manière dont cela a été déterminé) :
- Comme les case à cocher : Arts, Science, Géographie, Histoire, Musique, Sports, Littérature, Religion, Culture populaire
- Behind typeahead: Entertainment, Food and drink, Biography, Military, Economics, Technology, Film, Philosophy, Business, Politics, Government, Engineering, Crafts and hobbies, Games, Health, Social science, Transportation, Education
- Il sera aussi possible aux utilisateurs d'ajouter leurs propres thèmes.
- Adresse courriel
- Objectif : seulement si l'utilisateur n'a pas fourni l'information dans Special:CreateAccount. Le courriel est important pour inscrire les nouveaux éditeurs et leur permettre de récupérer leurs comptes, il est donc demandé deux fois.
- Nous envisageons de commencer un programme pour les éditeurs plus expérimentés pour qu'ils puissent aider les nouveaux utilisateurs à faire les modifications. Vous souhaitez être contacté pour obtenir de l'aide à la rédaction ?
- Objectif : savoir si les nouveaux venus ressentent le besoin d'avoir une aide venant d'un humain.
In addition to the questions themselves, we will be showing users a link to the survey privacy statement (translated into the wiki's language) and to the Tutorial and Help Desk pages on their wikis.
Mise à jour des tâches des nouveaux venus (septembre 2019)
The original purpose of the welcome survey is to use the survey responses to personalize a newcomer's experience so they get what they need on their first day. The first feature that we will be personalizing is the newcomer tasks feature. Les questions et réponses de l'enquête de bienvenue seront modifiées pour répondre aux besoins de cette fonctionnalité. Et voici particulièrement les modifications annoncées :
- Nous allons modifier les réponses de la première question (Pourquoi avez-vous créé votre compte aujourd'hui ?) pour inclure les options de réponse courantes dans le champ libre textuel Autres :
- Ajouter une photo ou une image à un article Wikipedia est l'une des choses habituelles que les nouveaux venus essaient de faire.
- "I'm participating in a program, class, or event": many newcomers come through programs, and may want the ability to provide personalized content based on the program from which they are arriving.
- Nous allons fusionner deux des autres réponses de la première question en une seule qui dit Faire des modifications à un article existant de Wikipedia. Nous réunissons les deux réponses suivantes en celle-ci pour faire de la place aux nouvelles réponses ci-dessus :
- Pour corriger une faute d'orthographe ou une erreur dans un article Wikipedia
- Pour ajouter des informations à un article Wikipedia
- Nous allons supprimer complètement de l'enquête la question concernant les centres d'intérêt de l'utilisateur. This is because we'll be asking that question in the newcomer tasks feature on the homepage instead.
- Nous ajouterons une question à propos des langues qu'il lit ou écrit. Cette question pourra nous aider à encourager certains nouveaux venus à utiliser l'outil de Traduction du contenu.
Tests utilisateur
Au cours de la semaine du 22 octobre 2018, nous avons utilisé usertesting.com pour effectuer six tests de nos maquettes de la variante A avec des internautes non affiliés au mouvement Wikimedia. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Identify improvements to Understanding of the survey (update copy depending on users' comprehension of the instructions and questions on the form).
- Identify improvements to the Usability of the survey (check whether users are able to correctly input and submit their intended responses).
- Est-ce que les utilisateurs connaissent le fonctionnement de la présentation visuelle et de l'affichage ? (par exemple comment sélectionner une réponse dans un groupe de boutons radio)
- Est-il possible pour les utilisateurs de naviguer dans le formulaire ?
- Manque-t-il un commentaire qui pourrait aider les utilisateurs à finaliser leur formulaire ?
- Gauge user Reactions to the survey and Expectations of how the information will be used.
Résumé des découvertes
- L'enquête était clairement optionnelle et courte, ne nécessitant pas d'effort et non intrusive.
- Generally seen as data capture for research (though a few testers thought more specific explanation about how responses may be used might make them more inclined to fill it in)
- "Mentorship program" was the one aspect not clearly understood, with about half of participants mistakenly assuming they would be providing the help rather than receiving it.
- A couple of users had misgivings about providing email and feared it may be misused for marketing or given to 3rd parties (also as they expected it to be mandatory for account creation if it was needed for recovery)
- Users liked the post-submission message with more information about "Getting started with editing"
- Several users assumed that upon completing the welcome survey, they would be directed to their "dashboard" to get started with editing.
Recommendations
- Ajoutez un message complet de remerciement une fois l'enquête terminée.
- Rephrase “Mentor” checkbox question and clarify expectations for how users may be contacted if they select the mentor checkbox
- Revise phrasing of Q3 (Wordsmithing so that the second sentence “We've listed a few below popular for editing” is more easily understood.)
- Add a tooltip beside or assistive text under the “Add more topics” field for no-js users explaining they can comma-separate multiple topics
- Ajouter des informations complémentaires concernant l'utilisation du courriel
- Potentiellement soyez super clair en ajoutant une info-bulle avec le message suivant (issu de Help:Account_management) : Si vous choisissez de donner une adresse courriel, d'autres utilisateurs pourront ainsi vous contacter. Cette fonctionnalité est anonyme — l'utilisateur qui vous envoie un courriel ne connait pas votre adresse. Vous n'avez pas à donner votre adresse courriel si vous ne le voulez pas (mais cela est nécessaire pour réinitialiser votre mot de passe si vous l'oubliez)
Analyses et essais
Il y a deux types d'analyses que nous allons faire à propos de cette fonctionnalité. Pour en savoir plus sur ces plans, voir Growth/Analytics updates/Personalized first day experiment plan qui contient le plan d'expérimentation.
Analyse des réponses au sondage
The main objective of the survey is to collect information about what new editors are trying to accomplish, so we can figure out if it's possible to personalize their experiences based on their responses. We are doing straightforward analysis on responses, broken out by elements like platform (mobile vs. desktop) and context from which the account was created (homepage, reading, editing).
Le rapport initial sur les réponses à l'enquête est disponible ici : Croissance/Mise à jour des analyses/Premier compte-rendu de l'enquête de bienvenue. Les membres de la communauté doivent se sentir libres de traduire ce rapport dans leur langue. Un rapport détaillé sera créé d'ici mars 2019. Quelques éléments principaux :
- L'enquête a reçu des taux de réponse élevés : 67% en tchèque et 62% en coréen.
- Beaucoup de personnes ont créé des comptes juste pour lire les articles -- une opportunité potentielle de faire appel aux nouveaux rédacteurs.
- Le nombre élevé de personnes indique qu'elles sont intéressées pour être contactées et fournir de l'aide: 36% en tchèque et 53% en coréen.
Analyse de l'impact du sondage sur l'activation
Although we would not have intended it, it is possible that the welcome survey could depress the number of newcomers who make edits. Community members first brought up this concern, saying that by making the sign-up process longer, and keeping newcomers away from their objectives, we could cause them to leave the site. Therefore, we conducted an A/B test to find out whether being presented with the survey decreases activation rate (the rate at which new users make their first edit).
Du 19 novembre au 15 janvier, la moitié des nouveaux arrivants des Wikipédia tchèque et coréenne ont reçu la variante A de l'enquête, et l'autre moitié ne l'a pas reçue. Le résultat de nos expérimentations a été publié ici : Growth/Analytics updates/Welcome survey editor activation rate ; il montre que si l'enquête est présente, cela ne fait pas décroître significativement le taux selon lequel les nouveaux venus font leur première modification. En partant de ces analyses, nous avons aussi testé la variante A comparée à la C pour voir si cette dernière augmentait le taux des réponses (voir la section suivante). In August 2019, we ran this same test on Arabic Wikipedia, and again found Growth/Analytics updates/Welcome survey editor activation rate#Addendum: Arabic Wikipedia that the welcome survey had no negative impact on new users.
Analyse des deux variantes du sondage
Après avoir vu que la variante A n'avait pas entraîné de diminution du taux d'activation dans les Wikipédias tchèque et coréenne, nous avons comparé la variante B à la variante C sur ces wikis. Au cours du mois de février 2019, la moitié des nouveaux arrivants ont reçu chaque variante. Après avoir comparé les variantes sur le taux d'activation, le taux d'abandon et le taux de réponse, nous avons vu que la variante A fonctionnait mieux ou de manière égale à la variante C sur toutes les langues et toutes les plateformes. Nous avons donc mis fin aux expériences dans les Wikipédias tchèque et coréenne et avons commencé à utiliser la variante A sur tous les nouveaux arrivants à partir du 6 mars 2019. Les résultats détaillés sont à venir.
Réponses en 2022
| Pourquoi avez-vous créé votre compte aujourd’hui ? | Nombre de réponses | Pourcent du total |
|---|---|---|
| Pour créer un nouvel article sur Wikipédia | 304 502 | 27.53% |
| Pour ajouter ou modifier des informations à un article de Wikipédia | 249 574 | 22.57% |
| Pour lire Wikipédia | 215 339 | 19.47% |
| Pour corriger une faute d’orthographe ou une erreur dans un article sur Wikipédia | 132 626 | 11.99% |
| Autre | 103 037 | 9.32% |
| Je participe à un programme, une classe ou un événement | 51 128 | 4.62% |
| Pour ajouter une photo ou une image à un article de Wikipédia | 34 145 | 3.09% |
| N/A | 15 540 | 1.41% |
| Total | 1 105 891 |