Croissance/Comprendre le premier jour
Cette page présente le travail de l'équipe Croissance sur le projet « Comprendre le premier contact », aussi connu comme « Parcours d'édition », et présente les buts, plans, décisions et résultats. La plupart des mises à jours incrémentales seront publiées sur la page des mises à jour de l'équipe Croissance qui est plus générale, et les mises à jour plus détaillées seront publiées ici.
|
Comprendre le premierjour
 Rassembler des informations sur les 24 premières heures des nouveaux éditeurs pour comprendre comment ils se préparent à éditer
|
Puisque ce projet porte entièrement sur l'instrumentation et les mesures, de nombreuses équipes de la WMF sont impliquées dans sa conception. Ceci inclut le Légal, la Sécurité, l'Analytics Engineering et le Product Analytics. Il est important pour nous de respecter la vie privée de nos utilisateurs tout en apprenant ce que nous avons besoin de savoir pour améliorer leur expérience. Au fur et à mesure que nous itérons sur la meilleure manière d'y parvenir, les plans décrits dans cette page pourront changer.
Statut actuel
- 19/11/2018 : schéma du Parcours d'édition déployé sur les Wikipédia tchèque et coréenne.
- 15/01/2019 : rapport initial sur les données du Parcours d'édition publié ici.
- 16/01/2019 : schéma du Parcours d'édition déployé sur la Wikipédia vietnamienne.
- 01/07/2019 : schéma Parcours d'édition déployé sur la Wikipédia arabe.
- 16/07/2020 : nous avons décider d’arrêter le déploiement de EditorJourney (« voyage du contributeur ») vers d’autres wikis parce que nous avons terminé d’analyser les données qu’il génère et nous ne voulons pas stocker plus de données utilisateur que nécessaire.
Résumé
La plupart des nouveaux utilisateurs qui créent un compte ne font aucune édition – mais ceux qui font des éditions les font généralement le premier jour de la création de leur compte. Nous avons peu de connaissance de ce que les nouveaux titulaires de comptes font le premier jour après avoir créé leur compte - s'ils lisent le contenu de l'aide, tentent d'éditer sans publier ou autre chose. Si on en savait plus sur ces premières sessions nous pourrions aider à améliorer l'expérience, et conduire plus de nouveaux titulaires de compte à faire des modifications le premier jour. Pour comprendre ce que font les nouveaux titulaires de compte le premier jour, nous avons utilisé la nouvelle expérience utilisateur dans les Wikipédias tchèque et coréenne pour répondre à ces questions :
- Quels sont les processus les plus communs suivis par les titulaires de nouveau compte tchèques et coréens pendant leurs premières 24 heures ?
- Quel est le pourcentage des possesseurs de nouveaux comptes qui utilisent chacun de ces flux de travaux ?
- Quels flux de travail vont ou ne vont pas conduire à faire des modifications ?
L'équipe Croissance travaille à trouver les réponses à ces questions en ajoutant un outils d'EventLogging pour tous les nouveaux utilisateurs, dans les Wikipédia cibles (tchèque, coréen et vietnamien), pendant les premières 24 heures après qu'il aient créé leur compte. Pour développer une vision claire de la nouvelle expérience utilisateur, nous prévoyons également de nous connecter et d'utiliser les données d'autres efforts d'EventLogging existants autour de fonctionnalités telles que Echo, Visual Editor et le Tour guidé. Cette possibilité a d'abord été déployée en novembre 2018 sur les Wikipedias tchèque et coréenne, et un rapport initial a été publié en janvier 2019.
La discussion communautaire originale sur ce projet se trouve ici.
Pourquoi ce projet est prioritaire
Nos analyses nous ont permis d'en savoir plus sur les motivations et les besoins des nouveaux éditeurs, et une des choses les plus importantes que nous avons apprise est que la toute première expérience d'un nouvel éditeur peut être déterminante sur ses éditions futures. La plupart des personnes qui créent des comptes dans Wikipedia ne font jamais de modification, mais ceux qui en font, le font le jour de l'ouverture de leur compte. En collaboration avec le projet Premier jour personnalisé, ce projet est déterminant pour continuer notre apprentissage sur ces premiers moments où on commence à modifier. Il faut que nous en sachions plus sur l'approche de l'édition pour les nouveaux éditeurs afin de savoir où se greffer et les aider. Par exemple si nous voyons que beaucoup de nouveaux éditeurs lisent l'aide et qu'ensuite ils ne font pas de modification, on pourrait en conclure que le contenu de l'aide est important mais pas tellement utile sous la forme écrite et présentée actuellement. Autre cas : si nous voyons que beaucoup de nouveaux contributeurs vont directement ouvrir l'éditeur et qu'ils quittent sans sauvegarder leurs modifications, nous pourrrions en conclure que le meilleur endroit pour fournir de l'aide serait à l'intérieur de l'expérience d'édition.
Nous donnons priorité à ce projet parce que :
- Cela nous aide à augmenter notre apprentissage à ce stade précoce du travail de notre équipe avec de nouveaux rédacteurs.
- Les membres de la communauté ont émis un avis positif dans leurs commentaires sur cette idée.
- Il pose les bases pour savoir si les changements que nous apportons à l'expérience du nouvel éditeur changent son comportement.
- Il sera facile à traduire et à appliquer à d'autres wikis à l'avenir.
Spécifications
Cette section contient les plans d'évolution des mesures.
Paramètres généraux
- Will apply to all new accounts created in Czech and Korean Wikipedias, but will exclude auto-created accounts from other wikis.
- Will be active for the first 24 hours of the existence of a new account.
- At the user level, will record visits to pages in namespaces where new editors might be seeking help, such as the Help, Wikipedia, or User namespaces (and their associated Talk spaces).
- For pages in more sensitive namespaces, such as Article, Draft, or Portal, will record only that the namespace was visited, not the specific page title.
- Data will only be available to people with NDA access.
- Data will be anonymized, deleted, and/or aggregated after 90 days.
Questions particulières
Le tableau ci-dessous présente les questions spécifiques auxquelles nous voulons répondre avec cet effort d'instrumentation. Most of these questions will be answered with the new EditorJourney EventLogging schema being built for this project. Certaines questions, en particulier celles qui se trouvent dans le paragraphe numéro 4 (Après le début de l'expérience d'édition) seront répondues en faisant la relation avec des schémas EventLogging existants conçus pour mesurer les fonctionnalités existantes.
- Context: How often do accounts get created from the different possible account creation contexts?
- Homepage
- Reading experience
- Editing experience
- Survey: When shown the “Personalized first day” survey right after account registration, do users respond to one or more questions in the survey, or skip the survey altogether and go back to what they were doing prior to account registration?
- After account creation, what are the various common workflows that new account holders go through before making an edit (or before never making an edit)? We want to count the frequency of workflows such as, but not limited to, the following. The reason it’s “not limited to” is that we don’t yet know which workflows we will discover.
- Reading articles first: reading many pages in the Article namespace and then either leaving or editing.
- Learning first: Consuming some sort of learning content and then either leaving or editing. This content is found in namespaces other than Article namespace, or through certain actions that may not be captured in page views or existing schemas:
- Viewing content in the Help, Wikipedia, or User namespaces (among others), including help desks
- Clicking on a link in a welcome message on their own user talk page
- Opening and reading notifications
- Opening and updating account settings/preferences
- Verifying or adding/updating email address.
- Straight to editing: going straight to editing without reading many articles or any learning content
- This can either happen because the account was created from the editing experience, or the reader opened the editor from the reading experience soon after account creation.
- Is this the creation of a new page?
- When opening the editor, some wikis display a GuidedTour or GettingStarted. Did the user click on anything in GuidedTour or GettingStarted?
- Any combination of the above, such as a workflow in which users read some articles, followed by reading a help page, followed by starting and abandoning an edits, followed by a successful edit.
- After the editing experience begins, what percent of users successfully save an edit? And for those who abort their edits, what do they do in the editor before aborting?
- On what page is the attempted edit happening?
- How often do users quickly exit the editor without actually interacting with the page?
- How often do users do a substantial amount of interaction with the page before aborting?
- How often do users switch the type of editor?
- If the edit was saved, how many bytes changed in the edit?
- Was the resulting edit reverted or thanked?
- After saving or aborting an edit, what happens next? (Return to Step 3).
Other schemas
This is a list of some of the other EventLogging schemas we may use to enrich the picture of what new account holders do in their first hours on the wiki:
- ServerSideAccountCreation
- Echo
- EchoInteraction
- PrefUpdate
- EditAttemptStep
- VisualEditorFeatureUse
- Page creation
- GettingStartedRedirectImpression
- GuidedTourButtonClick
- GuidedTourExited
- GuidedTourExternalLinkActivation
- GuidedTourGuiderHidden
- GuidedTourGuiderImpression
- GuidedTourInternalLinkActivation
Flux des utilisateurs
Pour planifier les besoins de mesure et d'analyse de ce projet, l'architecte de notre équipe a assemblé quelques flux visuels des utilisateurs qui nous aident à tracer le parcours des nouveaux utilisateurs pendant leurs premières heures dans le wiki. Comme dit dans le diaporama lié ci-dessous :
"The following user flows document the various pathways newly created Wikipedia accounts can take to become a newly 'activated' editor (after making a first edit), to being retained (2nd edit), through to 'survival' (3rd edit within first 6 weeks). The diagrams note the desired data to be captured at each user interaction, with the intention to both help the Growth team identify the various points for instrumentation, as well as helping visualize the funnel of New Editor retention."
Bien que les flux étendent notre pensée sur plusieurs éditions dans le voyage d'un nouvel utilisateur, nous avons décidé de limiter notre mesure à leur premier jour.
The full slide deck is here, and also linked on this Phabricator task. At right is the image of the full user flow, which is the main slide from the slide deck. Please note that these are presented as an artifact of our team's thinking, but are no longer being updated as our approach continues to evolve. The Specifications section above reflects the current approach.
Analysis
Because the EditorJourney data records much detail on what newcomers do on their first day, we'll be able to ask and answer many questions using the dataset. In this sense, our analysis will never be complete, and we can always use the dataset to answer additional questions about newcomers. This section lists the analyses that have been completed. Community members should feel free to translate any of these reports into their languages. Future analyses will continue to address the list of questions in the "Specifications" section above.
- EditorJourney initial report: the first report using the EditorJourney dataset, addressing the questions of what context newcomers create their accounts from, and how many newcomers do which activities at some point on their first day. Some important toplines:
- This data substantially clarifies our understanding of newcomers: many of them notice outreach, look for help content, and a majority of them open an editor. It's good news that so many are engaged and trying to succeed, and the clarity gives us opportunities to meet them where they are, so that when they go looking for something helpful, they find it.
- Large numbers of users view help or policy pages on their first day: 41.5% in Czech and 27.8% in Korean.
- Large numbers of users view their own User or User Talk page on their first day: 33.8% in Czech and 39.3% in Korean.
- A majority of new users open an editor on their first day – but about a quarter of them do not go on to save an edit during that time.