Croissance/Premier jour personnalisé/Tâches pour les nouveaux venus

Groupe :	Croissance
Début :	2018-07-24
Membres de l'équipe :	Gergő Tisza (software engineer), Benoît Evellin (community relations specialist), Elena Tonkovidova (QA engineer), Kosta Harlan (software engineer), Morten Warncke-Wang (data analyst), Rita Ho (senior user experience designer)
Direction :	Roan Kattouw
Gestion :	Marcella Florence (engineering), Marshall Miller (product), Jazmin Tanner (program)
Mises à jour :	La plupart des mises à jour sont postées ici.

This page is a translated version of the page Growth/Personalized first day/Newcomer tasks and the translation is 100% complete.

Suivi dans Phabricator
Tâche T227728

Cette page décrit le travail de l'équipe Croissance sur le projet « tâches des novices », qui est un projet spécifique sous l'initiative plus large de « Premier jour personnalisé ». Cette page contient les ressources, architectures et décisions. La plupart des mises à jour incrémentielles sur les progrès seront publiées sur la page générale des mises à jour de l'équipe Croissance, avec des mises à jour importantes ou détaillées publiées ici.

Vous pouvez rapidement voir ce que l'équipe a construit en regardant ces maquettes (utilisez les touches-flèches pour naviguer) :

La conception et la planification de ce projet ont débuté le 24 juillet 2019. La première version a été déployée sur quatre wikis le 20 novembre 2019.

En décembre 2020, nous avons publié des résultats montrant l'impact positif que les tâches pour des novices ont sur l'engagement de ceux-ci. Voir cette page pour les détails.

Statut actuel

2019-07-24: première réunion d'équipe pour discuter des tâches des novices
2019-08-27: réunion d'équipe pour évaluer les concepts
2019-09-09: Création des tâches sur Phabricator pour le travail de développement
2019-09-23: tests-utilisateur pour la version pour ordinateurs faits
2019-09-30: tests-utilisateur pour la version pour mobiles faits
2019-11-20: V1.0 déployée sur les Wikipédia en arabe, tchèque, coréen et vietnamien.
2019-12-13: premier test de variante (« initiation ») déployé sur les Wikipedia en tchèque, coréen, arabe et vietnamien
2020-01-14: test de l'ajout de la correspondance des sujets, qui sera déployé la semaine du 20 janvier 2020.
2020-01-21: la possibilité de sélectionner des sujets d'intérêt est ajoutée au module d'éditions suggérées
2020-03-05: la correspondance des sujets est améliorée pour utiliser le modèle ORES
2020-04-03: résultats des premiers tests de variante
2020-06-08: tous les novices passent à la version A
2020-06-15: déploiement du guidage
2020-10-19: déployé les variantes C et D
2020-11-20: Publication de l'Analyse de l'expérimentation des tâches des nouveaux venus
Ensuite: poursuite des améliorations des tâches des nouveaux venus et développement possible de nouvelles Tâches structurées

Résumé

Filtres des difficultés pour les tâches des novices.

Nous pensons que les novices devraient avoir toutes les chances de réussir lorsqu'ils arrivent d'abord sur le wiki. Mais souvent, les nouveaux arrivants tentent une tâche trop difficile pour eux, ou ne peuvent pas trouver la tâche qu'ils veulent faire, ou n'ont pas d'idées pour rester impliqué après leur première édition. Cela conduit beaucoup d'entre eux à partir et ne plus revenir. Il y a eu plusieurs tentatives de par le passé, pour recommander des tâches aux contributeurs et donc nous avons pensé que la page d'accueil du nouvel arrivant était un endroit potentiel pour recommander les tâches adaptées aux nouveaux venus.

Nous devrons garder en tête quelques points :

De nombreux novices arrivent avec un objectif précis en tête, comme par exemple ajouter une photo spécifique à un article donné. Nous ne voulons pas les empêcher d'atteindre leur objectif.
Les novices construisent leurs compétences avec le temps, en passant de tâches simples à des tâches plus complexes.
Quand les novices arrivent à leurs fins au début de leurs premiers pas, les chances sont plus grandes de les voir continuer à effectuer des modifications.

En tenant compte de ces éléments, nous voulons recommander aux novices des tâches qui arrivent au bon endroit et au bon moment pour elles et eux, leur enseigner les compétences nécessaires pour réussir et qui correspondent à leurs intérêts.

Un outil précieux dont nous disposons pour aider les tâches à être pertinentes pour les novices est le sondage d'accueil, qui a été initialement construit spécifiquement dans ce but : personnaliser l'expérience des novices. Nous prévoyons d'utiliser les informations facultatives fournies par les novices sur leurs objectifs et leurs intérêts pour leur recommander des tâches appropriées.

L'un des plus grands défis va être de trouver comment rassembler les tâches que les novices peuvent accomplir. Il existe de nombreuses sources existantes, telles que des modèles qui appellent à travailler sur des articles, des recommandations dans l'outil de traduction, ou des suggestions provenant d'outils comme Citation Hunt. La question sera de savoir laquelle de ces options aide les novices à atteindre leurs objectifs.

Dans un premier temps, nous nous concentrerons sur l'utilisation de la page d'accueil des novices comme lieu de recommandation des tâches, mais à plus long terme, nous pouvons imaginer la création de fonctionnalités qui s'étendent à l'expérience d'édition pour recommander et aider les novices à accomplir les tâches recommandées.

À plus long terme, nous réfléchirons également à des moyens pour relier les recommandations des tâches à d'autres parties de l'expérience des novices, comme le module d'impact sur la page d'accueil, ou dans le panneau d'aide.

Pourquoi cette idée est devenue prioritaire

Nous savons par la recherche et l'expérience que de nombreux nouveaux arrivants échouent tôt dans leur parcours d'édition pour l'une des raisons suivantes :

Ils arrivent avec une modification très difficile en tête comme écrire un nouvel article ou ajouter une image. Ces tâches sont assez difficiles pour qu'ils échouent et ne reviennent plus.
Ils arrivent sans savoir quoi modifier et ne trouvent pas d'éditions à faire.

We also know that on the newcomer homepage, the most frequently clicked-on module is the "user page" module -- the only thing on the page that encourages users to start editing. This makes us think that many users are looking for a clear way to get started with editing.

And from past Wikimedia endeavors, we've seen that task recommendations can be valuable. SuggestBot is a project that sends personalized recommendations to experienced users, and is a well-received service. The Content Translation tool also serves personalized recommendations based on past translations, and has been shown to increase the volume of editing.

For all these reasons, we think that recommending specific editing tasks for newcomers will give them a clear way to get started. For those newcomers that have an edit in mind that we want to do, we'll encourage them to try some easy edits first to build up their skills. For those newcomers who do not have a specific preference on what to edit, they'll hopefully find some good edits from this feature.

Glossaire

There are many terms that sound similar and can be confusing. This section defines each of them.

"Newcomer tasks": The entire workflow that recommends edits for newcomers and guides them through the edits.
"Suggested edits": The name of the specific module that the newcomer tasks workflow adds to the newcomer homepage.
"Task recommendations" or "Task suggestions": Lists of articles that need editing work, suggested automatically to users.
"Personalized": Software that adapts automatically to each user to fit their needs.
"Customized": Software that the user adapts to fit their needs.
"Topic": A content subject, such as "Art", "Music", or "Economics".
"Topic matching": The ability to find tasks for newcomers that match their topics of interest.
"Guidance": Features that help the newcomer complete the suggested task while they are working on it.
"Maintenance template": Templates that are put on articles indicating that work needs to be done on them.

Recommander des tâches

The core challenge to this project is: Where will the tasks come from and how will we give the right ones to the right newcomers?

The graphic below shows our priorities when recommending tasks to newcomers.

As shown in the graphic above, we would give newcomers tasks that...

...arrive at the right time and place for a newcomer's journey.
...teach relevant conceptual and technical skills.
...gradually guide users to build up their editing abilities.
...be personalized to their interests.
...show them the value and impact of editing.
...motivate them to participate continually.

For instance, we do not want to give newcomers tasks that are irrelevant to what they hope to accomplish. If a newcomer wants to write a new article, then asking them to add a title description will not teach them skills they need to be successful.

We're splitting this challenge into two parts: the sourcing the tasks and topic matching.

Sourcer les tâches

There are many different places we could find tasks for newcomers to do. Our team listed as many as we could think of and evaluated them for whether they seem to be achievable for the first version of the feature. Below is a table showing the many sources of tasks that we evaluated in coming to the decision to start by using maintenance templates.


Source of task	Explanation	Evaluation
Maintenance templates	Most wikis use templates or categories to indicate articles that need copyediting, references, or other modifications. These are placed manually by experienced users.	Easily accessible. Already used in SuggestBot and GettingStarted .
Work on newest articles	New articles may be good candidates for work because they likely could be improved or expanded. They are also more likely to be about current topics.	Easily accessible, but most new articles are created by experienced users, and may not need help from newcomers.
Add images from Commons	There are articles that have images in some language Wikipedias but not in others. This could be a good task for a newcomer who created their account in order to add an image of their own.	An idea with high potential, but would require a lot of work to build interfaces. There are also questions about how to identify whether an article needs an image, and which one to recommend.
Expand short articles	Many articles are stubs that could be expanded.	This task is probably too open-ended and difficult for a newcomer.
Link to orphan articles	Many articles have no incoming links from any other articles. Users could find articles to link to the orphan articles.	Easy to identify orphans, but may be confusing for a newcomer to have to go find other articles in order to do the task.
Add references	Many articles are in need of additional references or citations.	Probably a challenging task for a newcomer. Frequently covered by maintenance templates.
Add categories	Categories are used for many purposes on the wikis, and adding them to articles that don't have them could be a low-pressure way to contribute.	Newcomers may not have good judgment when it comes to adding categories. This also does not teach editing skills that they need for other tasks.
Content translation	The Content Translation tool could be a good way to structure the editing experience and help newcomers write new articles without having to generate all the content on their own.	An integration here could be great -- we may want to use the welcome survey to distinguish which newcomers are multilingual.
Add sections	There are algorithms in development that can recommend additional section headers based on similar articles.	Writing a new section from scratch may be too challenging a task for a newcomer.
Specific link recommendation	Adding wikilinks is one of the best tasks for newcomers. It would be powerful if we could not only tell a newcomer that an article needs more links, but indicate which specific words or phrases should become an link (internal and/or external, depending on local policies).	Some research has been done on this idea that the team will be looking into, as this idea could be a perfect first edit for a newcomer.
Specific copy edits	Many articles need copyediting, but it would be a better experience for newcomers if we could suggest specific changes to make in article, such as words that are likely misspelled or sentences that likely need to be rephrased.	While this would be an excellent experience for the newcomer, we don't have a way to approach this. Perhaps experienced could flag specific copy edit changes instead of fixing them.
External link cleanup	Help ensure articles follow external link policies.	Could be populated by the external links cleanup maintenance category.

Version 1.0: basic workflow

In version 1.0, we will deploy the basic parts of the newcomer tasks workflow. It will recommend articles to newcomers that require different types of edits, but it will not match the articles to the newcomers' topics of interest (version 1.1), and it will also not guide the newcomers in completing the task (version 1.2).

Maintenance templates

We're going to be starting by using maintenance templates and categories to identify articles that need work. All of our target wikis use some set of maintenance templates or categories on thousands of articles, tagging them as needing copyediting, references, images, links, or expanded sections. And previous task recommendations software, such as SuggestBot, have used them successfully. These are some examples of maintenance categories:

Example of maintenance template on English Wikipedia

In this Phabricator task, we investigated exactly which templates are present and in what quantities, to get a sense of whether there will be enough tasks for newcomers. There seem to be sufficient numbers for the initial version of this project. We are likely to incorporate other task sources from the table below in future versions.

It's also worth noting that it could be possible to supplement many of these maintenance templates with automation. For instance, it is possible to automatically identify articles that have no internal links, or articles that have no references. This is an area for future exploration.

During the week of October 21, 2019, the members of the Growth team did a hands-on exercise in which we attempted to edit articles with maintenance templates. This helped us understand what challenges we can expect newcomers to face, and gave us ideas for addressing them. Our notes and ideas are published here.

Design

Comparative review

Our team's designer reviewed the way that other platforms (e.g. TripAdvisor, Foursquare, Amazon Mechanical Turk, Google Crowdsource, Reddit) offer task recommendations to newcomers. We also reviewed Wikimedia projects that incorporate task recommendations, such as the Wikipedia Android app and SuggestBot. We think there are best practices we can learn from other software, especially when we see the same patterns across many different types of software. Even as we incorporate ideas from other software, we will still make sure to preserve Wikipedia's unique values of openness, clarity, and transparency. The main takeaways are below, and the full set of takeaways is on this page:

Task types – bucket into 4 types: Rating content, Creating content, Moderating/Verifying content, Translating content
Incentives – Most products offered intangible incentives mainly bucketed into the form of: Awards and ranking (badges), Personal pride and gratification (stats), or Unlocking features (access rights)
Reward incentives – promote badges or attainments of specific milestones (e.g., a badge for adding 50 citations)
Personalization/Customization – Most have at least one facet of personalization/customization. Most common customization is user input on surveys upon account creation or before a task, most common system-based personalization type is geolocalization
Visual design & layout – incentivizing features (stats, leaderboards, etc) and onboarding is visually rich compared to pared back, simple forms to complete short edits.
Guidance – Almost all products reviewed had at least basic guidance prior to task completion, most commonly introductory ‘tours’. In-context help was also provided in the form of instructional copy, tooltips, step-by-step flows, as well as offering feedback mechanisms (ask questions, submit feedback)

Mockups

Our evolving designs can always be found in two sets of interactive mockups (use arrow keys to navigate):

Desktop
Mobile

Those mockups contain explorations of all the difference parts of the user journey, which we have broken down into several parts:

Gathering information from the newcomer: learning what we need in order to recommend relevant tasks.
Feature discovery: the way the newcomer first encounters task recommendations.
Task recommendations: the interface for filtering and choosing tasks.
Guidance during editing: once the newcomer is doing a task, the guidance that helps them understand what to do.
User feedback: ways in which the newcomer can indicate that they are not satisfied with the recommended task.
Next edit: how we continue the user's momentum after the save an edit.

Below are some of the original draft design concepts as the team continues to refine our approach.

Mockup of possible location for newcomer tasks module
Mockup of initial state of module
Mockup of possible design for module
Mockup of guidance while doing a task using the help panel
Mockup of feedback element if a user does not complete a task

Évaluation par l'utilisateur

Ordinateur de bureau

Pendant la semaine du 16 septembre 2019, nous avons utilisé usertesting.com pour réaliser six tests avec le prototype pour bureau des tâches pour les nouveaux arrivants avec des utilisateurs internet qui n'étaiznt pas affiliés au mouvement Wikimedia. Dans ces tests, ils devaient essayer les maquettes, dire clairement ce qu'ils voyaient, et répondre aux questions sur l'expérience. L'ensemble des résultats est disponible sous cette tâche Phabricator. Les objectifs de ces tests étaient :

Estimer la facilité de découvrir le module des tâches des nouveaux venus
Identifier les améliorations de l'utilisation du module des tâches :
1. Les utilisateurs comprennent-ils la manière de choisir et de relire les suggestions d'articles ?
2. Les utilisateurs comprennent-ils comment filtrer par intérêts et par difficulté de tâche ?
3. Savent-ils comment commencer à modifier un article suggéré ?
Estimer les actions utilisateur suite aux suggestions et les attentes en fonction du guidage tout au long de la tâche.

Résumé des découvertes

Tous les utilisateurs ont pensé qu'il était logique et intuitif d'obtenir des suggestions basées sur leurs sujets d'intérêt.
De même, les différentes difficultés de tâche ont été reçues positivement par tous les participants.
L'utilisabilité globale du module des modifications suggérées était extrêmement élevée. Les utilisateurs savaient comment cliquer pour voir davantage d'articles, utiliser le filtre pour changer de thèmes et de niveaux de tâches, et comment cliquer sur la carte pour ouvrir une suggestion d'édition.
4/6 des participants ne se sont pas rendu compte au début qu'ils devaient cliquer sur Voir les modifications suggérées pour les aider à atteindre leur objectif d'écrire un nouvel article. Il s'agissait d'un modèle mental commun où les utilisateurs séparaient l'Edition de Créer une nouvelle page.
Le module de départ est clairement le point de départ pour tous les participants. De plus, beaucoup ont été attirés vers le bouton Voir les modifications suggérées pour suivre l'évolution des activités du module de démarrage.
Les utilisateurs avaient une compréhension claire et s'attendaient à voir des articles suggérés pour la modification basés sur les dialogues d'introduction pour ajouter des sujets et introduire des niveaux de tâches.
Chacun a pu choisir les sujets populaires et ajouter facilement son propre sujet.
Chacun a compris le but du module des modifications suggérées.
Deux personnes ont été perturbées (ou sont supposées l'avoir été), de n'avoir pas pu créer de nouvel article sans terminer d'abord les tâches faciles et moyennes.
5 participants sur 6 savaient cliquer sur le bouton du panneau d'aide pour obtenir des conseils une fois entrés en mode éditeur.
Quatre personnes s'attendaient à pouvoir contacter leur tuteur dans le panneau d'aide.
Les conseils des tâches manquent de niveaux suffisants pour quelques participants.

Recommandations

Améliorer la correction et plus encore sur l'éducation des utilisateurs plutôt que la création de nouveau contenu est aussi une forme d'édition.
Mettre à jour le module Impact tel qu'il est testé ici pour aider l'utilisateur à comprendre les modifications suggérées.
Fournir une bonne aide dans le contexte de l'édition. C'est très important pour les utilisateurs qui essaient d'éditer.
- Inclure une liste de contrôle pour que les utilisateurs puissent revoir les conseils des tâches dans le panneau d'aide.
- Founir de courts exemples de ce qu'il faut faire.
- Indiquer aux utilisateurs qu'ils n'ont pas à corriger l'article entier.
L'inclusion de résultats de filtrage en temps réel aide les utilisateurs à lier les suggestions aux éditions d'articles et encourage l'utilisation du filtrage pour trouver les articles correspondants.

Version mobile

Au cours de la semaine du 30 septembre 2019, nous avons utilisé usertesting.com pour effectuer six tests du prototype de tâches sur mobiles pour les nouveaux arrivants. L'ensemble des résultats est disponible sous cette tâche Phabricator. Les objectifs de ce test étaient les mêmes que ceux pour le bureau, mais avec l'objectif supplémentaire de comprendre comment l'expérience pour mobile devrait différer de l'expérience pour bureau. Les testeurs d'utilisateurs sur les mobiles ont été invités à proposer un scénario d'intention pour ajouter une image à Wikipedia (alors que les utilisateurs sur ordinateur de bureau ont été invités à proposer l'intention de créer un nouvel article).

Résumé des découvertes

Les utilisateurs ont constaté que le module de démarrage (restructuré) énonçait clairement les étapes à suivre pour commencer.
Le module Modifications suggérées supplémentaire ci-dessous, bien que très peu confus, n'était toujours pas l'endroit où les utilisateurs s'attendaient à aller pour trouver de l'aide dans leur tâche d'ajout d'une image.
Les modifications suggérées étaient assez intuitives à utiliser, les participants comprenant comment fonctionnaient ses différents éléments (filtrage, vision d'autres articles, etc.). Cependant, les utilisateurs ne voient pas l'intérêt de faire les modifications suggérées au-delà de l'apprentissage ou de l'ennui.
Plusieurs personnes voulaient que des sujets plus détaillés soient disponibles que les sujets généraux énumérés.
Avoir les informations détaillées sur la difficulté était instructif, mais potentiellement décourageant. Chacun a été surpris que Ajouter des images ait été classé comme difficile, avec des degrés de frustration variés à propos de ce fait.
Le filtrage par intérêt est un gros point de vente.
3 personnes vers la fin de l'essai ont supposé qu'il y avait une certaine vérification ou exigence à réaliser certaines tâches faciles avant que les tâches moyennes ou difficiles puissent être réalisées
Chqcun a compris que le but des modifications suggérées était de donner des modifications que les utilisateurs apprendraient à modifier, et soulignait également que cela leur montrait que certaines modifications étaient plus difficiles à faire.
Tous les utilisateurs ont eu du mal à utiliser les conseils que nous avons proposés dans le panneau d'aide pendant qu'ils éditaient. C'est un domaine important auquel nous devons réfléchir sérieusement pour l'architecture avant de commencer à le construire.

Recommandations

L'appel à action des modifications suggérées est à l'intérieur du module de démarrage, pas séparé.
Améliorer les corrections et la pratique des images par l'utilisateur pour mieux comprendre qu'il y a une valeur réelle à essayer des modifications suggérées au-delà de l'apprentissage et que la difficulté des tâches n'est qu'un guide et que les tâches peuvent être essayées indépendamment.
Ajouter une superposition spécifiquement pour introduire une introduction personnalisée aux modifications suggérées.
Inclure le comptage en temps réel des résultats filtrés sur les filtres des tâches et des sujets.
Ajouter davantage de recherche plus fine par thème d'intérêt et par utilisateur.
Reitérer lorsqu'un utilisateur ouvre une suggestion qui est une modification réelle et qui a un impact.
Mettre à jour la conception du panneau d'aide de la tâche de sorte que tout le contenu de l'aide disponible est clairement accessible.

Version 1.1 : réaliser la correspondance des thèmes

La recherche et le développement passés montrent que les utilisateurs sont plus tentés de faire les tâches recommandées si ces yâches correspondent à leurs thèmes d'intérêt. SuggestBot utilise une ancienne historisue d'édition d'un éditeur pour trouver des articles similaires, et ces résultats intelligents figurent dans cet article pour être exécutés plus souvent que sur des résultats aléatoires. L'outil de Traduction de contenu recommande également des articles basés sur l'historique précédente de traduction de l'utilisateur, et ces recommendations ont augmenté le volume des traductions.

En examinant l'utilisation des tâches des nouveaux arrivants V1.0, qui ne contient pas de correspondance des thèmes, nous voyons qu'il y a des utilisateurs qui navigent à travers de nombreux articles suggérés, et finissent par cliquer sur aucun. Il y a aussi des utilisateurs qui navigent à travers beaucoup de thèmes, et finissent par éditer seulement ceux qu'ils trouvent comme appartenant à un certain sujet, comme la médecine. Ce sont aussi de bons indicateurs que les sujets peuvent être utiles pour aider les nouveaux à trouver des articles qu'ils souhaitent modifier.

Notre défi avec les nouveaux venus est le problème du démarrage à froid, dans le fait que ces derniers n'ont pas d'historique des modifications utilisable qui permettrait de leur proposer des articles à éditer. Nous voulons avoir un algorithme qui détermine le thème de chaque article et s'en sert pour filtrer les articles qui ont des modèles de maintenance.

Algorithmes

Screenshot of ORES topic selection filter on desktop

Il existe plusieurs approches avec lesquelles nous pourrions trouver des articles qui correspondent au thème d'intérêt indiqué par un utilisateur. Alors que notre équipe en a identifié plusieurs, nous avons construit des prototypes pour trois méthodes et les avons testés :

morelike: assign a seed list of articles that represent each topic area (e.g. "Art" might be represented by the articles for "Painting", "Sculpture", "Dance", and "Weaving".) Use that seed list to find other articles that are similar to those in the seed list by using a similarity algorithm called "morelike".
free text: instead of choosing from a set list of topics, allow newcomers to type in any phrase they want to indicate a topic. Use regular Wikipedia search to surface articles relevant to that phrase.
ORES: ORES is a machine learning service that – among other things – can return a predicted topic for any article. Though this prediction service only works in English Wikipedia, there are ways to translate predictions from English to other wikis.

In this Phabricator task, we evaluated the three methods, and decided to proceed with the ORES model. The Growth team worked with the Scoring team to strengthen the model, and with the Search team to make the model predictions available to the newcomer tasks workflow. During the time that this work was happening, we deployed the somewhat worse-performing morelike algorithm, and switched to the ORES model about a month later.

The ORES model we use now offers 64 topics, and we chose to expose 39 of them to newcomers. The evaluation in four different languages showed that on average, 8.5 out of 10 suggestions for a given topic seem like good matches for that topic.

Design

In designing interfaces that allow newcomers to choose topics of interest, these are some of the considerations:

Comment créer une longue liste d'environ 30 sujets sans surcharger l'utilisateur ?
Comment gérer plusieurs niveau dans le thème (par exemple si Science a des sous-thèmes de Biologie, Chimie, etc.)
Les utilisateurs peuvent-ils fournir leurs commentaires quand un thème ne correspond pas à ce qu'ils ont choisi ?

Ces maquettes contiennent nos architectures actuelles pour cet interface. Vous pouvez utiliser les flèches de votre clavier pour naviguer. Voici quelques images des maquettes :

Couche initiale pour indiquer les thèmes d'intérêt (ordinateur de bureau)
Module des modifications suggérées si l'utilisateur n'a pas encore choisi de thème
Dialogue pour définir les thèmes (version ordinateur de bureau)
Dialogue pour définir les thèmes (version pour mobile)

Version 1.2 : conseils d'orientation

Guidance was deployed on 2020-06-15. For a guide to translating the messages in this feature, see this page.

After newcomers have selected an article from the suggested edits module, they should receive guidance about how to click edit and complete the edit successfully. While it is exciting that some portion of newcomers are completing suggested edits without guidance, we're confident that by adding guidance, we will substantially increase how many newcomers edit.

We decided to repurpose the help panel as the place to deliver this guidance. Reusing the help panel will allow us to build quickly. The guidance contains three phases:

When the user has arrived on the article and before they click edit.
After clicking edit and before saving an edit.
After saving an edit.

Some of the ideas we considered implementing included:

Guidance tailored to each type of edit, varying depending on whether the suggested edit is a copyedit, adding links, adding references, etc.
Reminder that an edit can be small, and that the user does not have to edit the whole article.
Step-by-step walkthrough that is like a checklist for completing the edit.
Highlighting the maintenance templates in the article so that the user can see why the article was suggested.
An indicator that encourages the user to click the edit button.
A place to put videos that demonstrate how to complete the edit.
Suggestions for additional edits after saving the initial edit.
Ability for the user to notify their mentor that they have done an edit, so the mentor can check their work and thank them.

During the last week of December 2019, we user tested desktop and mobile prototypes, which can be found below. We will post the user test results after assembling them.

Below are some images of the prototype:

Help panel displaying guidance before clicking edit on desktop
Overlay after saving an edit on desktop
Help panel "peeking" from bottom of page on mobile
Help panel contents on mobile

Variant testing

After deploying the first version of newcomer tasks, we want to start testing different variants of the feature, so that we can improve it iteratively. Rather than just having one design of newcomer tasks, and seeing if newcomers are more productive with it than without it, we plan to test more than variant of newcomer tasks at a time, and compare them. We have compiled an exhaustive list of all the ideas of variants to test -- but we will only end up testing perhaps 10 per year, because of the effort and time it takes to build, test, and analyze.

In March, April, and May 2020, we'll be testing variants that aim to get more users into the newcomer tasks flow.

See this page for the list of variant tests and their results.

Mesures et résultats

Expérimentation sous contrôle

En décembre 2020, nous avons publié les résultats d'une expérience contrôlée montrant que les tâches des nouveaux arrivants avaient un impact positif sur l'engagement. Ce sont nos résultats les plus importants, et ils nous donnent l'assurance que ces fonctionnalités devraient s'étendre à plus de wikis. Voyez cette page pour les détails.

Utilisation

Starting in December 2019, we have been tracking several key metrics from newcomers tasks. The graphs shown in this section are our main charts of those metrics as of 2020-08-17.

Summary

Since deploying newcomer tasks in November 2019, we have seen steady increases in both the number of edits from the feature and the number of editors using the feature. These increases are due to two elements: (a) improvements to the feature, and (b) expanding the feature to more wikis.

Conversion funnel for newcomer tasks as of 2020-08-17

Specific charts

Conversion funnel: the first graph is the most important to our team. Each line shows how many newcomers arrive at each stage of our "conversion funnel", meaning how far they progress into the newcomer tasks workflow, as a percentage of newcomers who visit their homepage. We want the users to move through the stages of (1) interacting with the module (blue), (2) selecting an article (red), (3) clicking edit on the article (orange), (4) saving an edit (green). In general, we want to see all the lines go up.

Since the early days of the feature, the percentage of users who have clicked edit and who have saved edits have steadily gone up. In January 2020, something like 2% of newcomers who visited their homepage saved a suggested edit. In August 2020, that has grown to 5.3%, which is more than double.
In August, almost all users who selected a task clicked edit, which can be seen by the closeness of the red and orange lines.
We think that these improvements are due to the two major features we deployed between January and August: topic matching (which allows newcomers to find more interesting articles) and guidance (which encourages them to click edit and explains how to complete the edit).

Edits: the second graph shows the number of newcomer task edits completed each week, with a separate line for each wiki and a "total" line in black. From December to August 17, there have been 15,126 edits completed through newcomer tasks. It is clear that this has grown over time, which is certainly to be expected because we have gone from 4 wikis to 12 between January and August.

But looking at the individual wikis' lines, it is possible to see growth over time.

Number of edits from newcomer tasks as of 2020-08-17

It is common for the number of suggested edits completed each week on a wiki to vary a lot. One of the reasons is that a small number of enthusiastic newcomers can create dozens or hundreds of edits in a short time, but then may not be on wiki on other weeks.
Arabic Wikipedia, being one of the largest wikis that has the feature, consistently creates the most edits.

Editors: in addition to tracking the number of edits, we also want to make sure that increasing numbers of newcomers are participating. The third graph shows the number of users completing newcomer tasks each week, broken out by wiki.

Number of editors using newcomer tasks as of 2020-08-17

Similarly to the graph of edits, this number also has increased steadily, and the addition of new wikis (such as French Wikipedia on week 21 and Persian Wikipedia on week 32) are clearly visible.
We believe that the effect of "guidance" is visible. This was released before week 25. There have been over 100 users of newcomer tasks every week since its release, whereas only three weeks had previously reached that level.

Qualité des modifications

Les ambassadeurs de l'équipe Croissance ont examiné plus de 300 modifications enregistrées par les nouveaux arrivants et ont marqué si chaque modification fut ou non productive (ce qui signifie qu'elle a amélioré l'article). Nous nous réjouissons de voir qu'environ 75% des modifications sont productives. C'est similaire au taux de base pour les modifications des nouveaux arrivants, et nous sommes heureux que cette fonctionnalité n'ait pas encouragé de vandalisme. La plupart des modifications sont des corrections, dont beaucoup ajoutent également des liens, et certaines ajoutent même du contenu et des références. Environ un tiers des utilisateurs qui ont réalisé une modification suggérée ont continué les modifications suggérées supplémentaires. Beaucoup d'autres ont réalisé des modifications non suggérées par la fonctionnalité, ce qui nous réjouit particulièrement.

Les modifications de haute qualité que nous voyons nous encouragent à améliorer la fonctionnalité pour que davantage de nouveaux arrivants commencent et terminent son flux de travail.