Applications Wikimédia/Équipe/Android/Anti-Vandalisme

This page is a translated version of the page Wikimedia Apps/Team/Android/Anti Vandalism and the translation is 74% complete.

Contexte

L'équipe Android a reçu des demandes de diverses communautés linguistiques pour améliorer la qualité des modifications apportées à travers l'application. Les membres de la communauté ont demandé des outils de modération qui soient justes et impartiaux sur toutes les versions linguistiques de Wiki. L'équipe vise à améliorer les flux de travail existants tout en garantissant l'équité dans la modération, un exemple peut être trouvé dans la liste des souhaits de 2022.

Avec les mises à jour récentes de l'application, telles que la liste de souhaits native, l'historique des contributions et l'historique des modifications, ainsi que l'ajout du bouton d'annulation et de restauration sur l'écran de comparaison, il y a une opportunité de créer une solution de modération au sein de l'application. La solution s'appuiera sur les flux de travail de micro-contributions mobiles existantes.

L'équipe prévoit de développer un outil anti-vandalisme (V1) qui s'adresse aux modérateurs expérimentés dans toutes les langues. De plus, une tâche de formation sera introduite pour aider les rédacteurs expérimentés à apprendre à patrouiller s'ils ne l'ont pas fait auparavant. Cela se fera en étroite collaboration avec la communauté. L'équipe travaillera également avec l'équipe de recherche pour améliorer des outils comme ORES et collaborer avec l'équipe d'outils Moderator, qui aborde ce problème sur le mobile Web, afin d'assurer une expérience transparente pour les utilisateurs de plateformes intermédiaires.

Exigences du produit:

  • Les rédacteurs peuvent examiner les différences pour une variété de modifications.
  • Les éditeurs ont la possibilité d'« annuler » ou d'« ignorer » les modifications suggérées.
  • Les modifications récentes effectuées dans différentes langues peuvent être affichées.
  • Les rédacteurs peuvent créer et enregistrer des messages d'avertissement à utiliser lors de l'annulation des modifications.
  • Les rédacteurs expérimentés seront initiés aux patrouilles sur l'application dans une version ultérieure (V2).

Limitation technique

Actuellement, il n'est pas possible d'avoir plusieurs langues dans un seul flux, mais les utilisateurs auront la possibilité de changer entre les langues.

Hypothèse & Validation

Hypothèse et Suppositions

Nous pensons qu’il serait bénéfique de simplifier les tâches de patrouille et de les structurer en tâches de niveau avancé. Les rédacteurs expérimentés sans droits administrateur ou de révocation pourraient se voir attribuer des tâches de patrouille plus faciles ou une tâche de formation, et une fois qu'ils atteignent un seuil d'activités de patrouille initiales, ils peuvent être promus à des niveaux supérieurs. Pour y parvenir, nous prévoyons de commencer par une preuve de concept pour une patrouille générale des modifications basée sur les utilisateurs disposant de droits de révocation.

Nous comprenons que la patrouille des modifications récentes est une priorité et est plus adaptée aux mobiles que des tâches telles que NPP (patrouille de nouvelles pages), AFD (articles à supprimer), et AFC (articles à créer). De plus, nous espérons qu'il y aura un consensus communautaire sur la mise en œuvre d'une tâche de formation dans différentes langues.

Validation

  • Indicateur clé 1: 65% des publics cibles familiers avec l'outil le trouvent utile pour maintenir la qualité des wikis et le recommanderaient à d'autres patrouilleurs.
  • Indicateur clé 2: Augmentation de 5% des modifications effectuées par un public établi
  • Indicateur clé 3: 10% des audiences cibles établies interagissent avec les préférences de filtrage
  • Indicateur clé 4: 65% des publics cibles établis interagissent avec l'outil au moins trois fois sur une période de trente jours.
  • Garde-corps: Les utilisateurs expérimentés sans droits de révocation, qu'ils aient ou non utilisé des outils de patrouille alternatifs, doivent également comprendre le flux de travail.
  • Garde-corps: Il ne devrait y avoir aucun rapport indiquant que l'outil est utilisé pour cibler négativement du contenu ou des contributeurs sous-représentés sur la base des mécanismes de signalement intégrés à l'application.

Ce qu'il serait utile de savoir

  • Comment l'utilisation de notre outil se compare-t-elle à d'autres outils de patrouille en regardant les balises MediaWiki (SWViewer, Huggle et Twinkle)
  • Voyons-nous une augmentation des événements Undo/Rollback/Thank
  • Quelle est la popularité de cette tâche auprès de notre public cible par rapport à d'autres tâches de modification suggérées?
  • Quelles actions sont les plus populaires dans la fonctionnalité?

Gestion des risques

Risk Cause Level Response Response Action Trigger Contingency Plan
Tool causes a decrease in new editor retention on wikis where it's available Editors use the tool to increase the volume of edits they're able to revert, but do not leave talk page messages to explain the revert, leaving new editors confused and unmotivated. Medium Monitor Measure the retention rate of editors who had a revert from the patroller task. If they got a talk message, did that increase their retention? Qualitative complaints If a user has not left a talk page message after using undo or rollback and attempts to move to next edit, add a prompt asking/requiring them to leave a Talk Page message
Policy disagreements between existing patrollers and newer patrollers using Edit Patrol / New patrollers use the tool a way that confuses other patrollers. Behavior and/or communication from App patrollers is seen as insufficient or lacking by other patrollers. A new group of editors are able to start patrolling at scale using Edit Patrol, but they are not aware of existing policies or norms. Medium Mitigate Post updates, and invite to office hours patrolling groups (CVU, recent changes patrol, small wiki monitoring team, stewards, global sysops, global rollbackers) before full release. Share Example Messages with communities. Qualitative complaints from patrollers Add more policy and template onboarding to tool, and revisit Example Messages after Community Configuration 2.0 is released. Continue work on building training task.
An increase in edit wars Patrollers reviewing the same feed of edits go back and forth reverting each other's changes because revisions or rollbacks made in the tool appear in the feed for the next person (if no filters are applied). Low Accept - Qualitative complaints Add more onboarding about policies surrounding Edit Wars. Add in-app warning for edit-war behavior.
The tool is being used to negatively target underrepresented content or contributors. Patrollers are systematically reverting good faith edits for particular users or languages, harassing, or mistreating contributors through the tool. Low Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints, in-app reporting mechanisms, guardrail analysis by Product Analyst Add universal code of conduct onboarding to tool.
The tool causes an increase in vandalism, and increase in amount of work for existing patrollers Vandals use the streamlined interface to quickly revert or rollback large quantities of good faith edits. Low (Dormant) Mitigate Unless otherwise requested per wiki, the tool available to those with rollback rights. Qualitative complaints and anomalies surfaced in data reporting Implement a maximum number of undos/rollbacks that can be done in a range of time.
Someone is exposed to vandalism or there is a copyright violation in Example Messages provided in-app A vandal has edited the Example Messages or pasted copyright material in using Community Configuration 2.0 or Translate.wiki, and they automatically appear in everyone's app Low (Dormant) Mitigate Once community configurable, ensure permissions are set for editing with Growth team. Qualitative complaints Inrease necessary permissions to edit Example Messages.

Comment suivre

Nous avons créé T322083 comme Phabricator Epic pour suivre ce travail. Nous vous invitons à collaborer avec nous sur cette tâche ou sur notre page de discussion.

Nous allons fournir des mises à jour périodiques sur cette page au fur et à mesure que nous progressons. Si vous souhaitez participer à nos sessions de commentaires modérées sur la conception, veuillez nous le faire savoir sur notre page de discussion, et nous suivrons avec vous.

Nous avons la stratégie de déploiement suivante:

Période 2023-2024 Consultation Disponible pour les révocateurs
octobre 2023 Wikipédia en indonésien
novembre 2023 Wikipédia en indonésien Wikipédia en indonésien
janvier 2024 Wikipédia en espagnol, Wikipédia en français
février 2024 Wikipédia en espagnol, Wikipédia en français
mars 2024 Wikipédia en chinois, Wikipédia en anglais, Wikipédia en igbo Wikipédia en espagnol, Wikipédia en français
avril 2024 Wikipédia en anglais, Wikipédia en igbo, Global Sysops and Rollbackers Wikipédia en anglais, Wikipédia en igbo
mai 2024 À définir Disponible pour toutes les wikis

Documentation technique

Si vous souhaitez voir comment la fonctionnalité est implémentée, veuillez visiter la Note du développeur sur les tâches de Patroller pour plus d'informations.

Mises à jour

avril 2024, Special Mid Month Update

  • Edit patrol has been released to all wikis in the Beta version of the app! To view the feature, download or update the Wikipedia Beta app. Open the Edits tab, and look for Edit Patrol under Suggested Edits. The feature is available to users with rollback rights, and will display if you have rollback rights on the language that is set as your Primary in the App.
Edit patrol demonstration on test.wiki

mars 2024

  • We released the Edit Patrol suggested edit to French and Spanish Wikipedias. T350511
  • Development continued for Saved Messages for Edit Patrol (Example messages available in the App) and access to templates.
  • While completing development on Saved Messages, we learned that it wasn’t feasible to allow users to edit, delete, and rearrange the prewritten "Example Messages" from within the app in the same way that users can edit their own custom made messages. We updated the designs for Saved Messages to add visual separation between “Your Messages” and “Example Messages” T359209
 
  • We learned we will be able to use the Growth team’s community config to make Example messages available for modification in the app.
  • We solicited feedback about how to handle the links to policies within the example messages: we heard from one global admin (a staff member), who recommended against linking to English Policies as the fall-back. We heard from a member of Igbo community that they may choose to keep the links to English policies, and eventually update them. We decided to modify the wording of the English example messages, adding "this wikipedia" in a few places so that the sentences make sense without links. Translation instructions on translatewiki will say, “Please include the relevant language version of the link(s). If no link is found, please do not include a link. Editors may add a link(s) to another language wiki's policy if desired.” We will continue to get more input as we scale to more languages and iterate on how we are treating saved messages for small wikis until community config is available. The example message texts are on a Media.wiki page with links to translations.
  • We received feedback that we should change “warn” to “talk” to encourage more positive behavior, and began updating this throughout the feature. T360449
  • In our meeting with Spanish Wikipedians, they reaffirmed the choice of Edit Patrol only being available to rollbackers.
  • We are sharing the feature to Igbo Wikipedia April 3rd and will have office hours with English Wikipedia April 26nd.

février 2024

  • We hosted two synchronous community consultations & recorded a third where we shared the Edit Patrol workflow, and showed designs for Saved messages and templates:
  • We've started development on Saved Messages T356774 (example messages available in the App) and access to templates T355141, which was well received by French Wikipedia. Draft saved messages are posted here, and we welcome feedback on the discussion page.
  • Another community member raised interest in the example warning messages being configurable via the community config.(T358265#9573393), and we are coordinating with the Growth team on this.
  • French Wikipedians reaffirmed the choice of Edit Patrol only being available to rollbackers.

janvier 2024

  • Indonesian Wikipedia requested consideration for using Edit Patrol in the upcoming election to fight disinformation and vandalism. Our team had the feature reviewed by our legal team, and volunteers were cleared to use the tool for patrolling during their upcoming election.
  • This month we learned that some communities appreciate being able to have speedy deletion as an option in patrolling tools, which we will consider for future iterations of this feature.
  • Additionally, our team met with the Growth, Moderator Tools and Machine Learning teams to discuss adding the revert risk model to recent changes filtering. We may be able to switch over from using Good Faith and Damaging ORES scores to the Revert Risk model as we scale to Spanish, French and Chinese Wikipedias in the coming months. This may open the door for an experimental training task for experienced editors without rollback rights.
  • We have established demo sessions for our next set of pilot wikis:
    • French Moderators - scheduled for 21 February 2024 from 16-17 UTC
    • Spanish Moderators - scheduled for 28 February 2024 from 16-17 UTC
    • Chinese Moderators - recorded presentation to be shared asynchronous
  • Our designer worked on the flow and UI for the saved warning messages and templates, which will be released in the coming months.
  • Template Flow: T355141: The team is working to add support for templates, so patrollers can utilize existing templates in their messages

décembre 2023

Patrolling Pain Points on French Wikipedia

We met with a few language communities to get feedback about Edit patrol. The Indonesian Wikipedia community approved the release of the feature for their community and shared which templates are used for warnings, which we will incorporate in a future release. For the month of December we are enabling users to save warning messages on their device (T343841). In January we will begin outreach to Spanish and Chinese Wikipedia to scale to more communities. We’ve already begun outreach to French Wikipedia via the French Wikimedia ED, he shared some pain points identified by French patrollers as it relates to RC Live and SWViewer and other tools as it relates specifically to the French Wikipedia community that we are taking into consideration for Edit Patrol. We are hoping to establish office hours sometime in February with French Wikipedia to discuss Edit patrol.

novembre 2023

Release to Indonesian Wikipedia

Edit Patrol was released to Indonesian and Test Wikipedia. In order to see the feature in Suggested Edits you must have rollback or sysops rights.

Grâce à cette première version, les révocateurs peuvent:

  • Introduire à la tâche avec une explication de quand utiliser Thank, Watch, Warn, Undo ou Rollback, ainsi qu'une explication des scores ORES. (T343242)
  • Composer, enregistrer et publier les premiers messages d'avertissement. (T344842)
  • Sélectionner, modifier, enregistrer et publier le message d'avertissement existant (T344842)
  • Afficher des informations sur d'autres rédacteurs, y compris leur mandat en tant qu'éditeur et leur nombre de modifications (T343835)
  • Les filtres pour le flux de modifications récentes incluent la version linguistique du wiki, le statut d'inscription, le niveau d'expérience, la prédiction du niveau de qualité, la prédiction de l'intention de l'utilisateur, les contributions automatisées et l'importance de la modification. La page de filtre permet également de trier par dernière révision. Il est également possible d'effectuer une recherche parmi les modifications.
 
Filtre sans résultat
  • Une possibilité de signaler des problèmes avec le filtre (T343834)
 
Problème de menu de la barre d'application avec la boîte de dialogue des fonctionnalités

Nous apprécions les commentaires sur la fonctionnalité alors que nous nous préparons à contacter des wikis supplémentaires pour faire évoluer la fonctionnalité.

Septembre 2023: Avancement de la V1 de Patroller Tasks: Dévoilement de nouvelles fonctionnalités à la communauté Wikipédia indonésienne

Nous avons continué à développer une première version de Patroller tasks et avons annoncé la fonctionnalité sur la Wikipédia indonésienne. Nos ingénieurs ont fait une démonstration des filtres pour la V1 de Patroller task:

Août 2023: Mises à jour du projet et considérations techniques

  • We shared updates about this project at Wikimania. The recording can be found on Youtube starting at 1:24:30. We received a question about having a central place for Warning messages that can be used across apps. We are planning to work with the Growth team to explore the possibility of centralized warning messages.
  • We became aware of the deprecation of ORES and migration to Liftwing which will host the revertrisk model. Due to our team using the MediaWiki API to show the recent edits feed, we will continue to show the Goodfaith and Damaging Models at least in V1. Using the Revert Risk model would require two API calls, which could slow down the feature, this also doesn’t address filtering. If you have feedback about this technical decision, feel free to comment on our discussion page.
  • We created designs for Onboarding to the feature T343242.

Juillet 2023: Recherche sur la conception et résultats des entretiens

Tests d'utilisabilité

Un test d'utilisabilité à distance modéré a été mené auprès de six contributeurs expérimentés qui utilisent des appareils Android et donnent de leur temps pour suivre les activités sur les wikis en espagnol, français, anglais et chinois. Nous avons sélectionné des participants de ces wikis en raison de leur grand nombre d'éditeurs avec des droits de sysop/révocation, ce qui nous a permis de recueillir efficacement des commentaires sur l'utilisabilité.

Les patrouilleurs ont fourni des informations précieuses sur les premières conceptions et la facilité d'utilisation de l'outil 'Edit patrol'.

Pendant le test, les rédacteurs ont été chargés de réaliser de courtes tâches en utilisant un prototype limité de l'outil. Il leur a également été demandé de raconter en temps réel leur expérience alors qu'ils accomplissaient ces tâches.

For additional details about the usability test, please refer to the following link.

Résultats

Les commentaires et les précieuses suggestions des participants ont contribué à améliorer les conceptions initiales. Les améliorations suivantes ont été mises en œuvre:

  • Les participants ont souhaité avoir des balises affichées pour chaque édition sur la page de modifications récentes, et la capacité de discerner si un éditeur a effectué plusieurs modifications sur une seule page.
  • Notre objectif était d'intégrer des filtres sur la page où sont affichées les modifications récentes. Pour déterminer les filtres de la version initiale de l'outil 'Edit patrol', nous avons consulté les patrouilleurs. Ils ont suggéré d'inclure les filtres suivants: Langues, inscription et expérience des utilisateurs, contributions automatisées, prédictions de qualité des contributions, préditions d'intention des utilisateurs, la dernière révision, et la signification. Nous avons ensuite conçu une page qui présente ces filtres, que vous pouvez voir ci-dessous.
  • La page de vue des différences a été simplifiée
  • Des améliorations mineures de la conception ont été apportées au processus de création, de sauvegarde, de publication et de modification des messages d'avertissement destinés aux patrouilleurs. Les conceptions révisées sont affichées ci-dessous pour votre référence.
  • Les participants ont fourni des commentaires supplémentaires concernant les patrouilles, que nous souhaitons transmettre dans l'outil via l'intégration, des info-bulles ou des rappels. Les points mentionnés incluent: L’importance de communiquer avec empathie avec les autres contributeurs et l’accent mis sur la priorité accordée à la qualité des modifications patrouillées plutôt qu’à leur quantité.

L'outil 'Edit patrol' est actuellement en phase de développement. Vous pouvez suivre son développement à travers Phabricator T343224.

Février 2023: Concepts de design initiaux

L'équipe a développé des concepts de design initiaux en incorporant des informations provenant d'outils existants et des commentaires que nous avons recueillis sur leurs limites. Nous avons partagé ces concepts avec l'équipe des outils Moderator, et avec l'équipe de recherche pour obtenir leur contribution et leur rétroaction.

Nous utiliserons les commentaires reçus pour améliorer les concepts de design et établir un protocole pour les commentaires modérés et asynchrones des utilisateurs de l'application. Actuellement, nous lançons une campagne de sensibilisation directe pour planifier des sessions de rétroaction modérées et veiller à ce que des mécanismes de traduction soient mis en place pour ces sessions. Une fois que le protocole sera disponible sur MediaWiki, nous enverrons une communication plus large pour commencer à recueillir des commentaires asynchrones sur notre page de discussion.

Les concepts de design fournis sont destinés à donner des exemples de la façon avec laquelle nous visons à aborder les problèmes auxquels sont confrontés d'autres outils. Toutefois, veuillez noter que nous sommes dans les premiers stades de ce processus, et que les conceptions évolueront et s'étendront en fonction des commentaires que nous recevrons dans les semaines à venir.

Janvier 2023: Examen comparatif et recherche sur les utilisateurs existants

L'équipe a mené un examen comparatif pour analyser les outils de patrouille existants. Au cours de l'examen, nous avons évalué les similitudes et les différences entre les outils et identifié ceux qui étaient efficaces sur les appareils mobiles.

La liste complète des outils que nous avons examinés comprend:

  • Huggle
  • Twinkle
  • TwinkleMobile
  • STiki
  • SWViewer
  • WikiLoop Double Check
  • CheckWiki
  • ReWarn
  • CheckWiki

Lors de notre évaluation, nous avons constaté que la plupart des outils étaient optimisés pour l'utilisation de bureau, à trois exceptions près. De plus, seules deux des solutions ci-dessus ont bien fonctionné à travers plusieurs wikis linguistiques.

Les éléments communs trouvés dans ces outils étaient:

  • Icônes représentant l'action principale (par exemple: Révoquer, supprimer rapidement, accueillir l'utilisateur, etc.)
  • Accès aux modèles
  • Filtres
  • Liste des contributions
  • Différences
  • Informations sur le rédacteur

En plus de l'examen comparatif des outils existants, nous avons également recueilli des demandes récurrentes des patrouilleurs concernant ces outils. Les demandes communes comprennent:

  • Filtrer les contributions par sujets d'intérêt et par période spécifique
  • Un moyen simple d'exclure les contributions qui ont déjà été patrouillées
  • Aucune exigence de privilèges spéciaux tels que les droits de révocation pour accéder aux outils
  • Une option entre "sauter" et "révoquer" pour des actions plus nuancées
  • Des outils qui favorisent la collaboration entre les patrouilleurs

En prenant ces demandes en compte, nous visons à développer une solution de patrouille complète qui répond aux besoins et aux préférences des patrouilleurs dans différentes langues et niveaux d'expérience utilisateur.

Décembre 2022: Prototype de preuve de concept

L'équipe a développé un prototype de preuve de concept pour explorer les capacités et les possibilités en utilisant les API existantes. Le prototype nous a permis de tester et d'expérimenter différentes fonctionnalités et d'évaluer la faisabilité de nos idées. Cette exploration précoce nous aide à comprendre le potentiel des outils et à affiner notre approche avant de poursuivre le développement.

During our development process, we successfully exposed the ORES score, which provides users with an indication of the likelihood that something may be vandalism. This feature allows users to get insights into the quality of edits and helps them make informed decisions during the patrolling process. We would ideally send feedback to the research team's API for improvements, which will be valuable in improving the accuracy and effectiveness of the ORES score.

Novembre 2022: Définition des audiences initiales

L'équipe a mené des recherches (T322065) pour évaluer le nombre d'utilisateurs de l'application Wikipédia disposant de droits sysops et de révocation. Les résultats ont révélé que 372 utilisateurs d'applications Android et 176 utilisateurs d'iOS avaient ces droits. Sur la base de ces données, nous avons décidé de donner la priorité au déploiement de la fonctionnalité dans l'application Android, permettant ainsi à l'équipe de développement iOS de se concentrer sur la création de la fonctionnalité Watchlist.

De plus, nous avons cherché à comprendre la répartition des utilisateurs disposant de droits sysops et de révocation dans différentes langues. Ces informations ont joué un rôle crucial dans la détermination des communautés linguistiques cibles initiales pour notre approche directe au cours de la phase initiale de recherche. En nous concentrant sur ces communautés linguistiques spécifiques, nous avons cherché à obtenir des informations et des commentaires précieux de la part d'utilisateurs ayant de l'expérience en matière de modération et de patrouille, ce qui contribuera à façonner le développement de la fonctionnalité pour une utilisation plus élargie:

  • Wikipédia en anglais
  • Wikipédia en français
  • Wikipédia en chinois
  • Wikipédia en espagnol

En même temps que nous travaillons sur la sensibilisation directe à des communautés linguistiques wiki bien spécifiques, et aux utilisateurs du système d'exploitation, nous souhaitons souligner que nous apprécions et encourageons vivement les commentaires et les idées de tout utilisateur de l'application ayant une expérience de patrouille. Nous apprécions également la contribution des utilisateurs Web, mais notre priorité sera de recueillir les commentaires des utilisateurs de l'application.

Il est essentiel de créer une expérience unifiée sur toutes les plateformes. Pour y arriver, nous sommes en étroite communication avec l'équipe de Moderator Tools, qui créera des expériences pour les utilisateurs Web. En Apprenant de leurs découvertes et en collaborant étroitement, nous visons à assurer la continuité et la cohérence entre les applications et les plateformes Web. Vos commentaires et vos idées joueront un rôle crucial dans le développement et l’amélioration de la fonctionnalité de patrouille pour tous les utilisateurs.