Outils de modération/Automodérateur
Automoderator est un outil automatique anti-vandalisme développé par l'équipe Moderator Tools. Il permet aux administrateurs d'activer et de configurer l'annulation automatique des modifications douteuses, en se basant sur le score fournit par un modèle d'apprentissage automatique. Automoderator remplit une fonction similaire aux robots luttant contre le vandalisme tels que ClueBot NG, SeroBOT, Dexbot et Salebot, mais la rend disponible pour toutes les communautés linguistiques. Voir Extension:AutoModerator pour les détails techniques sur l'extension AutoModerator.
|
Automoderator
|
Ce travail est actuellement suivi dans le cadre de l'hypothèse WE1.3.1 de la WMF : Si nous permettons la personnalisation supplémentaire du comportement de Automoderator et réalisons les modifications d'aprés les commentaires reçus pour le projet pilote au premier trimestre, davantage de modérateurs seront satisfaits par son ensemble de fonctionnalités et sa fiabilité, et seront favorables à son utilisation dans leur propre projet Wikimedia, ce qui augmentera l'adoption du produit.
Les communautés peuvent demander dorénavant à ce que Automoderator soit ajouté à leur Wikipedia.
Mises à jour
- octobre 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- octobre 2024 - Nous avons conçu de nouveaux ensembles de données disponibles pour tester le modèle de Risque d'annulation multilingue. Nous prévoyons que ce modèle devrait avoir de meilleures performances que le modèle linguistique agnostique actuellement utilisé, mais nous avons besoin de votre feedback pour prendre une décision éclairée.
- septembre 2024 - Les Wikipedia indonésienne et ukrainienne commencent à utiliser Automoderator (Automoderator; Автомодератор).
- juin 2024 - La Wikipedia turque a commencé à utiliser Automoderator (Otomoderatör).
- février 2024 - Des maquettes ont été postées pour la version initiale des pages d'accueil et de configuration. Les idées et suggestions sont les bienvenues !
- février 2024 - Nous avons mis à disposition les résultats initiaux de notre processus de test.
- octobre 2023 - Nous recherchons des entrées et des commentaires sur notre plan de mesures pour décider des données à utiliser pour évaluer le succès de ce projet et pouvoir récupérer les données de test à l'entrée de la prise de décision de l'Automoderator.
- août 2023 - Nous avons récemment présenté ce projet au Wikimania ainsi que d'autres projets axés sur la modération. Voir l'enregistrement de la session.
Motivation
Un nombre important de modifications sont effectuées sur les projets Wikimedia qui pourraient être annulées sans ambiguïté, en ramenant les pages à leur état précédent. Les patrouilleurs et les administrateurs doivent passer beaucoup de temps à examiner et à réviser manuellement ces modifications, ce qui contribue à donner la perception sur de nombreux wikis plus grands qu'il y a une quantité écrasante de travail qui nécessite l'attention, par rapport au nombre de modérateurs actifs. Nous souhaitons réduire ces surcharges et ainsi libérer du temps pour que les modérateurs puissent travailler sur d'autres tâches.
De nombreux sites web communautaires en ligne, y compris Reddit, Twitch et Discord, fournissent une fonctionnalité de « modération automatique », par laquelle les modérateurs communautaires peuvent mettre en place un mélange d'actions de modération automatiques spécifiques et algorithmiques. Sur Wikipedia, AbuseFilter fournit une fonctionnalité spécifique basée sur des règles, mais cela peut être frustrant lorsque les modérateurs doivent par exemple définir laborieusement une expression régulière pour chaque variante d'un juron. C'est également complexe et facile à casser, ce qui fait que de nombreuses communautés évitent de l'utiliser. Au moins une douzaine de communautés ont des robots anti-vandalisme, mais ceux-ci sont maintenus par la communauté, ce qui nécessite une expertise technique locale et disposant généralement de configurations opaques. Ces robots sont également largement basés sur le modèle de destruction de ORES qui n'a pas été entraîné depuis longtemps et qui a un support linguistique limité.
Buts
- Réduire la liste des tâches de modération en empêchant les mauvaises modifications d'arriver dans les files d'attente des patrouilleurs.
- Convaincre les modérateurs que l'automodération est fiable et qu'elle ne fournit pas de faux positifs.
- S'assurer que les éditeurs concernés par un faux positif ont clairement le choix entre valider l'erreur ou voir leur modificaltion reinstallée.
Recherche d'architecture
Pour en savoir plus sur le processus de recherche et de conception que nous avons développé pour définir le comportement et les interfaces de Automoderator, voir /Design.
Modèle
Automodérator utilise les modèles risque de réversion de l'apprentissage automatique développés par l'équipe Recherche de la Fondation Wikimedia. Il existe deux versions pour ce modèle :
- Un modèle multilingue couvrant 47 langues.
- Un modèle qui ne dépend pas de la langue. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Ces modèles peuvent calculer un score pour chaque révision indiquant la probabilité que l'édition soit annulée. Chaque communauté peut définir ses propres seuils pour ce score, au-dessus duquel les modifications sont annulées (voir ci-dessous).
Les modèles ne prennent en charge actuellement que Wikipedia, mais pourraient être entraînés sur d'autres projets Wikimedia. Actuellement, ils ne sont uniquement entraînés que sur les articles de l'espace de noms principal. Nous aimerions investiguer en entraînant le modèle à nouveau sur une base continue au fur et à mesure que les faux positifs sont signalés par la communauté. (T337501)
Avant de poursuivre ce projet, nous avons offert des occasions de tester le modèle sur des modifications récentes indépendamment de la langue, afin que les patrouilleurs puissent comprendre à quel point le modèle est précis et pour qu'ils se sentent confiants dans son utilisation telle que nous la proposions. Les détails et les résultats de ce test sont disponibles sur Moderator Tools/Automoderator/Tests.
Nous testons également le modèle multilingue pour comprendre s'il est préférable de l'utiliser à la place du modèle agnostique à la langue. Voir Moderator Tools/Automoderator/tests multilingues pour nous aider à réviser les scores du modèle.
Fonctionnement
| Pour demander que l'automodérateur soit déployé sur votre projet Wikimedia, voir Extension:AutoModerator/Déploiement. |
Automoderator note chaque modification faite dans l'espace de noms principal d'un projet Wikimedia, il récupère un score pour cette édition en fonction de la probabilité qu'elle soit annulée et annule toutes les modifications dont le score est supérieur à un seuil configurable par les administrateurs locaux. L'annulation est effectuée par un compte système, donc il ressemble et se comporte comme d'autres comptes - avec une page Contributions, une page Utilisateur, apparaît dans l'historique des pages, etc.
Pour réduire les faux positifs et autres comportements indésirables, Automoderator n'annulera jamais les types de modifications suivants :
- Contributeur qui annule une de ses propres modifications
- Annulations d'une des actions de l'automodérateur
- Celles faites par les administrateurs ou les robots
- Créations de nouvelles pages
Configuration
Automoderator est configuré via un formulaire Configuration communautaire situé sur Special:CommunityConfiguration/AutoModerator, qui modifie la page MediaWiki:AutoModeratorConfig.json (cette dernière pouvant être suivie de sorte à ce que ses mises à jour apparaîssent dans votre liste de suivi). Après le déploiement, Automoderator ne fonctionne pas tant qu'un administrateur local ne l'a pas activé via la page de configuration. En plus d'activer ou d'arrêter Automoderator, il existe une gamme de configurations qui peuvent être personnalisées pour répondre aux besoins de votre communauté, y compris le seuil des annulations, les drapeaux de modification mineure et par robot, et si Automoderator envoie un message sur la page de discussion après l'annulation (voir ci-dessous).
Certains paramètres, comme le nom d'utilisateur de Automoderator, ne peuvent être changés que par les développeurs MediaWiki. Pour demander une telle modification, ou pour d'autres types de personnalisation, veuillez créer une tâche sur Phabricator.
La traduction de Automoderator doit se faire principalement sur TranslateWiki, mais les redéfinitions locales peuvent également être effectuées en modifiant le Messages système relatif (les chaînes de l'automoderateur commencent toutes avec automoderator-).
Niveaux de protection
L'une des configurations les plus importantes à définir est le niveau de prudence ou seuil - ce qui détermine le compromis que fera l'automodérateur entre la couverture (combien de mauvaises modifications ont été annulées) et la précision (fréquence où il s'est effectivement trompé). Plus le niveau de prudence est élevé, moins les modifications sont annulées, mais plus la précision sera élevée; plus le niveau de la prudence est faible, plus les modifications sont annulées, et moins la précision sera grande. Nous vous recommandons de commencer avec un niveau de prudence élevé et de le diminuer progressivement au fil du temps à mesure que votre communauté se sent à l'aise avec le comportement de l'Automoderateur.
Message de la page de discussion
Pour s'assurer que les éditeurs annulés qui ont fait un changement de bonne foi sont bien équipés pour comprendre pourquoi ils ont été annulés, et pour signaler de faux positifs, Automoderator a une fonctionnalité optionnelle pour envoyer à chaque utilisateur annulé un message sur sa page de discussion.
Ce message peut être traduit dans TranslateWiki et personnalisé localement via le message système Automoderator-wiki-revert-message.
Le texte par défaut (anglais) indique :
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
Si le même utilisateur subit une autre annulation après la première, il recevra un message plus court sous le même titre de section. Texte par défaut (en anglais) :
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Remontée des faux positifs
Parce qu'aucun modèle d'apprentissage automatique n'est parfait, Automoderator peut parfois accidentellement annuler des modifications tout à fait acceptables. Si cela se produit, nous voulons réduire les déconvenues pour l'utilisateur qui a été annulé, et lui donner des étapes claires suivantes. Donc une étape importante dans la configuration de Automoderator est la création d'une page pour y rapporter les faux positifs. Il s'agit d'une page wiki normale, qui sera liée par Automoderator dans le message de la page de discussion, et dans l'historique des pages et les contributions des utilisateurs, comme une action possible supplémentaire de modification, à côté des annulations (Undo) et des remerciements (Thank).
Metrics
You can track data about how Automoderator is behaving on Wikimedia projects at the Activity Dashboard.
For data on the expected number of reverts that Automoderator would make per day on your project, see the testing subpage. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.
Usage
Automoderator is currently deployed on the following Wikimedia projects:
| Project | Deployment request | Username | Configuration |
|---|---|---|---|
| Wikipédia en indonésien | T365792 | Automoderator | CommunityConfiguration |
| Wikipédia en turc | T362622 | Otomoderatör | CommunityConfiguration |
| Wikipédia en ukrainien | T373823 | Автомодератор | CommunityConfiguration |
| Wikipédia en vietnamien | T378343 |