Moderator Tools/Automoderator/tests multilingues

Automodération

Plan de mesure

Tests

Déploiement

Automoderator est actuellement déployé sur un nombre de projets Wikimedia en utilisant le Modèle de risque d'annulation agnostique du langage, suite à une série de Tests utilisateur qui ont montré la fiabilité de son utilisation. Un autre résultat de cette recherche confirmé par notre analyse en cours du comportement de Automoderator, est que actuellement, il ne gère pas un pourcentage significatif du travail de patrouille. A cause de cela, nous envisageons de passer sur le Modèle de risque d'annulation multilingue dans les Wikipedia qui le prennent en charge. Ce choix nécessite plus d'informations des communautés en entrée pour tester ce modèle afin de pouvoir comprendre ses points forts et ses points faibles, et pouvoir choisir ainsi les seuils d'annulation.

Diagramme montrant le processus de décision du logiciel Automoderator.

Comment tester le modèle de risque d'annulation multilingue

Ecran de la feuille de calcul avec des exemples de réponses remplis

• Si vous possédez un compte Google :
  1. Utilisez le lien Google Sheet ci-dessous et faites-en une copie
     • Vous pouvez le faire en cliquant sur Fichier > Faire une copie ... après avoir ouvert le lien.
  2. Une fois votre copie chargée, cliquez sur Partager dans le coin supérieur, puis donnez un accès à swaltonwikimedia.org (laissez Notifier coché), afin que nous puissions agréger vos réponses et recueillir les données sur la justesse de l'automodérateur.
     • Alternativement, vous pouvez changer « Accès général » en « N'importe qui avec le lien » et partager un lien avec nous directement ou sur le wiki.
• Alternativement, utilisez le lien de fichier .ods pour télécharger le fichier sur votre ordinateur.
  • Après avoir ajouté vos décisions, veuillez nous renvoyer la feuille sur swaltonwikimedia.org, afin que nous puissions regrouper vos réponses et collecter les données sur la justesse de Automoderator.

Après avoir atteint la feuille de calcul...

1. Suivez les instructions de la feuille pour sélectionner un ensemble de données aléatoire, relisez 30 modifications, puis découvrez quelles décisions Automoderator aurait prises pour chaque modification.
   • N'hésitez pas à explorer les données complètes dans l'onglet Modifier les données et les scores.
   • Si vous souhaitez relire un autre ensemble de données, veuillez faire une nouvelle copie de la feuille pour éviter les données conflictuellles.
2. Rejoindre la discussion sur la page de discussion.

Alternativement, vous pouvez simplement aller dans les onglets des projets individuels et commencer à investiguer directement les données.

---

Feuille de calcul Google Sheet fichier .ods (téléchargement)

Nous accueillons volontiers les traductions de cette feuille - si vous souhaitez soumettre une traduction, veuillez en faire une copie, traduire les chaînes de l'onglet Traduction de chaînes et nous les renvoyer à swaltonwikimedia.org.

Si vous voulez que nous ajoutions des données d'une autre Wikipédia, faites-le nous savoir et nous serons heureux de le faire.

A propos de Automoderator

Le modèle de l'automodérateur est entraîné exclusivement sur les pages de l'espace de noms principal (Main:) de Wikipédia, limitant son ensemble de données aux modifications faites sur les articles de Wikipédia. De plus ce modèle ne supporte que 47 langues.

D'autres détails sur la configuration interne de Automoderator ainsi que les seuils de prudence se trouvent sur la page de test originale .

Le nombre d'annulations attendues à différents niveaux de prudence peut être vu ci-dessous. Ces seuils ont été choisis suite à quelques brèfs essais internes et sont très susceptibles de changer à la suite du processus de test :

	Modifications quotidiennnes	Annulations de modifications quotidiennes	Moyenne des annulations Automoderator quotidiennnes
			Très prudent >0,99	Prudent >0,98	Assez prudent >0,97	Peu prudent >0,96	Pas prudent >0,95
Wikipédia en anglais	140 000	14 600	84	273	468	660	884
Wikipédia en français	23 200	1 400	20	43	62	81	97
Wikipédia en allemand	23 000	1 670	35	69	96	126	163
Wikipédia en espagnol	18 500	3 100	147	315	428	530	634
Wikipédia en russe	16 500	2 000	44	108	160	220	284
Wikipédia en japonais	14 500	1 000	3	7	11	16	20
Wikipédia en chinois	13 600	890	2	3	7	8	10
Wikipédia en italien	13 400	1 600	13	37	58	79	102
Wikipédia en polonais	5 900	530	16	42	68	92	124
Wikipédia en hébreu	5 400	710	17	35	50	64	79
Wikipédia en persan	5 200	900	43	120	197	291	373
Wikipédia en coréen	4 300	430	2	6	11	16	22
Wikipédia en indonésien	3 900	340	2	3	4	5	8
Wikipédia en turc	3 800	510	7	17	26	38	51
Wikipédia en arabe	3 600	670	24	68	121	169	213
Wikipédia en roumain	1 300	110	3	6	9	12	16
Wikipédia en croate	500	50	2	3	4	6	8
...	...	...	...	...	...	...	...

Ces données peuvent être consultées sur d'autres projets Wikimedia ici.