Herramientas de moderación/Automoderator
Automoderator es una herramienta antivandalismo automatizada desarrollada por el equipo Moderator Tools. Permite a los administradores habilitar y configurar la reversión automática de ediciones malignas basándose en la puntuación de un modelo de aprendizaje automático. Automoderator se comporta de manera similar a los bots anti-vandalismo como ClueBot NG, SeroBOT, Dexbot y Salebot, pero lo hace disponible para todas las comunidades de idiomas. Consulte Extension:AutoModerator para obtener detalles técnicos sobre la extensión AutoModerator.
|
Automoderator
|
Las comunidades ahora pueden solicitar que se implemente Automoderator en su Wikipedia.
Actualizaciones
- octubre de 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- octubre de 2024 - Hemos creado nuevos conjuntos de datos disponibles para probar el modelo de riesgo de reversión multilingüe. Anticipamos que este modelo debería tener un mejor rendimiento que el modelo independiente del idioma que se utiliza actualmente, pero necesitamos sus comentarios para tomar una decisión informada.
- septiembre de 2024 - La Wikipedia en indonesio y en ucraniano han comenzado a utilizar Automoderator (Automoderator; Автомодератор).
- junio de 2024 - La Wikipedia turca comienza a utilizar Automoderator (Otomoderatör).
- febrero de 2024 - Se han publicado diseños para la versión inicial de las páginas de destino y configuración. ¡Los pensamientos y sugerencias son bienvenidos!
- febrero de 2024 - Hemos publicado resultados iniciales de nuestro proceso de prueba.
- octubre de 2023 - Estamos buscando aportes y comentarios sobre nuestro plan de medición, para decidir qué datos debemos usar para evaluar el éxito de este proyecto, y hemos puesto a disposición datos de prueba para recopilar aportes sobre la toma de decisiones de Automoderator.
- agosto de 2023 - Recientemente presentamos este proyecto, y otros proyectos centrados en los moderadores, en Wikimania. Puede encontrar la grabación de la sesión aquí.
Motivación
En los proyectos Wikimedia se realizan un número considerable de ediciones que deberían deshacerse sin ambigüedad, devolviendo una página a su estado anterior. Los patrulleros y administradores tienen que dedicar mucho tiempo a revisar y revertir manualmente estas ediciones, lo que contribuye a que en muchas wikis grandes se tenga la sensación de que hay una cantidad abrumadora de trabajo que requiere atención en comparación con el número de personas moderadoras activas. Nos gustaría reducir estas cargas, liberando tiempo de las personas moderadoras para trabajar en otras tareas.
Muchos sitios web de comunidades en línea, como Reddit, Twitch y Discord, ofrecen funciones de "automoderación", mediante las cuales la comunidad puede configurar una combinación de acciones de moderación automatizada específicas y algorítmicas. En Wikipedia, AbuseFilter proporciona una funcionalidad específica basada en reglas, pero puede ser frustrante cuando quienes moderan tienen que, por ejemplo, definir minuciosamente una expresión regular para cada variación ortográfica de una grosería. También es complicado y fácil de romper, lo que hace que muchas comunidades eviten utilizarlo. Al menos una docena de comunidades disponen de bots antivandalismo, pero son mantenidos por la comunidad, requieren conocimientos técnicos locales y suelen tener configuraciones opacas. Estos bots también se basan en gran medida en el dañino modelo ORES, que no se ha entrenado en mucho tiempo y tiene un soporte lingüístico limitado.
Objetivos
- Reducir los retrasos en la moderación impidiendo que las malas ediciones entren en las colas de quienes las supervisan
- Dar confianza a quienes moderan de que la automoderación es fiable y no está produciendo falsos positivos significativos.
- Asegurarse de que las personas moderadoras, atrapadas en un falso positivo, tengan vías claras para señalar el error / que se restablezca su edición.
Investigación del diseño
Para conocer el proceso de investigación y diseño por el que hemos pasado para definir el comportamiento y las interfaces de Automoderator, consulte /Design.
Modelo
Automoderator utiliza los modelos de aprendizaje automático de "riesgo de reversión" desarrollados por el equipo de Investigación de la Fundación Wikimedia. Existen dos versiones de este modelo:
- Un modelo multilingüe, con soporte para 47 idiomas.
- Un modelo agnóstico del lenguaje. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Estos modelos pueden calcular una puntuación para cada revisión que denota la probabilidad de que la edición deba revertirse. Cada comunidad puede establecer su propio umbral para esta puntuación, por encima del cual se revierten las ediciones (ver abajo).
Los modelos actualmente sólo admiten Wikipedia, pero podrían ser entrenados en otros proyectos de Wikimedia en el futuro. Además, actualmente solo están entrenados para el espacio de nombres principal (artículos). Nos gustaría investigar el re-entrenamiento del modelo de forma continua, ya que la comunidad informa falsos positivos. (T337501)
Antes de seguir adelante con este proyecto, proporcionamos oportunidades para probar el modelo independiente del lenguaje frente a ediciones recientes, para que los patrulleros pudieran comprender qué tan preciso es el modelo y si se sentían seguros al usarlo de la manera que propusimos. Los detalles y resultados de esta prueba se pueden encontrar en Moderator Tools/Automoderator/Testing.
También estamos probando el modelo multilingüe para saber si es preferible utilizarlo en vez del modelo de lenguaje agnóstico. Consulte Moderator Tools/Automoderator/Multilingual testing para ayudarnos a revisar las puntuaciones del modelo.
User script
We have also created a simple user script to allow testing of the Revert Risk models on Special:RecentChanges, which you can install by following these steps:
- Navigate to Special:MyPage/common.js on your wiki
- Add the following line and save the page:
mw.loader.getScript( 'https://en.wikipedia.org/wiki/User:JSherman_(WMF)/rc_revertrisk.js?action=raw&ctype=text/javascript&date=2025-02-14' ); - On Special:RecentChanges, click 'Get revert risk' in the Tools sidebar.
- Each edit in the main namespace will be scored. This functionality will not work if 'Live updates' is enabled or 'View new changes' is clicked.
We have also created a simple user script to retrieve the Language-Agnostic Revert Risk score for an individual edit.
Simply import User:JSherman (WMF)/revertrisk.js into your commons.js with mw.loader.load( 'https://en.wikipedia.org/wiki/User:JSherman_(WMF)/revertrisk.js?action=raw&ctype=text/javascript' );.
You should then find a Get revert risk score in the Tools menu in your sidebar.
Note that both of these scripts will only display model scores, and do not take into account Automoderator's internal configurations (e.g. ignoring self-reverts) as detailed below.
¿Cómo funciona?
| Para solicitar que se implemente Automoderator en su proyecto Wikimedia, consulte Extension:AutoModerator/Deploying |
Automoderator marca cada edición del espacio de nombres principal en un proyecto de Wikimedia, obtiene una puntuación para esa edición en función de la probabilidad de que se revierta, y revierte cualquier edición que tenga una puntuación por encima de un umbral que puede ser configurado por los administradores locales. Al revertir, Automoderator realiza una reversión, deshaciendo también las ediciones secuenciales anteriores realizadas por el mismo usuario. La reversión se realiza por una cuenta del sistema, por lo que se ve y se comporta como otras cuentas: tiene una página de contribuciones, página de usuario, aparece en los historias de páginas, etc.
Para reducir los falsos positivos y otros comportamientos indeseables, Automoderator nunca revertirá los siguientes tipos de ediciones:
- Un editor que revierte una de sus propias ediciones
- Reversiones de una de las acciones del Automoderator
- Las realizadas por administradores (incluidos administradores globales y stewards) o bots
- Creaciones de nuevas páginas
Configuración
Automoderator se configura a través de un formulario Configuración comunitaria 2.0 ubicado en Special:CommunityConfiguration/AutoModerator, que edita la página MediaWiki:AutoModeratorConfig.json (esta última puede incluirse en la lista de seguimiento para que las actualizaciones aparezcan en su lista de seguimiento). Después de la implementación, Automoderator no comenzará a ejecutarse hasta que un administrador local lo active a través de la página de configuración. Además de activar o desactivar Automoderator, hay una variedad de configuraciones que se pueden personalizar para adaptarse a las necesidades de su comunidad, incluido el umbral de reversión, las banderas de edición menores y de bot, y si Automoderator envía un mensaje a la página de discusión después de revertir (ver más abajo).
Ciertas configuraciones, como el nombre de usuario de Automoderator, solo pueden ser realizadas por los desarrolladores de MediaWiki. Para solicitar dicho cambio, o para solicitar otros tipos de personalización, por favor, inicie una tarea en Phabricator.
La localización de Automoderator debe realizarse primeramente a través de TranslateWiki, pero también se pueden realizar modificaciones locales editando el Mensaje de sistema correspondiente (todas las cadenas de Automoderator comienzan con automoderator-).
Niveles de precaución
Una de las configuraciones más importantes a establecer es el "nivel de precaución" o "umbral"; esto determina la compensación que Automoderator hará entre la cobertura (cuántas malas ediciones se revierten) y la precisión (con qué frecuencia cometerá errores). Cuanto mayor sea el nivel de precaución, menos ediciones serán revertidas, pero mayor será la precisión; cuanto menor sea el nivel, más ediciones serán revertidas, pero menor será la precision. Recomendamos comenzar con un alto nivel de precaución y disminuir gradualmente con el tiempo a medida que su comunidad se sienta cómoda con cómo se comporta Automoderator.
Mensaje en la página de discusión
Para garantizar que los editores revertidos que estaban realizando un cambio de buena fe estén bien equipados para comprender por qué fueron revertidos y para informar de falsos positivos, Automoderator tiene una función opcional para enviar a cada usuario revertido un mensaje en la página de discusión.
Este mensaje se puede traducir en TranslateWiki y personalizar localmente a través del mensaje del sistema Automoderator-wiki-revert-message.
El texto predeterminado (en inglés) se lee de la siguiente manera:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
Si el mismo usuario recibe otra reversión poco después de la primera, se le envía un mensaje más corto bajo el mismo encabezado de sección. Texto por defecto (en inglés):
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Informes de falsos positivos
Debido a que ningún modelo de aprendizaje automático es perfecto, Automoderator a veces accidentalmente revertirá buenas ediciones. Cuando esto sucede queremos reducir la fricción para el usuario que fue revertido y darles pasos claros posteriores. Por tanto, un paso importante en la configuración de Automoderator es crear una página de informe de falsos positivos. Esta es una página wiki normal, a la que Automoderator se vinculará en el mensaje de la página de discusión, y en los historiales de la página y las contribuciones del usuario, como una posible acción adicional para una edición, junto con deshacer y/o agradecer.
Métricas
Puede realizar un seguimiento de los datos sobre el comportamiento de Automoderator en los proyectos de Wikimedia en el Panel de actividad.
Para obtener datos sobre la cantidad esperada de reversiones que Automoderator realizaría por día en su proyecto, consulte la subpágina de pruebas. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.
Uso
Actualmente, Automoderator está implementado en los siguientes proyectos de Wikimedia:
| Proyecto | Solicitud de implementación | Nombre de usuario | Configuración | Tablero de control |
|---|---|---|---|---|
| Wikipedia en indonesio | T365792 | Automoderator | CommunityConfiguration | Dashboard |
| Wikipedia en turco | T362622 | Otomoderatör | CommunityConfiguration | Dashboard |
| Wikipedia en ucraniano | T373823 | Автомодератор | CommunityConfiguration | Dashboard |
| Wikipedia en vietnamita | T378343 | Kiểm tra tự động | CommunityConfiguration | Dashboard |
| Wikipedia en afrikáans | T376597 | OutoModerator | CommunityConfiguration | Dashboard |
| Wikipedia en bengalí | T381000 | স্বয়ংক্রিয় টহলদার | CommunityConfiguration | Dashboard |
| Wikipedia en azerí | T382286 | Avtomoderator | CommunityConfiguration | Dashboard |
| Wikipedia en chino | T367306 | AutoModerator | CommunityConfiguration | Dashboard |