Mejoras en la revisión de ediciones
Las mejoras en la revisión de ediciones son un proyecto del Equipo de Colaboración que investiga las maneras de reducir los posibles efectos negativos de procesos actuales de revisión de ediciones para editores nuevos de los wikis. La mayoría de herramientas de revisión y patrullaje de ediciones fueron diseñadas para salvaguardar la calidad de los contenidos y repeler a los actores maliciosos, dos misiones que son imprescindibles. Hay, sin embargo, un corpus de investigación que sugiere que estos procesos pueden, particularmente cuando tienen que ver con herramientas automatizadas o semiautomatizadas, tener la consecuencia imprevista de desalentar e incluso ahuyentar a editores nuevos que actúan de buena fe.
|
Edit Review Improvements
Improve the edit-review process for good-faith new users.
|
Para solventar este problema, el equipo de Colaboración está investigando maneras de separar a los usuarios nuevos bienintencionados en los flujos actuales de revisión de ediciones y, en última instancia, de proporcionar un proceso de revisión más amigable para ayudar a los usuarios nuevos a convertirse en colaboradores productivos.
Problema
- Las investigaciones muestran que, particularmente para los nuevos editores de los wikis, «tener las ediciones revertidas predice tanto un descenso en la actividad como una reducción de la probabilidad de supervivencia» como editores.[1]
- Al mismo tiempo, el creciente uso de herramientas automatizadas o semiautomatizadas de revisión de ediciones ha conllevado un aumento en el rechazo a editores bienintencionados recién llegados. El uso de estas herramientas «aumenta significativamente el efecto negativo del rechazo en la deseable retención de usuarios nuevos».[2]
- No obstante lo dicho anteriormente, las herramientas de revisión de ediciones son esenciales para los usuarios que combaten el vandalismo y otros editores que trabajan para mantener la integridad y la calidad del wiki. ¿Cómo podemos ayudar y retener a los usuarios nuevos y a la vez mantener la productividad de los patrulladores antivandalismo y otros revisores de ediciones?
Objetivos
- Asegurar que los editores nuevos y bienintencionados tengan experiencias más constructivas y positivas en la revisión de sus ediciones y artículos.
- Al proporcionar datos más completos sobre cambios recientes, permitir a los patrulladores y revisores de cualquier clase trabajar más eficazmente y buscar una diversidad de intereses (por ejemplo, luchar contra el vandalismo o apoyar a los usuarios nuevos) de una forma más efectiva y focalizada.
En última instancia, este proyecto pretende afectar a la retención de editores, un objetivo que está bien alineado con los objetivos generales del Plan Anual 2016-17 de la Fundación Wikimedia, desarrollado en estrecha consulta con la comunidad de usuarios.
Este enfoque se articula en particular con los objetivos expuestos en el Plan Anual para el Equipo de Producto, que se compromete, entre otras cosas, a «invertir, en lo referente al contenido..., en nuevas herramientas de mantenimiento y colaboración».
Soluciones
Para empezar a abordar los problemas de los usuarios nuevos bienintencionados pero con dificultades, un buen comienzo pasa por asegurar que los revisores puedan encontrarlos. Para hacer esto posible, proponemos analizar los cambios recientes utilizando datos de una multitud de fuentes, particularmente el programa de aprendizaje automático ORES (Objective Revision Evaluation Service, Servicio de Evaluación Objetiva de Revisiones). El modelo de buena fe de ORES, definido a partir del juicio humano, puede detectar el 95% de ediciones de buena fe con una precisión del 98%. ORES también es capaz de predecir las ediciones que serán revertidas y las que son perjudiciales para los wikis.
Aunque las investigaciones muestran que los editores nuevos son particularmente vulnerables al rechazo, también hay evidencia de que la revisión de ediciones e incluso el rechazo pueden ser una potente experiencia de aprendizaje para los novatos. [3] Para los revisores interesados en apoyar a los novatos, pues, una serie de ediciones a) susceptibles de ser revertidas pero b) realizadas con buena fe, esperamos, representará una serie de momentos de aprendizaje.
El análisis de revisiones descrito anteriormente empezará a ponerse a disposición de los usuarios de dos maneras:[4]
- En la página especial de Cambios Recientes, donde se proporcionará un conjunto de filtros nuevos en forma de funcionalidad beta (lee aquí una descripción de los filtros previstos para la revisión de ediciones);
- En ReviewStream, un nuevo flujo de revisiones legible por máquinas (descripción del producto ReviewStream), diseñado para ser analizado por herramientas de revisión de ediciones.
Actividad actual
- El equipo de Colaboración está explorando conceptos de diseño mientras sigue analizando los problemas con el fin de visualizar qué direcciones pueden seguir los futuros desarrollos.
- Estamos trabajando para definir y medir la retención de usuarios nuevos con el fin de calibrar mejor el tamaño del problema y poder hacer seguimiento del progreso.
- Investigación del Diseño está organizando y realizando entrevistas con usuarios que han experimentado este asunto de varias maneras para entender mejor sus motivaciones y sus flujos de trabajo. Entre los grupos que serán entrevistados a corto plazo se encuentran los patrulladores antivandalismo, los patrulladores de cambios recientes, anfitriones de la tetería de los novatos, miembros del Comité de Bienvenida y revisores del Wikipedia:asistente para la creación de artículos.
- El equipo de Investigación y Datos está refinando la precisión de los modelos de las predicciones para mejorar su calidad.
- En Wikimanía 2016, en junio, tuvo lugar una discusión sobre este proyecto.
Mejorar el filtrado en la página de Cambios Recientes
Con el fin de ayudar a los revisores a encontrar fácilmente las contribuciones que buscan, tenemos planes de mejorar el funcionamiento del filtrado en la página de Cambios Recientes. El objetivo es facilitar el filtrado de la lista de contribuciones, permitir un número mayor de criterios de filtrado (especialmente aquellos que sean útiles para ayudar a los usuarios nuevos) y facilitar la combinación de varios filtros para diversos propósitos.
Este prototipo interactivo ilustra el concepto de filtrado que se ha propuesto. Para ver un contexto mayor, puedes comprobar los supuestos soportados.
Antes de llegar allí, se avanzará paso por paso en una herramienta beta. Más información a continuación.
Pasos iniciales
En un principio, no se integrarán los espacios de nombres ni las etiquetas en el sistema de filtrado. Sí habrá soporte para los filtros relacionados con ORES. Entre estos filtros se encuentran:
- Revisión, filtros que permiten a los revisores centrarse en aquellas contribuciones que aún no han sido revisadas, o en aquellas que ya han sido revisadas por otros revisores.
- Calidad de la contribución, filtros que permiten identificar las contribuciones que son buenas o perjudiciales.
- Intención del usuario, filtros que permiten identificar las contribuciones que se han hecho de buena o de mala fe.
- Nivel de experiencia del usuario, filtros que permiten identificar las contribuciones por el nivel de experiencia de su autor.
-
Un punto de acceso principal para filtrar cambios recientes. -
Se pueden seleccionar los filtros escribiendo (autocompletado) o bien explorando una lista organizada de filtros. -
Los filtros, seleccionados o no, pueden utilizar un color de resaltado para facilitar la combinación de varios criterios. -
Los filtros se muestran como parte de la barra de búsqueda para indicar las propiedades de las contribuciones de la lista.
Planes futuros
Crear los flujos y páginas de «momentos de aprendizaje» ya descritos tiene el potencial de definir la revisión de ediciones como un nuevo espacio para instruir y apoyar a los editores nuevos.
Sin embargo, la mera existencia de una plataforma así no asegurará por sí misma que esta práctica se cimente. Para que haya un impacto real en la retención de usuarios nuevos, será necesario que se produzcan intervenciones en varios puntos de los ciclos de edición y revisión: antes de la publicación, para detectar problemas y fomentar la búsqueda de ayuda por parte de los autores; durante la revisión, para facilitar un proceso constructivo e incluso después de la revisión, para ayudar a los usuarios nuevos a sobreponerse al rechazo y aprender de la experiencia.
Además de explorar ideas para intervenir en varios puntos, buscamos respuestas a preguntas como estas:
- ¿Cómo podemos atraer a los revisores a esta nueva actividad?
- ¿Qué optimizaría la efectividad de los revisores en la tarea de apoyar a los usuarios nuevos durante la revisión?
- ¿Cómo podemos hacer que el proceso les resulte gratificante a los revisores, para que sigan implicándose?
La comunidad antivandalismo también tiene un papel importante que desempeñar. Si disponemos de datos más completos sobre ediciones y editores, los patrulladores de cualquier clase no solo podrán discriminar mejor qué ediciones se realizaron de buena fe, sino que podrán combatir con mayor eficiencia las ediciones dañinas. Será importante trabajar junto con quienes combaten el vandalismo, entre otros usuarios, para entender mejor cómo optimizar sus procesos y herramientas para obtener estos resultados potenciales.
Principios
Al asumir este proyecto, los siguientes principios guiarán nuestra planificación:
- Inteligente, pero humano. Utilizar la tecnología para apoyar la interacción humana, no reemplazarla. La inteligencia artificial puede proporcionar análisis, pero las personas en última instancia deben tomar decisiones.
- En cualquier comunidad. Encontrar soluciones que funcionen en distintos idiomas y proyectos, en lugar de construir herramientas distintas para cada wiki.
- Plataforma, no funcionalidad. Buscar soluciones que sean extensibles y reutilizables por herramientas presentes y futuras, creadas por la comunidad o por la Fundación Wikimedia.
- Movilidad. Aunque por el momento la revisión de ediciones no tiene mucho éxito en los móviles, hay que tener en cuenta a los usuarios móviles en nuestros planes.
- Adopción. Además de crear nuevas tecnologías, hay que buscar maneras de animar a los revisores a adoptar y seguir utilizando las nuevas herramientas.
- Integración. Al buscar nuevas soluciones, hay que construir sobre las prácticas existentes e integrarlas entre sí cuando sea posible.
- Enfoque incremental. A medida que exploramos nuevas áreas, procedamos de forma incremental a cada meta y luego evaluemos adónde ir después.
- Diseño participativo. Colaborar con los editores y desarrolladores de herramientas que ya estén trabajando en este espacio.
Documentos relacionados
- ↑ Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In Proceedings of the 7th international symposium on wikis and open collaboration (pp. 163-172). ACM.
- ↑ “Several changes the Wikipedia community made to manage quality…have ironically crippled the very growth they were designed to manage. Specifically...the algorithmic tools used to reject contributions are implicated as key causes of decreased newcomer retention.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.
- ↑ “We found that newcomers are particularly likely to decrease their contributions after they are reverted. We also saw some evidence that they can learn the most from being reverted. Newcomers should be reached out to actively to help them become socialized into Wikipedia.” Halfaker, A., Kittur, A., & Riedl, J. Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work.
- ↑ Objetivos del segundo trimestre del ejercicio 2016-2017 del Equipo de Colaboración.