Melhorias à Revisão de Edições
As Melhorias à Revisão de Edições são um projeto da equipe de Colaboração, que está à procura de maneiras para reduzir os efeitos negativos que os processos atuais de revisão de edições podem ter para novos editores. A maioria das ferramentas de revisão e patrulha de edições foram designadas para manter a qualidade do conteúdo e repelir atores maliciosos – duas missões vitalmente importantes. Um corpo de pesquisas, no entanto, sugere que esses podem, particularmente quando ferramentas automatizadas ou semi-automatizadas estão envolvidas, ter a imprevista consequência de desencorajar e até afastar editores novatos de boa-fé.
|
Edit Review Improvements
Improve the edit-review process for good-faith new users.
|
Para resolver esse problema, a equipe de Colaboração está investigando maneiras para separar novos usuários dos fluxos de trabalho atuais de revisão de edições, e fornecer um processo de revisão que ajude-os a se tornarem colaboradores produtivos.
Problema
- Pesquisas mostram que para novos editores, “ter suas edições revertidas tanto diminui suas atividades quanto reduz sua permanência”.[1]
- Ao mesmo tempo, o maior uso de ferramentas automatizadas levou a um aumento na rejeição de novatos. O uso dessas ferramentas “aumenta significativamente a rejeição na retenção de novatos”.[2]
- Não obstante o anterior, ferramentas de revisão são essenciais para a luta contra o vandalismo e para manter a integridade e a qualidade da wiki. Como podemos ajudar e reter novos usuários, enquanto mantemos a produtividade dos revisores?
Objetivos
- Garantir que novos editores de boa-fé tenham experiências de edição e de revisão mais construtivas e menos desencorajantes.
- Fornecer mais informações sobre mudanças recentes, permitir que revisores trabalhem com mais eficiência e que busquem interesses diversos (como remover vandalismo e auxiliar novos usuários) de maneira mais efetiva e dedicada.
Por fim, esse projeto visa obter um efeito na retenção de editores, um objetivo que se alinha bem com os objetivos gerais do Plano Anual para 2016-2017 da Fundação Wikimedia, desenvolvido em consulta com a comunidade.
O enfoque se articula em particular com as metas expostas pelo Plano Anual para a equipe de Produto, que se compromete, entre outras coisas, a “investir em novos tipos de curação (…) de conteúdo e de ferramentas colaborativas”.
Soluções
Para começar a intitular os problemas de novatos de boa-fé, um bom primeiro passo será garantir que os revisores possam os encontrar. Para tornar isso possível, propomos analisar as mudanças recentes usando dados de uma variedade de fontes, incluindo o programa ORES (Serviço Objetivo de Avaliação de Revisões). O modelo de boa-fé do ORES, treinado por humanos, pode encontrar 95% das edições de boa-fé com uma precisão de 98%. O ORES pode também prever edições que serão revertidas e prejudiciais para as wikis.
Enquanto pesquisas mostram que novos editores são particularmente vulneráveis a rejeição, há também evidências de que revisões e até rejeições podem ser uma potente experiência de aprendizagem para novatos. [3]
For reviewers interested in supporting new users, then, a stream of edits that are a) likely to be reverted but which were b) made in good faith will, we hope, represent a string of teachable moments.
A análise descrita acima será disponibilizada para usuários de duas maneiras:[4]
- Na página Especial:Mudanças recentes, onde um conjunto de novos filtros será fornecido como recurso beta (leia uma descrição sobre os novos filtros para revisão de edições)
- Em um novo feed lido por máquinas chamado de ReviewStream (descrição do produto), designado para ser usado por ferramentas de revisão de edições.
Atividade atual
- Para visualizar possíveis direções a serem seguidas, a equipe de Colaboração está explorando conceitos de design, enquanto continua a pesquisar os problemas.
- Para melhor medir o tamanho do problema e poder seguir progresso, estamos trabalhando para definir e medir a retenção de editores novos.
- A Pesquisa de Design está organizando e conduzindo entrevistas com usuários afetados pelo problema de várias maneiras para melhor entender suas motivações e fluxos de trabalho. Entre os grupos que serão entrevistados num futuro próximo, estão: patrulhadores de anti-vandalismo e das mudanças recentes, organizadores do café dos novatos, membros do comitê de boas-vindas e revisores de artigos novos.
- A equipe de Pesquisa e Dados está trabalhando na melhora de previsões aperfeiçoando a precisão dos modelos de previsão.
- Houve uma discussão sobre o projeto na Wikimania 2016, em junho
Melhorias aos filtros das Mudanças Recentes
Para ajudar os revisores a encontrarem as contribuições desejadas, planejamos melhorar a maneira com a qual os filtros funcionam na página de Mudanças recentes. O objetivo é facilitar a filtragem da lista de contribuições, permitir mais critérios (especialmente os relevantes para novatos) e simplificar a combinação de filtros para propósitos diferentes.
Este protótipo ilustra o conceito de filtragem proposto. Para mais informações, veja os cenários compatíveis.
Antes de chegar lá, várias versões serão feitas num recurso beta. Mais detalhes abaixo.
Primeiros passos
Inicialmente, espaços nominais e etiquetas (tags) não serão integrados no sistema de filtragem. Filtros relacionados ao ORES serão compatíveis. Esses filtros incluem:
- Revisão. Filtros que permitem que revisores enfoquem nas contribuições ainda não revisadas, ou já revisadas por outros revisores.
- Qualidade. Filtros que permitem identificar contribuições boas ou prejudiciais.
- Intenção. Filtros que permitem identificar contribuições feitas em boa ou má-fé.
- Experiência. Filtros que permitem identificar contribuições pelo nível de experiência do autor.
-
Ponto de entrada para filtrar as mudanças recentes. -
Filtros podem ser selecionados ao digitá-los (autocompletar) ou ao explorar uma lista organizada de filtros. -
Filtros, selecionados ou não, podem usar uma cor de destaque para facilitar a combinação de critérios. -
Os filtros são apresentados como parte da barra de pesquisa, para indicar as propriedades das contribuições listadas.
Planos futuros
A criação de fluxos/páginas de “momentos de aprendizagem” descritos acima tem o potencial de estabelecer a revisão de edições como um novo espaço para instruir e apoiar novos editores.
A mera existência de tal plataforma, no entanto, não garantirá que essa nova prática se concrete. Para obter um impacto de verdade da retenção de novatos, intervenções serão necessárias em alguns pontos dos cilcos de edição/revisão: antes da publicação, para avistar problemas e fornecer ajuda; durante a revisão, para facilitar um processo contrutivo; e após a revisão, para impedir uma possível rejeição aos novos usuários, e fazer com que eles aprendam dos seus erros.
Além de explorar ideias para intervenir em vários pontos, estamos também buscando respostas a perguntas como estas:
- Como podemos atrair revisores a esta nova atividade?
- O que tornaria o trabalho dos revisores de apoiar novatos durante a edição mais efetivo?
- Como podemos recompensar os revisores pelo trabalho para que continuem envolvidos nele?
A comunidade de antivandalismo também tem um papel importante nessa área. Dados mais completos sobre edições e editores não apenas farão com que patrulhadores ajam com maior discriminância ao decidir se edições são de boa-fé ou não, mas também tornará mais eficazes seus trabalhos de combater injúrias. Será importante trabalhar junto com quem combate vandalismo para entender como seus métodos e ferramentas devem ser adaptados para resultarem em ganhos potenciais.
Princípios
Ao assumir esse projeto, os seguintes princípios guiarão o nosso planejamento.
- Inteligente, porém humano. Usar tecnologias que apoiem, ao invés de substituir, a interação humana. A inteligência artificial pode nos fornecer análise, mas apenas humanos podem tomar decisões.
- Toda comunidade conta. Encontrar soluções que funcionem em todos os projetos, ao invés de construir ferramentas específicas para cada wiki.
- Plataforma, não recurso. Visar soluções extensíveis e reusáveis pelas ferramentas atuais e futuras da comunidade e da WMF.
- Móvel. Embora a revisão de edições não seja popular no momento em celulares, considerar esses usuários em nossos planos.
- Adoção. Além de criar novas tecnologias, focar em encontrar maneiras de encorajar revisores a adotar e continuar a usar as novas ferramentas.
- Integração. Ao buscar novas soluções, construir e integrar com as práticas já existentes sempre que possível.
- Enfoque incremental. À medida que exploramos essa nova área, proceder incrementalmente a cada meta, e então avaliar como prosseguir.
- Design participativo. Colaborar com os editores e desenvolvedores de ferramentas que já estajam trabalhando nessa área.
Documentos relacionados
- ↑ Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In Proceedings of the 7th international symposium on wikis and open collaboration (pp. 163-172). ACM.
- ↑ “Several changes the Wikipedia community made to manage quality…have ironically crippled the very growth they were designed to manage. Specifically...the algorithmic tools used to reject contributions are implicated as key causes of decreased newcomer retention.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.
- ↑ “We found that newcomers are particularly likely to decrease their contributions after they are reverted. We also saw some evidence that they can learn the most from being reverted. Newcomers should be reached out to actively to help them become socialized into Wikipedia.” Halfaker, A., Kittur, A., & Riedl, J. Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work.
- ↑ Metas da equipe de Colaboração para o segundo trimestre do ano fiscal de 2016–2017