ORES
 Atenção: | The ORES infrastructure is being deprecated by the Machine Learning team, please check wikitech:ORES for more info. |
O ORES (/ɔɹz/)[1] é um serviço web e API que fornece o aprendizado de máquina as a service para os projetos da Wikimedia, mantido pela equipe de Plataforma de Pontuações. O sistema foi designado para ajudar a automatizar trabalhos nas wikis, como detecção e remoção de vandalismo. Atualmente, os dois tipos gerais de pontuações que o ORES gera são no contexto de “qualidade da edição” e “qualidade do artigo”.
O ORES é um serviço de back-end, e não fornece uma maneira direta de usar as pontuações. Se você gostaria de usá-las, confira a nossa lista de ferramentas que usam pontuações do ORES. No caso do ORES ainda não estar disponível na sua wiki, veja as nossas instruções para solicitar suporte.
Tem dúvidas sobre o ORES? Confira as perguntas frequentes.
Qualidade da edição
Uma das questões mais críticas sobre os projetos abertos da Wikimedia é a revisão de contribuições (“edições”) potencialmente prejudiciais. Há também a necessidade de identificar contribuidores de boa-fé (os quais podem estar causando danos sem saberem) e oferecê-los ajuda. Estes modelos pretendem facilitar o trabalho no feed das mudanças recentes. Oferecemos dois níveis de ajuda pra os modelos de previsão: básico e avançado. Oferecemos dois níveis possíveis para modelos de predição de qualidade de edição: básico e avançado.
Suporte básico
Assumindo que as edições mais prejudiciais serão revertidas e que as menos prejudiciais não serão revertidas, podemos usar o histórico de edições (e reversões) de uma wiki. Esse modelo é fácil de ser configurado, porém sofre do problema de várias edições serem revertidas por razões além de vandalismo. Para consertar isso, criamos um modelo baseado em palavras evitáveis.
reverted– prevê se uma edição será eventualmente revertida
Suporte avançado
Em vez de assumir, podemos pedir que os editores treinem o ORES sobre quais edições são, de fato, prejudiciais, e quais parecem ter sido feitas em boa-fé. Isso requer trabalho adicional da parte dos voluntários, mas resulta numa previsão mais precisa e matizada em assunto de qualidade. Várias ferramentas somente funcionarão se o suporte avançado estiver disponível para a wiki alvo.
damaging– prevê se uma edição causa danosgoodfaith– prevê se uma edição foi salva em boa-fé
Qualidade do artigo
A qualidade dos artigos da Wikipedia é uma questão principal para os usuários. Novas páginas devem ser revisadas para garantir que spam, vandalismo e ataques não estejam presentes na wiki. Para artigos “sobreviventes” da primeira revisão, alguns wikipedistas avaliam periodicamente a qualidade dos artigos; porém, isso constitui um trabalho muito intenso, e na maioria das vezes as avaliações estão desatualizadas.
New article evaluation
Quanto mais rápido esboços problemáticos forem removidos, melhor. Revisar novas páginas pode ser um trabalho árduo. Assim como no problema de lutar contra vandalismo nas edições, as previsões por máquina podem ajudar revisores a enfocar nas páginas mais problemáticas primeiro. Com base em comentários de administradores sobre a remoção de páginas (veja a tabela de logging), podemos treinar um modelo para prever quais páginas precisarão de remoção rápida. Veja WP:ER para uma lista de motivos para eliminação rápida na Wikipédia lusófona. Já no modelo inglês, foram usados os critérios G3, G10 e G11 (vandalismo, ataque e spam, respectivamente).
draftquality– prevê se o artigo deverá sofrer eliminação rápida (spam, vandalismo, ataque…)
Existing article assessment
Para artigos “sobreviventes” da primeira revisão, algumas das maiores wikis avaliam periodicamente a qualidade dos artigos, usando uma escala que mais ou menos corresponde à escala de avaliação da Wikipédia 1.0 ("articlequality").
Ter ambas as avaliações será útil, pelo fato de elas nos ajudar a calibrar nosso progresso e identificar oportunidades perdidas (como artigos populares que estejam em baixa qualidade).
No entanto, manter essas avaliações atualizadas é desafiador.
É aí que o modelo de aprendizado de máquina da articlequality entra.
Treinando um modelo para replicar as avaliações à qualidade dos artigos que humanos realizam, conseguimos avaliar automaticamente todos os artigos e todas as revisões com um computador.
This model has been used to help WikiProjects triage re-assessment work and to explore the editing dynamics that lead to article quality improvements.
O modelo de qualidade do artigo baseia suas previsões nas características estruturais do artigo.
E.g. How many sections are there? Is there an infobox? How many references? And do the references use a w:Template:cite xxx template?
The articlequality model doesn't evaluate the quality of the writing or if there's a tone problem (e.g. a point of view being pushed).
However, many of the structural characteristics of articles seem to correlate strongly with good writing and tone, so the models work very well in practice.
articlequality– *qualidade do artigo– prevê a classe de avaliação de um artigo ou esboço
Encaminhamento de tópicos
O modelo do ORES para o tópico de artigos aplica uma taxonomia de cima para baixo a qualquer artigo da Wikipédia -- até mesmo novos rascunhos de artigos. Este encaminhamento dos tópicos é útil para a curadoria de novos artigos, construção de lista de trabalhos, formação de novos wiki-projetos, e análise de falhas na cobertura dos assuntos.
Os modelos do ORES para tópicos são treinados por meio de imersões de palavras (word embedding) do conteúdo real. Para cada idioma, uma imersão específica para o idioma é aprendida e aplicada nativamente. Como esta estratégia depende do tópico do artigo, os tópicos previstos podem diferer entre idiomas, dependendo dos tópicos presentes no texto do artigo.
New article evaluation
A maior dificuldade ao revisar novos artigos é encontrar alguém familiar com o assunto para avaliar sua notoriedade, relevância, e precisão.
Nosso modelo drafttopic visa encaminhar articos recém criados com base em seu tópico aparente para os revisores interessados.
O modelo é treinado e testado com a "primeira revisão dos artigos" e assim é adequado ao uso com rascunhos de artigos novos.
drafttopic– prevê o tópico de um rascunho de artigo novo
Mapeamento de tópico de interesse
O relacionamento entre tópicos de artigos é um conceito importante para a organização do trabalho na Wikipédia.
Os grupos de trabalho por tópicos têm se tornado uma estratégia comum para gerenciar a produção de conteúdo e o patrulhamento na Wikipédia.
Por vários motivos, ainda não está disponível uma hierarquia de alto nível ou que possa ser consultada.
O resultado é que qualquer um que vise organizar um tópico ou fazer uma lista de trabalho tem que realizar uma quantidade significativa de trabalho para identificar os artigos relevantes.
Com o nosso modelo articletopic, tais consultas podem ser feitas automaticamente.
articletopic– prevê o tópico de um artigo (mais detalhes)
Compatibilidade
A tabela de suporte ORES relata o estado de compatibilidade do ORES por wiki e modelo disponível. Caso não veja sua wiki listada ou compatibilidade para o modelo desejado, é possível solicitar suporte.
Uso da API
O ORES oferece um serviço de API REST para recuperar informações de pontuação de revisões dinamicamente. Veja https://ores.wikimedia.org para mais informações sobre como usar a API.
Se estiver consultando pelo serviço um grande número de revisões, é aconselhável fazer batch de até 50 revisões dentro de cada solicitação, como descrito abaixo. É aceitável usar até 4 solicitações paralelas. Se você exceder esses limites, o ORES se tornará instável. Para números maiores de consultas, execute o ORES localmente.
Consulta de exemplo: http://ores.wikimedia.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318
{
"enwiki": {
"models": {
"draftquality": {
"version": "0.0.1"
},
"wp10": {
"version": "0.5.0"
}
},
"scores": {
"34854345": {
"draftquality": {
"score": {
"prediction": "OK",
"probability": {
"OK": 0.7013632376824356,
"attack": 0.0033607229172158775,
"spam": 0.2176404529599271,
"vandalism": 0.07763558644042126
}
}
},
"wp10": {
"score": {
"prediction": "FA",
"probability": {
"B": 0.22222314275400137,
"C": 0.028102719464462304,
"FA": 0.7214649122864883,
"GA": 0.008833476344463836,
"Start": 0.017699431000825352,
"Stub": 0.0016763181497590444
}
}
}
},
"485104318": {
"draftquality": {
"score": {
"prediction": "OK",
"probability": {
"OK": 0.9870402772858909,
"attack": 0.0006854267347843173,
"spam": 0.010405615745053554,
"vandalism": 0.0018686802342713132
}
}
},
"wp10": {
"score": {
"prediction": "Stub",
"probability": {
"B": 0.02035853144725939,
"C": 0.021257471714087376,
"FA": 0.0018133076388221472,
"GA": 0.003447287158958823,
"Start": 0.1470443252839051,
"Stub": 0.8060790767569672
}
}
}
}
}
}
}
|
|---|
|
Resultado |
Consulta de exemplo: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging
{
"wikidatawiki": {
"models": {
"damaging": {
"version": "0.3.0"
}
},
"scores": {
"421063984": {
"damaging": {
"score": {
"prediction": false,
"probability": {
"false": 0.9947809563336424,
"true": 0.005219043666357669
}
}
}
}
}
}
}
|
|---|
|
Resultado |
Uso com EventStream
As pontuações do ORES também estão disponíveis em uma EventStream em https://stream.wikimedia.org/v2/stream/revision-score
Uso local
Para executar o ORES localmente, você pode instalar o pacote ORES Python por:
pip install ores # needs to be python3, incompatible with python2
Então deverá poder executá-lo com:
echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org (your user-agent string goes here) enwiki damaging
Deverá ver como resultado
017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}
|
|---|
|
Resultado |
Notas
- ↑ Originalmente um acrônimo de Serviço Objetivo de Avaliação de Revisões, já depreciado.