ORES
 Avertissement : | L'infrastructre de ORES est déclarée obsolète par l'équipe Machine Learning, voir wikitech:ORES pour plus d'informations. |
ORES (/ɔɹz/ - Objective Revision Evaluation Service)[1] - cette longue dénomination étant aujourd'hui obsolète - est un service web et une API qui fournit l'apprentissage automatique en tant que service pour les projets Wikimedia supportés par l'équipe de la plate-forme d'apprentissage automatique (Machine Learning team). Le système est conçu pour aider à automatiser le travail wiki critique, par exemple, dépistage et élimination de vandalisme. Pour le moment, les deux types généraux de classements que produit ORES visent la « qualité des contributions » et la « qualité des articles ».
ORES est un service sous-jacent, qui ne permet pas d'utiliser directement ses classements. Pour utiliser les classements d'ORES, consultez notre liste d'outils qui les utilisent. Si ORES n'est pas encore accessible sur votre wiki, lisez nos instructions pour demander du support.
Vous cherchez des réponses à vos questions sur ORES ? Consultez la Foire Aux Questions de ORES.
Qualité des modifications
L'une des préoccupations majeures quant aux projets ouverts de Wikimédia est d'identifier les contributions c'est à dire les modifications qui pourraient causer des dommages. De plus, il faut identifier les contributeurs de bonne foi (qui auraient pu causer des dommages par inadvertance) et leur offrir du support. Ces modèles permettent de travailler plus facilement sur le filtrage via le flux de la page Special:RecentChanges. Nous offrons deux modes pour nos modèles de prédiction de la qualité : le niveau de base et le niveau avancé.
Support de base
Prenant pour acquit que la plupart des contributions dommageables vont être révoquées et que les contributions qui ne sont pas dommageables ne seront pas reverted (révoquées), nous pouvons travailler, à l'aide de l'historique des contributions (révoquées ou pas) sur un wiki.
Ce modèle est facile à bâtir, mais son problème est que bien des contributions sont révoquées pour d'autres raisons que pour dangerosité ou vandalisme. Pour cette raison, nous bâtissons un modèle basé sur les gros mots.
reverted– suggère si une contribution devrait être annulée
Support avancé
Sans rien prendre pour acquit, nous pouvons demander aux bénévoles d'apprendre à ORES quelles contributions sont en fait damaging et quelles contributions semblent avoir été enregistrées en goodfaith.
Cela demande plus de travail aux bénévoles de la communauté, mais offre une évaluation plus précise et nuancée quant à la qualité d'une intervention.
Plusieurs outils ne fonctionneront que si le support avancé est disponible sur le wiki concerné.
damaging(dommageable) – estime si une contribution peut causer des dommagesgoodfaith(bonnefoi) – estime si une contribution a été enregistrée de bonne foi
Qualité du contenu
La qualité des articles de Wikipedia est une préoccupation centrale pour les wikipédiens. Les pages nouvelles doivent être rélues et être maintenues pour garantir que le pourriel, le vandalisme et les articles d'attaque ne demeurent pas dans le wiki. Pour les articles qui survivent à la vérification initiale, certains wikipédiens évaluent périodiquement la qualité des articles, mais ceci requiert beaucoup de travail et les évaluations sont souvent désuètes.
Evaluation de nouveaux articles
Plus vite ces types sérieusement problématiques d'articles brouillons seront supprimés et mieux cela sera. Le nettoyage des créations de nouvelles pages peut être un travail de longue haleine. Tout comme le problème des compteurs de vandalisme dans les modifications, les prédictions automatiques peuvent aider des mainteneurs à se concentrer d'abord sur les nouvelles pages les plus problématiques. En se basant sur les commentaires laissés par les administrateurs lorsqu'ils suppriment les pages (voir la table des logging), il est possible d'entrainer un modèle à prédire les pages qui devront être supprimées rapidement. Voir en:WP:CSD pour une liste de motifs de supression rapide pour la Wikipedia anglophone. Pour le modèle anglais, on utilisait G3 « vandalisme », G10 « attaque », et G11 « pourriel ».
draftquality– prédit si l'article devra être supprimé rapidement (pourriel, vandalisme, attaque, ou s'il est acceptable)
Quand il existe une évaluation d'article
Pour les articles qui ont survécu au filtrage initial, certaines des grandes Wikipédias évaluent périodiquement la qualité des articles en utilisant une échelle qui correspond approximativement à l'échelle d'évaluation « qualité d'article » (articlequality) de la Wikipedia anglaise 1.0.
Ces évaluations sont très utiles car elles nous aident à évaluer nos progrès et à identifier les opportunités manquées (par exemple, des articles populaires de qualité médiocre).
Cependant, maintenir ces évaluations à jour est difficile, de sorte que la couverture est incohérente.
C’est là où le modèle d’apprentissage automatique articlequality est très utile.
En entraînant un modèle à produire des évaluations sur la qualité des articles rédigés par les humains, nous pouvons évaluer automatiquement chaque article et chaque révision à l'aide d'un ordinateur.
Ce modèle a été utilisé pour aider WikiProjects à trier le travail de réévaluation et à explorer les dynamiques d'édition qui conduisent à des améliorations de la qualité des articles.
Le modèle articlequality fonde ses prédictions sur les caractéristiques structurelles des articles.
Par exemple. Combien y a-t-il de sections ? Y a-t-il une boîte d'information (infobox) ? Combien y-a-t-il de références ? Et est-ce que les références utilisent un modèle w:Template:cite xxx ?
Le modèle articlequality n'évalue pas la qualité de l'écriture ni s'il existe ou non un problème de ton (par exemple, un point de vue mis en avant).
Cependant, bon nombre des caractéristiques structurelles des articles semblent fortement corrélées avec une écriture et un ton corrects, de sorte que les modèles fonctionnent très bien dans la pratique.
articlequality– prédit la classe d'évaluation (comme en Wikipedia 1.0) d'un article ou d'un brouillon
Routage des sujets
Le modèle de sujet d'articles ORES applique une taxinomie intuitive de haut en bas intuitive à tout article de Wikipedia -- même aux brouillons des nouveaux articles. Ce routage des articles est utile pour conserver les nouveaux articles, construire des listes de travail, créer de nouveaux projets wiki, et analyser les manques de couverture.
Les modèles de sujet ORES sont entraînés en utilisant les en:word embedding du contenu actuel. Pour chaque langue, une partie embarquée spécifique à la langue est apprise et appliquée en natif. Parce que cette stratégie de modélisation dépend du sujet des articles, les prédictions de sujet peuvent différer selon la langue, en fonction des sujets présents dans le texte des articles.
Evaluation de nouveaux articles
La plus grande difficulté avec la relecture de nouveaux articles, c'est de trouver quelqu'un qui soit familier avec la matière du sujet pour estimer la notabilité, la pertinence et l'exactitude.
Notre modèle drafttopic est conçu pour router les articles nouvellement créés en se basant sur la nature apparente de leur sujet, vers les relecteurs intéressés.
Le modèle est entraîné et testé sur la première version des articles et donc il convient pour être utilisé sur le brouillon des nouveaux articles.
drafttopic– prédit le sujet du brouillon d'un nouvel article
Correspondance de l'intérêt des sujets
Les relations entre les sujets des articles est un concept important pour l'organisation du travail dans Wikipedia.
Les groupes de travail par thème sont devenus une stratégie commune de la gestion de production de contenu et du patrouillage dans Wikipedia.
Cependant une hiérachie de haut niveau n'est pas disponible ni interrogeable pour plusieurs raisons.
Le résultat est que quiconque cherchant à organiser sur un sujet donné, ou à établir une liste de travail, doit fournir un travail manuel substanciel afin d'identifier les articles concernés.
Avec notre modèle articletopic, ces requêtes peuvent être faites automatiquement.
articletopic– prédit le sujet d'un article (autres détails)
Tableau des prises en charge
La table de suppport ORES montre le status de la prise en charge disponible de ORES par wiki et par modèle. Si votre wiki n'est pas affiché, ou que la prise en charge du modèle que vous voulez utiliser n'y figure pas, vous pouvez demander de l'aide.
Utilisation l'API
ORES fournit un service d'API Rest pour récupérer dynamiquement un rapport d'information concernant les révisions. Voir https://ores.wikimedia.org pour plus d'informations sur la manière d'utiliser l'API.
Si vous interrogez le service pour un grand nombre de révisions, il est recommandé de les traiter par 50 révisions à chaque requête comme décrit ci-dessous. On peut aller jusqu'à 4 requêtes en parallèle. Ne dépassez pas ces limites car ORES peut devenir instable. Pour un nombre de requêtes plus grand, vous pouvez exécuter ORES localement.
Exemple de requête : http://ores.wikimedia.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318
{
"enwiki": {
"models": {
"draftquality": {
"version": "0.0.1"
},
"wp10": {
"version": "0.5.0"
}
},
"scores": {
"34854345": {
"draftquality": {
"score": {
"prediction": "OK",
"probability": {
"OK": 0.7013632376824356,
"attack": 0.0033607229172158775,
"spam": 0.2176404529599271,
"vandalism": 0.07763558644042126
}
}
},
"wp10": {
"score": {
"prediction": "FA",
"probability": {
"B": 0.22222314275400137,
"C": 0.028102719464462304,
"FA": 0.7214649122864883,
"GA": 0.008833476344463836,
"Start": 0.017699431000825352,
"Stub": 0.0016763181497590444
}
}
}
},
"485104318": {
"draftquality": {
"score": {
"prediction": "OK",
"probability": {
"OK": 0.9870402772858909,
"attack": 0.0006854267347843173,
"spam": 0.010405615745053554,
"vandalism": 0.0018686802342713132
}
}
},
"wp10": {
"score": {
"prediction": "Stub",
"probability": {
"B": 0.02035853144725939,
"C": 0.021257471714087376,
"FA": 0.0018133076388221472,
"GA": 0.003447287158958823,
"Start": 0.1470443252839051,
"Stub": 0.8060790767569672
}
}
}
}
}
}
}
|
|---|
|
Résultat |
Exemple de requête : https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging
{
"wikidatawiki": {
"models": {
"damaging": {
"version": "0.3.0"
}
},
"scores": {
"421063984": {
"damaging": {
"score": {
"prediction": false,
"probability": {
"false": 0.9947809563336424,
"true": 0.005219043666357669
}
}
}
}
}
}
}
|
|---|
|
Résultat |
Utiliser EventStream
Les évaluations de ORES sont aussi fournies en tant que EventStream sur https://stream.wikimedia.org/v2/stream/revision-score
Utilisation locale
Pour exécuter ORES localement, vous pouvez installer le package Python ORES avec :
pip install ores # needs to be python3, incompatible with python2
Puis vous pouvez l'exécuter avec :
echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org (votre chaîne d'agent utilisateur va ici) enwiki damaging
Et voir l'affichage de :
017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}
|
|---|
|
Résultat |
Références
- ↑ Initialement le « Service Objectif d'Évaluation des Révisions »