ORES

Waarschuwing:

The ORES infrastructure is being deprecated by the Machine Learning team, please check wikitech:ORES for more info.

ORES (/ɔɹz/) is een webservice en API voor "machinaal leren as a service" voor Wikimedia-projecten die onderhouden worden door het Machine Platform team. Het systeem is ontworpen om te helpen bij het automatiseren van belangrijk wiki-werk, zoals het onderkennen en verwijderen van vandalisme. Anno mei 2019 kent ORES scores toe aan de kwaliteit van bewerkingen en artikelen.

ORES is een dienst die op de achtergrond werkt en biedt geen directe mogelijkheid om gebruik te maken van de resultaten. Als je gebruik wilt maken van de scores van ORES, kijk dan naar deze lijst van hulpmiddelen die ORES-scores gebruiken. Als ORES jouw wiki nog niet ondersteunt, kijk dan naar onze instructies om ondersteuning aan te vragen.

Zoek je antwoorden op je vragen over ORES? Kijk in de ORES FAQ.

Kwaliteit van bewerkingen

ORES-flow voor de kwaliteit van bewerkingen. Een beschrijvend diagram van bewerkingen van "Het Internet" naar Wikipedia geeft de "onbekende" kwaliteit van bewerkingen vóór het inschakelen van ORES weer en de labels "goed", "moet beoordeeld worden" of "schadelijk" die gebruikt worden na het aanzetten van ORES.

Een zorg bij de open projecten van Wikimedia is de controle van mogelijk schadelijke bijdragen (bewerkingen). Het is ook noodzakelijk om bewerkers te identificeren die van goede wil zijn (maar per ongeluk schade berokkenen) en hen ondersteuning te bieden. Deze modellen maken het filteren van bewerkingen in de nl:Speciaal:RecenteWijzigingen makkelijker. ORES biedt twee niveaus van ondersteuning aan modellen die de bewerkingskwaliteit voorspellen: basis en gevorderd.

Basisniveau

Ervan uitgaande dat de meeste schadelijke bewerkingen worden teruggedraaid en dat bewerkingen die niet schadelijk zijn niet worden teruggedraaid, kan een overzicht van bewerkingen (en teruggedraaide bewerkingen) van een wiki gemaakt worden. Een dergelijk model is eenvoudig op te zetten, maar het lijdt onder alle terugdraaiingen die om andere redenen dan schade en vandalisme gedaan worden. Om dit probleem te verhelpen, is een model ontworpen dat gebaseerd is op ongewenste woorden.

• teruggedraaid – voorspelt of een bewerking op een gegeven moment teruggedraaid zal worden.

Gevorderd niveau

Liever dan slechts aannames te doen, wordt bewerkers gevraagd om ORES te leren welke bewerkingen beschadigend zijn en welke bewerkingen aangemerkt moeten worden als goede wil. Dit vraagt aanvullende inspanningen van de gemeenschap, maar het maakt een nauwkeurigere en meer afgewogen voorspelling van de kwaliteit van een bewerking mogelijk. Veel hulpmiddelen werken alleen als een gevorderd beschermingsniveau op de betreffende wiki is aangezet.

• beschadigend – voorspelt of een bewerking het project schaadt
• goede wil – voorspelt of een bewerking is gedaan vanuit goede wil (maar wel ongelukkig uitpakt)

Kwaliteit van artikelen

Overzicht van beoordeling van kwaliteit van artikelen op de Engelse Wikipedia. Een screenshot van de Engelse Wikipedia-beoordelingstabel (vanaf mei 2023)

De kwaliteit van artikelen op Wikipedia is een belangrijke zorg voor Wikipedianen. Nieuwe pagina's moeten beoordeeld worden zodat spam, vandalisme en andere ongewenste artikelen niet in de encyclopedie blijven staan. Artikelen die de eerste beoordeling doorstaan, worden met enige onregelmatigheid beoordeeld op hun kwaliteit, maar dit is behoorlijk arbeidsintensief en de beoordelingen zijn vaak achterhaald.

Nieuwe artikelen beoordelen

Hoe eerder echt serieus problematische artikelen verwijderd worden, hoe beter het is. Het beoordelen van nieuw gecreëerde pagina's kan veel werk zijn. Net als bij het tegengaan van vandalisme in bewerkingen, kunnen ook hier computerondersteunde voorspellingen de beoordelaars helpen om de meest problematische artikelen als eerste te beoordelen. Op basis van de redenen die moderatoren opgeven bij het verwijderen van een pagina (zie de logging tabel) kan een model opgesteld worden dat voorspelt welke pagina's in aanmerking komen voor directe verwijdering. Zie nl:Wikipedia:Criteria voor directe verwijdering voor een overzicht van de redenen voor directe verwijdering op de Nederlandse Wikipedia. Voor het Engelse model is uitgegaan van G3 "vandalism", G10 "attack" en G11 "spam".

• acceptabel – voorspelt of het artikel waarschijnlijk voor directe verwijdering in aanmerking komt (spam, vandalisme, privacyschending of veilig)

Bestaande beoordeling artikel

Voor artikelen die behouden blijven na de eerste beoordeling, evalueren sommige grotere Wikipedia's periodiek de kwaliteit van artikelen op een schaal die grofweg overeenkomt met de Engelse Wikipedia 1.0 beoordelingsschaal ('articlequality'). Deze beoordelingen zijn erg nuttig, omdat zij ons helpen onze voortgang te overzien en lacunes op te merken (bijvoorbeeld populaire artikelen die van lage kwaliteit zijn). Het is echter een uitdaging om deze evaluaties actueel te houden; dat leidt ertoe dat deze evaluaties inconsistent zijn. Dit is waar het machinaal-leer-model voor de evaluatie van de articlequality van pas komt. Door het model te leren om de kwaliteitsevaluatie zoals menselijke bewerkers deze uitvoeren, na te doen, kunnen we automatisch ieder artikel en iedere herziening, van een beoordeling voorzien. Dit model is gebruikt om Wiki-projecten te helpen het opnieuw evalueren van de kwaliteit van nieuwe versies van artikelen en om de bewerkingspatronen die leiden tot betere artikelen te onderzoeken.

Het articlequality model is gebaseerd op structurele kenmerken van een artikel. Voorbeelden van deze kenmerken zijn: het aantal secties, de aanwezigheid van een infobox, het aantal bronnen en het gebruik van een sjabloon w:Template:cite xxx. Het articlequality model kijkt niet naar het taalgebruik, de opbouw of de toonzetting van het artikel (bijvoorbeeld of er vanuit een neutraal standpunt is geschreven). De ervaring leert dat veel van de structurele kenmerken van een artikel samenhangen met de manier van schrijven en de neutraliteit, dus in de praktijk werkt dit model goed.

• articlequality – voorspelt de kwaliteit van artikelen of concepten, vergelijkbaar met de beoordelingen volgens Wikipedia 1.0.

Route die een onderwerp doorloopt

Onderwerp 'cross-walk'. Hier een weergave van het labelproces bij gebruik van meerdere wiki's. Engelse Wikipedia's WikiProjecten delen artikelen in op interesse van het onderwerp. WikiProjects zijn georganiseerd in een taxonomie van onderwerplabels. De onderwerplabels worden toegepast op artikelen op andere wiki's via de Wikidata sitelinks.

ORES' model met artikelonderwerpen gebruikt een gevoelsmatige top-down taxonomy voor elk artikel in de Wikipedia, ook voor nieuwe voorstellen (drafts). Dit is nuttig voor het samenstellen van nieuwe artikelen, maken van werklijsten, het vormen van nieuwe WikiProjecten en het analyseren van gaten in de dekking van een artikel.

ORES onderwerpenmodellen worden getest met gebruik van ingebedde woordens van de actuele inhoud. Voor elke taal is wordt er een taalspecifieke inbedding getest, verbeterd en toegepast. Omdat deze strategie afhankelijk is van het onderwerp van het artikel, kunnen voorspellingen per taal verschillen.

Nieuwe artikelen beoordelen

De route van nieuwe artikelen. In een diagram wordt de status 'flow' van nieuwe artikelen in de Wikipedia met de 'draftquality' en 'articletopic' ORES modellen weergegeven.

Het grootste probleem bij het beoordelen van nieuwe artikelen is het vinden van iemand die goed in het onderwerp thuis is en het objectief en accuraat kan beoordelen met relevante argumenten. Ons drafttopic model is ontworpen om de voortgang van een nieuw artikel te tonen gebaseerd op de natuur van het onderwerp aan belangstellende beoordelaars. Het model is ontwikkelt en getest met de eerste revisie van artikelen en is volgens ons geschikt voor nieuwe artikelen die worden samengesteld.

• drafttopic – voorspelt het onderwerp van een onderhanden nieuw artikel

Onderwerp interesse koppeling

Een voorbeeld van het kenmerken van een artikel (Ann Bishop). Ann Bishop wordt door het WikiProject East Anglia omschreven met de kenmerken vrouwenwetenschappen, vrouwengeschiedenis en biografie. De taxonomie van de onderwerp vertaling en voorspellingen worden getoond. Deze voorspellingen zijn inclusief meer relevante informatie dan de taxonomie links.

Het gerelateerd zijn van onderwerpen van artikelen is een belangrijk concept in de organisatie van werk in Wikipedia. Werkgroepen op onderwerp zijn een normale strategie op het gebied van het toevoegen en het toezicht houden op de inhoud van Wikipedia. Er zijn om vele redenen geen hiërarchie op hoog niveau mogelijk of opvraagbaar. Het gevolg is dat iedereen die iets wil organiseren over een onderwerp of een werklijst wil maken toch veel handmatig werk te doen heeft om de relevante artikelen te vinden. Met ons articletopic model, kunnen deze zoekopdrachten automatisch worden gedaan.

• articletopic – voorspelt het onderwerp van een artikel (meer details )

Overzicht van het gebruik

Onderstaande ORES tabel geeft een overzicht van de status en gebruik van ORES per wiki. Als jouw wiki hier niet bij staat of het specifieke gebruik niet is ingeschakeld is, kan je dit aanvragen.

API-gebruik

ORES biedt een eenvoudige API-dienst voor het direct opvragen van de beoordeling van herzieningen. Zie https://ores.wikimedia.org voor meer informatie over het gebruik van de API.

Als u de service ondervraagt ​​over een groot aantal revisies, is het raadzaam om niet meer dan 50 revisies binnen een bepaald verzoek te batchen, zoals hieronder wordt beschreven. Het is acceptabel om maximaal 4 parallelle verzoeken te gebruiken. Overschrijd deze limieten niet, anders kan ORES onstabiel worden. Voor een nog groter aantal vragen kunt u ORES lokaal uitvoeren

Voorbeeld query: http://ores.wikimedia.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

{ "enwiki": { "models": { "draftquality": { "version": "0.0.1" }, "wp10": { "version": "0.5.0" } }, "scores": { "34854345": { "draftquality": { "score": { "prediction": "OK", "probability": { "OK": 0.7013632376824356, "attack": 0.0033607229172158775, "spam": 0.2176404529599271, "vandalism": 0.07763558644042126 } } }, "wp10": { "score": { "prediction": "FA", "probability": { "B": 0.22222314275400137, "C": 0.028102719464462304, "FA": 0.7214649122864883, "GA": 0.008833476344463836, "Start": 0.017699431000825352, "Stub": 0.0016763181497590444 } } } }, "485104318": { "draftquality": { "score": { "prediction": "OK", "probability": { "OK": 0.9870402772858909, "attack": 0.0006854267347843173, "spam": 0.010405615745053554, "vandalism": 0.0018686802342713132 } } }, "wp10": { "score": { "prediction": "Stub", "probability": { "B": 0.02035853144725939, "C": 0.021257471714087376, "FA": 0.0018133076388221472, "GA": 0.003447287158958823, "Start": 0.1470443252839051, "Stub": 0.8060790767569672 } } } } } } }

Resultaten

Voorbeeld query: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

{ "wikidatawiki": { "models": { "damaging": { "version": "0.3.0" } }, "scores": { "421063984": { "damaging": { "score": { "prediction": false, "probability": { "false": 0.9947809563336424, "true": 0.005219043666357669 } } } } } } }
Resultaten

EventStream gebruik

De ORES-scores zijn ook beschikbaar als een EventStream op https://stream.wikimedia.org/v2/stream/revision-score

Lokaal gebruik

Om ORES lokaal uit te voeren kunt u het ORES Python package installeren, met:

pip install ores # needs to be python3, incompatible with python2

Dan zou u het moeten kunnen uitvoeren met:

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org (hier komt de tekst van uw user-agent) enwiki damaging

U zou als uitvoer iets moeten zien als

017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin> 2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout> {"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789} {"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}

Resultaat