Moderatör Araçları/Otomoderatör
Otomoderatör Moderator Tools ekibi tarafından geliştirilmekte olan otomatik bir anti-vandalizm aracıdır. Bu araç hizmetlilerin, bir makine öğrenimi modelinden gelen puanlamaya dayalı olarak kötü düzenlemelerin otomatik olarak geri alınmasını etkinleştirmesine ve yapılandırmasına olanak tanır. Otomoderatör, ClueBot NG, SeroBOT, Dexbot ve Salebot gibi anti-vandalizm botlarına benzer şekilde davranır, ancak tüm dil topluluklarının kullanımına sunar. AutoModerator uzantısı hakkında teknik detaylar için lütfen Extension:AutoModerator'a bakın.
|
Automoderator
|
Bu çalışma şu anda WE1.3.1 WMF hipotezinin bir parçası olarak takip ediliyor: Automoderator'ın davranışının daha fazla özelleştirilmesini sağlarsak ve birinci çeyrekteki pilot proje geri bildirimlerine göre değişiklikler yaparsak, daha fazla moderatör özellik setinden ve güvenilirliğinden memnun kalarak Wikimedia projelerinde kullanmayı tercih edecektir. Böylece aracın benimsenmesi ve kullanım oranı artacaktır.
Topluluklar artık Vikipedi'lerinde Automoderator'ın kullanılmasını talep edebilirler.
Güncellemeler
- Ekim 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- Ekim 2024 - Çok Dilli Geri Dönüş Riski modelini test etmek için yeni veri kümelerini kullanıma sunduk. Bu modelin şu anda kullanımda olan Dil Bağımsız modelden daha iyi bir performans göstermesini bekliyoruz, ancak bilinçli bir karar alabilmek için geri bildirimlerinize ihtiyacımız var.
- Eylül 2024 - Endonezce ve Ukraynaca Vikipedi'ler Otomoderatör kullanmaya başladı. (Automoderator; Автомодератор).
- Haziran 2024 - Türkçe Vikipedi Otomoderatör kullanmaya başladı.
- Şubat 2024 - Açılış ve konfigürasyon sayfalarının ilk sürümü için Tasarımlar yayınlandı. Tüm fikir ve önerilere açığız!
- Şubat 2024 - Test sürecimizden ilk sonuçları yayınladık.
- Ekim 2023 - Bu projenin başarısını değerlendirmek için hangi verileri kullanmamız gerektiğine karar vermek için ölçüm planı hakkında girdi ve geri bildirim arıyoruz ve Automoderator'ın karar verme sürecine ilişkin girdi toplamak için test verilerini kullanıma sunduk.
- Ağustos 2023 - Bu projenin ve diğer moderatör odaklı projelerin yakın zamanda Wikimania'da sunulduğunu gördük. Buradan konuşmaya ulaşabilirsiniz.
Motivasyon
Wikimedia projelerinde, bir sayfayı önceki durumuna geri döndürerek açıkça geri alınması gereken önemli sayıda düzenleme yapılmaktadır. Hizmetliler ve devriyeler bu düzenlemeleri manuel olarak gözden geçirmek ve geri almak için çok fazla zaman harcamak zorundadır, bu da birçok büyük vikide aktif moderatör sayısına kıyasla dikkat edilmesi gereken çok fazla iş olduğu hissine katkıda bulunur. Bu yükleri azaltarak moderatörlerin diğer görevler üzerinde çalışmak için zaman kazanmasını istiyoruz.
Reddit, Twitch ve Discord gibi birçok çevrimiçi topluluk web sitesi, topluluk moderatörlerinin belirli ve algoritmik otomatik moderasyon eylemlerinin bir karışımını kurabilmesi için 'otomatik moderasyon' işlevselliği sunar. Vikipedi'de AbuseFilter belirli, kurallara dayalı işlevsellik sağlıyor, ancak örneğin, moderatörlerin küfürlü bir kelimenin her yazım şekli için titizlikle bir düzenli ifade tanımlaması gerektiğinde sinir bozucu olabiliyor. Ayrıca karmaşık ve kırılması kolay olduğundan birçok topluluk tarafından kullanılamaz. En az bir düzine toplulukta vandalizm karşıtı botlar var, ancak bunlar topluluk tarafından sürdürülüyor, yerel teknik uzmanlık gerektiriyor ve genellikle şeffaf olmayan yapılandırmalara sahip. Bu botlar da büyük ölçüde uzun süredir eğitilmemiş ve sınırlı dil desteğine sahip olan ORES hasar verme modeline dayanmaktadır.
Hedefler
- Kötü düzenlemelerin devriye kuyruklarına girmesini önleyerek moderasyon gecikmelerini azaltın.
- Moderatörlere, otomatik moderasyonun güvenilir olduğuna ve önemli yanlış pozitif sonuçlar üretmediğine dair güven verin.
- Yanlış pozitif durumunda yakalanan editörlerin hatayı işaretlemek/düzenlemelerinin yeniden etkinleştirilmesini sağlamak için net yollara sahip olduğundan emin olun.
Tasarım fikri
Otomoderatör'ün davranışını ve arayüzlerini tanımlamak için yürüttüğümüz araştırma ve tasarım sürecini öğrenmek için /Design'e bakın.
Model
Automoderator, Wikimedia Foundation Research ekibi tarafından geliştirilen 'revert risk' makine öğrenimi modellerini kullanır. Bu modelin iki versiyonu vardır:
- 47 dili destekleyen çok dilli model.
- Bir dilden bağımsız model. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Bu modeller, her revizyon için, düzenlemenin geri alınma olasılığını belirten bir puan hesaplayabilir. Her topluluk bu puan için kendi eşik değerini belirleyebilir, bu eşiğin üstündeki düzenlemeler geri alınır (aşağıya bakınız).
Modeller şu an için yalnızca Vikipedi'yi destekliyor, ancak gelecek zamanda diğer Wikimedia projelerinde de eğitilebilir. Ayrıca şu anda yalnızca ana (madde) ad alanında eğitiliyorlar. Topluluk tarafından yanlış pozitif sonuçlar bildirildiği için modeli düzenli olarak yeniden eğitmeyi araştırmak istiyoruz. (T337501)
Bu projeye geçmeden önce, dil bağımsız modeli son düzenlemelere karşı test etme fırsatları sağladık; böylece devriye gezen kişiler modelin ne kadar doğru olduğunu ve önerdiğimiz şekilde kullanma konusunda kendilerini güvende hissedip hissetmediklerini anlayabildiler. Bu testin detaylarını ve sonuçlarını Moderator Tools/Automoderator/Testing'dan bulabilirsiniz.
We are also testing the Multilingual model to understand if it is preferable to use it instead of the Language Agnostic model.
See Moderator Tools/Automoderator/Multilingual testing to help us review the model's scores.
How it works
| To request that Automoderator be deployed on your Wikimedia project, please see Extension:AutoModerator/Deploying. |
Automoderator scores every main namespace edit on a Wikimedia project, fetches a score for that edit based on how likely it is to be reverted, and reverts any edits which score above a threshold which can be configured by local administrators. The revert is carried out by a system account, so it looks and behaves like other accounts - it has a Contributions page, User page, shows up in page histories, etc.
To reduce false positives and other undesirable behaviour, Automoderator will never revert the following kinds of edits:
- An editor reverting one of their own edits
- Reverts of one of Automoderator's actions
- Those made by administrators or bots
- New page creations
Configuration
Automoderator is configured via a Community Configuration form located at Special:CommunityConfiguration/AutoModerator, which edits the page MediaWiki:AutoModeratorConfig.json (the latter can be watchlisted so that updates show up in your Watchlist). After deployment, Automoderator will not begin running until a local administrator turns it on via the configuration page. In addition to turning Automoderator on or off, there are a range of configurations which can be customised to fit your community's needs, including the revert threshold, minor and bot edit flags, and whether Automoderator sends a talk page message after reverting (see below).
Certain configuration, such as Automoderator's username, can only be performed by MediaWiki developers. To request such a change, or to request other kinds of customisation, please file a task on Phabricator.
Localisation of Automoderator should primarily be carried out via TranslateWiki, but local overrides can also be made by editing the relevant Sistem mesajı (Automoderator's strings all begin with automoderator-).
Caution levels
One of the most important configurations to set is the 'Caution level' or 'threshold' - this determines the trade-off Automoderator will make between coverage (how many bad edits are reverted) and accuracy (how frequently it will make mistakes). The higher the caution level, the fewer edits will be reverted, but the higher the accuracy; the lower the caution level, the more edit will be reverted, but the lower the accuracy. We recommend starting at a high caution level and gradually decreasing over time as your community becomes comfortable with how Automoderator is behaving.
Talk page message
To ensure that reverted editors who were making a good faith change are well equipped to understand why they were reverted, and to report false positives, Automoderator has an optional feature to send every reverted user a talk page message.
This message can be translated in TranslateWiki and customised locally via the Automoderator-wiki-revert-message system message.
The default (English) text reads as follows:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
If the same user receives another revert soon after the first, they will be sent a shorter message under the same section heading. Default (English) text:
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Yanlış pozitif bildirme
Because no machine learning model is perfect, Automoderator will sometimes accidentally revert good edits. When this happens we want to reduce friction for the user who was reverted, and give them clear next steps. As such, an important step in configuring Automoderator is creating a false positive reporting page. This is a normal wiki page, which will be linked to by Automoderator in the talk page message, and in page histories and user contributions, as an additional possible action for an edit, alongside Undo and/or Thank.
Metrics
You can track data about how Automoderator is behaving on Wikimedia projects at the Activity Dashboard.
For data on the expected number of reverts that Automoderator would make per day on your project, see the testing subpage. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.
Usage
Automoderator is currently deployed on the following Wikimedia projects:
| Project | Deployment request | Username | Configuration |
|---|---|---|---|
| Endonezce Vikipedi | T365792 | Automoderator | CommunityConfiguration |
| Türkçe Vikipedi | T362622 | Otomoderatör | CommunityConfiguration |
| Ukraynaca Vikipedi | T373823 | Автомодератор | CommunityConfiguration |
| Vietnamca Vikipedi | T378343 |