Moderatör Araçları/Otomoderatör
Moderator Tools ekibi şu anda Wikimedia projeleri için bir 'otomoderatör' aracı geliştirmektedir. Bu araç hizmetlilerin, bir makine öğrenimi modelinden gelen puanlamaya dayalı olarak kötü düzenlemelerin otomatik olarak geri alınmasını etkinleştirmesine ve yapılandırmasına olanak tanır. Daha basit bir şekilde, bizler, ClueBot NG, SeroBOT, Dexbot ve Salebot gibi vandalizm karşıtı botlar gibi benzer bir işlev gerçekleştiren bir yazılım oluşturuyoruz, ancak tüm dil toplulukları için kullanılabilir hale getiriyoruz. Bir MediaWiki uzantısı şu anda geliştirilme aşamasındadır - Extension:AutoModerator.
|
Automoderator
|
Bu çalışma, aşağıdaki hipotez altında FY23/24 yıllık planımızın bir parçasıydı: Toplulukların bariz vandalizmi otomatik olarak önlemesini veya geri döndürmesini sağlarsak, moderatörlerin diğer faaliyetlere harcayacak daha fazla zamanı olacaktır.
FY24/25'te çalışmalarımızı WE1.3.1 hipotezi altında devam edeceğiz: Automoderator'ın davranışının daha fazla özelleştirilmesini sağlarsak ve birinci çeyrekteki pilot proje geri bildirimlerine göre değişiklikler yaparsak, daha fazla moderatör özellik setinden ve güvenilirliğinden memnun kalarak Wikimedia projelerinde kullanmayı tercih edecektir. Böylece aracın benimsenmesi ve kullanım oranı artacaktır.
Topluluklar, Automoderator'ın Vikipedi'lerine eklenmesi için gönüllü olabilir.
Güncellemeler
- Haziran 2024: Türkçe Vikipedi Otomoderatör kullanmaya başladı.
- Şubat 2024: Açılış ve konfigürasyon sayfalarının ilk sürümü için Tasarımlar yayınlandı. Tüm fikir ve önerilere açığız!
- Şubat 2024: Test sürecimizden ilk sonuçları yayınladık.
- Ekim 2023: Bu projenin başarısını değerlendirmek için hangi verileri kullanmamız gerektiğine karar vermek için ölçüm planı hakkında girdi ve geri bildirim arıyoruz ve Automoderator'ın karar verme sürecine ilişkin girdi toplamak için test verilerini kullanıma sunduk.
- Ağustos 2023: Bu projenin ve diğer moderatör odaklı projelerin yakın zamanda Wikimania'da sunulduğunu gördük. Buradan konuşmaya ulaşabilirsiniz.
Motivasyon
Wikimedia projelerinde, bir sayfayı önceki durumuna geri döndürerek açıkça geri alınması gereken önemli sayıda düzenleme yapılmaktadır. Hizmetliler ve devriyeler bu düzenlemeleri manuel olarak gözden geçirmek ve geri almak için çok fazla zaman harcamak zorundadır, bu da birçok büyük vikide aktif moderatör sayısına kıyasla dikkat edilmesi gereken çok fazla iş olduğu hissine katkıda bulunur. Bu yükleri azaltarak moderatörlerin diğer görevler üzerinde çalışmak için zaman kazanmasını istiyoruz.
Reddit, Twitch ve Discord gibi birçok çevrimiçi topluluk web sitesi, topluluk moderatörlerinin belirli ve algoritmik otomatik moderasyon eylemlerinin bir karışımını kurabilmesi için 'otomatik moderasyon' işlevselliği sunar. Vikipedi'de AbuseFilter belirli, kurallara dayalı işlevsellik sağlıyor, ancak örneğin, moderatörlerin küfürlü bir kelimenin her yazım şekli için titizlikle bir düzenli ifade tanımlaması gerektiğinde sinir bozucu olabiliyor. Ayrıca karmaşık ve kırılması kolay olduğundan birçok topluluk tarafından kullanılamaz. En az bir düzine toplulukta vandalizm karşıtı botlar var, ancak bunlar topluluk tarafından sürdürülüyor, yerel teknik uzmanlık gerektiriyor ve genellikle şeffaf olmayan yapılandırmalara sahip. Bu botlar da büyük ölçüde uzun süredir eğitilmemiş ve sınırlı dil desteğine sahip olan ORES hasar verme modeline dayanmaktadır.
Hedefler
- Kötü düzenlemelerin devriye kuyruklarına girmesini önleyerek moderasyon gecikmelerini azaltın.
- Moderatörlere, otomatik moderasyonun güvenilir olduğuna ve önemli yanlış pozitif sonuçlar üretmediğine dair güven verin.
- Yanlış pozitif durumunda yakalanan editörlerin hatayı işaretlemek/düzenlemelerinin yeniden etkinleştirilmesini sağlamak için net yollara sahip olduğundan emin olun.
- Dikkate almamız gereken başka hedefler var mı?
Tasarım fikri
Automoderator için yapılandırma aracına yönelik güçlü bir temel oluşturmak amacıyla kapsamlı bir tasarım araştırma sürecine girdik. Yaklaşımımızın merkezinde, sezgisel ve kullanıcı dostu bir yapılandırma arayüzü oluşturmak için gerekli tasarım prensiplerinin formüle edilmesi yer almaktadır.
Mevcut teknolojilere ve en iyi uygulamalara baktık ve bu sürece masa başı araştırması adı verildi. Bu, otomatik içerik denetimi alanındaki mevcut eğilimler, potansiyel tuzaklar ve başarılı modeller hakkında değerli bilgiler edinmemizi sağladı. İnsan-makine öğrenmesi etkileşiminin etik etkilerini anlamaya öncelik verdik ve olumlu ve anlaşılır bir kullanıcı deneyimi sağlamak için sorumlu tasarım uygulamalarına odaklandık. Şeffaflığı, kullanıcı güçlendirmesini ve etik hususları önceliklendiren tasarım ilkelerine odaklandık.
Model
Bu proje, Wikimedia Foundation Research ekibi tarafından geliştirilen yeni geri alma risk modellerini kullanır. Bu modelin iki versiyonu vardır:
- 47 dili destekleyen çok dilli model.
- Bir dilden bağımsız model.
Bu modeller, her revizyon için, düzenlemenin geri alınma olasılığını belirten bir puan hesaplayabilir. Topluluklara, bu puan için bir eşik belirleme olanağı sunmayı ve bu eşik değerinin üstündeki düzenlemelerin otomatik olarak engellenmesini veya geri alınmasını sağlamayı öngörüyoruz.
Modeller şu an için yalnızca Vikipedi'yi destekliyor, ancak diğer Wikimedia projelerinde de eğitilebilir. Ayrıca şu anda yalnızca ana (madde) ad alanında eğitiliyorlar. Dağıtıldıktan sonra, topluluk tarafından yanlış pozitifler bildirildikçe modeli düzenli olarak yeniden eğitebiliriz.
Bu projeye geçmeden önce, devriyelerin modelin ne kadar doğru olduğunu ve önerdiğimiz şekilde kullanma konusunda kendilerini güvende hissedip hissetmediklerini anlayabilmeleri için, modeli son düzenlemelerle karşılaştırma fırsatı sunmak istiyoruz.
- Bu modeller hakkında endişeleriniz var mı?
- Yanlış pozitif geri dönüşlerin yüzde kaçı sizin veya topluluğunuzun kabul edebileceği maksimum değerdir?
Çözüm önerileri
Bir topluluğun moderatörleri tarafından otomatik olarak düzenlemeleri engelleyebilecek veya geri alabilecek şekilde yapılandırılabilecek bir araç öngörüyoruz. Düzenlemeleri geri almak daha olası bir senaryodur; düzenlemeyi engellemek, düzenleme kaydetme sürelerini etkilememek için yüksek performans gerektirir. Ayrıca, hangi düzenlemelerin engellendiğine ilişkin daha az denetim sağlıyor ki bu da özellikle yanlış pozitifler söz konusu olduğunda istenmeyen bir durum olabilir. Moderatörler, aracın etkin olup olmayacağını yapılandırabilmeli, modelin ne kadar katı olması gerektiğine dair seçeneklere sahip olmalı, kullanılan yerelleştirilmiş kullanıcı adını ve düzenleme özetini belirleyebilmeli ve daha fazlasını yapabilmelidir.
Daha düşük eşikler daha fazla düzenlemenin geri alınması anlamına gelir, ancak yanlış pozitif oranı daha yüksek olur; yüksek bir eşik ise daha az sayıda düzenlemenin geri alınması anlamına gelir, ancak daha yüksek güvenle.
Bu projenin tam biçimi hala araştırılmaktayken, aşağıda, geri dönüş riski eşiğine ulaşan düzenlemelerin önlenmesi veya geri dönüşü temellerini aşan bazı özellik fikirleri göz önünde bulunduruluyor.
Deneme
Toplulukların otomoderatörün ne kadar katı olması gerektiği konusunda seçenekleri varsa, bu eşikleri önceden test etmenin bir yolunu sağlamamız gerekir. Bu, AbuseFilter'ın test işlevine benzeyebilir; burada son düzenlemeler araçla karşılaştırılarak hangi düzenlemelerin belirli bir eşikte geri alınacağı anlaşılabilir.
- Bu tür test işlevleri sizin için ne kadar önemli? Özellikle faydalı bulacağınız test özellikleri var mı?
Topluluk yapılandırması
Bu projenin temel yönlerinden biri, moderatörlere otomatik moderatörü kurma ve onu topluluklarının ihtiyaçlarına göre özelleştirme konusunda net yapılandırma seçenekleri sunmak olacaktır. Eşiğe ulaşan tüm düzenlemeleri geri almak yerine, örneğin belirli kullanıcı gruplarına sahip editörlerde işlem yapmamak veya belirli sayfalardan kaçınmak için filtreler sağlayabiliriz.
- Bu yazılımı kullanmadan önce hangi yapılandırma seçeneklerine ihtiyacınız olacağını düşünüyorsunuz?
Yanlış pozitif bildirme
Makine öğrenimi modelleri mükemmel değildir ve bu nedenle hatalı pozitif geri almanın sıfır olmasını beklememeliyiz. Burada dikkate almamız gereken en az iki şey var: Bir kullanıcının düzenlemesinin yanlışlıkla geri alındığını işaretlemesi ve böylece yeniden etkinleştirilebilmesi için süreç ve toplulukların zaman içinde modele geri bildirimde bulunabilmeleri için bir mekanizma sağlanması, böylece modelin yeniden eğitilebilmesi.
Model, yeni ve kayıtlı olmayan kullanıcılardan gelen düzenlemelere karşı daha hassastır, çünkü vandalizm çoğunlukla bu kullanıcılardan kaynaklanır. Bu aracın iyi niyetli yeni kullanıcıların deneyimini olumsuz etkilemesini istemiyoruz, bu nedenle yeni kullanıcıların düzenlemelerinin geri alındığını anlamaları ve düzenlemeyi yeniden etkinleştirebilmeleri için net yollar oluşturmamız gerekiyor. Ancak bunun, vandalizm yapanların aracın işini bozmasına olanak verecek kolay yollar sağlanmamasıyla dengelenmesi gerekiyor.
Bu modeller büyük miktarda veri üzerinde eğitilmiş olsa da, editörler tarafından yapılan yanlış pozitif raporlamaları modelin sürekli yeniden eğitilmesi için değerli bir veri kümesi sağlayabilir. Deneyimli editörlerin yanlış pozitif verileri modele geri göndererek zamanla modelin iyileştirilmesini sağlamanın bir yolunu bulmamız gerekiyor.
- Yanlış pozitif bildirim alan editörlere, vandalizm yapanların suistimaline yol açmayacak şekilde, net bilgileri ve eylemleri nasıl sağlayabiliriz?
- Yanlış pozitif sonuçlar konusunda ne gibi endişeleriniz var?
Tasarımlar
Automoderator için mevcut planlarımız aşağıdaki bileşenleri içermektedir.
Açılış sayfası
-
Açılış sayfası.
Automoderator hakkında bilgi içeren bir açılış sayfası, botun kararlarına itiraz etmenin bir yolu ve botu yapılandırmak için bir bağlantı.
Yapılandırma sayfası
-
Yapılandırma sayfası. -
Yapılandırma sayfasında değişiklikler yapılıyor. -
Yapılandırma sayfasındaki değişiklikler kaydediliyor.
Topluluk Yapılandırması tarafından oluşturulacak yapılandırma sayfası. MVP'de yöneticiler, Automoderator'u açıp kapatabilecek, eşiğini (yani nasıl davranması gerektiğini) yapılandırabilecek ve varsayılan düzenleme özetini ve kullanıcı adını özelleştirebilecek. Geri bildirimlere yanıt olarak zamanla daha fazla yapılandırma seçeneği ekleyeceğimizi öngörüyoruz. Sayfa kaydedildikten sonra, kullanıcı Automoderator'ı açtıysa, hemen çalışmaya başlayacaktır.
Diğer açık sorular
- Topluluğunuz gönüllüler tarafından yönetilen bir anti-vandalizm botu kullanıyorsa, bu botla ilgili deneyiminiz ne oldu? Çalışmayı bıraksaydı nasıl hissederdiniz?
- Topluluğunuzun bunu kullanacağını düşünüyor musunuz? Diğer iş akışlarınız ve araçlarınızla nasıl uyum sağlayacak?
- Yukarıda belgelemediğimiz başka neleri dikkate almalıyız?