Moderator Tools/Kiểm tra tự động
Kiểm tra tự động (Automoderator) là một công cụ chống phá hoại tự động đang được nhóm Moderator Tools phát triển. Chúng cho phép bảo quản viên kích hoạt và cấu hình tính năng tự động lùi sửa các chỉnh sửa được coi là phá hoại dựa trên điểm số từ mô hình máy học. Cách Kiểm tra tự động hoạt động tương tự như các bot chống phá hoại, chẳng hạn như ClueBot NG, SeroBOT, Dexbot và Salebot, nhưng dành cho tất cả cộng đồng sử dụng các ngôn ngữ khác nhau. Vui lòng xem Extension:AutoModerator để biết thông tin chi tiết về tiện ích mở rộng Kiểm tra tự động.
|
Automoderator
|
This work is currently being tracked as part of the WE1.3.1 WMF hypothesis: If we enable additional customization of Automoderator's behavior and make changes based on pilot project feedback in Q1, more moderators will be satisfied with its feature set and reliability, and will opt to use it on their Wikimedia project, thereby increasing adoption of the product.
Cộng đồng nay có thể yêu cầu triển khai Kiểm tra tự động trên dự án Wikipedia của họ.
Cập nhật
- tháng 10 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- tháng 10 2024 - Chúng tôi đã tạo ra bộ dữ liệu mới để thử nghiệm Mô hình Xác xuất nguy hại đa ngôn ngữ. Chúng tôi dự đoán rằng mô hình này sẽ có hiệu suất tốt hơn mô hình Không phụ thuộc vào ngôn ngữ hiện đang được sử dụng, nhưng cần phản hồi của bạn để đưa ra quyết định sáng suốt.
- tháng 9 2024 - Wikipedia tiếng Indonesia và tiếng Ukraina bắt đầu sử dụng Automoderator (Automoderator; Автомодератор).
- tháng 6 2024 - Wikipedia tiếng Thổ Nhĩ Kỳ bắt đầu sử dụng Automoderator (Otomoderatör).
- tháng 2 2024 - Designs have been posted for the initial version of the landing and configuration pages. Các ý tưởng và đề xuất được chào đón!
- tháng 2 2024 - Chúng tôi đã đăng tải kết quả ban đầu từ quá trình thử nghiệm của mình.
- tháng 10 2023 - Chúng tôi đang tìm kiếm thêm ý kiến đóng góp và phản hồi về kế hoạch đo lường của mình, để quyết định dữ liệu nào chúng tôi nên sử dụng để đánh giá sự thành công của dự án này và đã cung cấp dữ liệu về thử nghiệm để thu thập ý kiến đóng góp cho quá trình đưa ra quyết định đối với Kiểm tra tự động.
- tháng 8 2023 - Gần đây chúng tôi đã trình bày dự án này và các dự án khác tập trung vào những người quản lý dự án tại Wikimania. Bạn có thể tìm thấy bản ghi của phiên thảo luận tại đây.
Động lực
A substantial number of edits are made to Wikimedia projects which should unambiguously be undone, reverting a page back to its previous state. Patrollers and administrators have to spend a lot of time manually reviewing and reverting these edits, which contributes to a feeling on many larger wikis that there is an overwhelming amount of work requiring attention compared to the number of active moderators. We would like to reduce these burdens, freeing up moderator time to work on other tasks.
Many online community websites, including Reddit, Twitch, and Discord, provide 'automoderation' functionality, whereby community moderators can set up a mix of specific and algorithmic automated moderation actions. On Wikipedia, AbuseFilter provides specific, rules-based, functionality, but can be frustrating when moderators have to, for example, painstakingly define a regular expression for every spelling variation of a swear word. It is also complicated and easy to break, causing many communities to avoid using it. At least a dozen communities have anti-vandalism bots, but these are community maintained, requiring local technical expertise and usually having opaque configurations. These bots are also largely based on the ORES damaging model, which has not been trained in a long time and has limited language support.
Mục tiêu
- Giảm thiểu sự chậm trễ trong việc ngăn chặn những sửa đổi mang tính phá hoại trong quá trình tuần tra.
- Cho những người quản trị thấy được công cụ kiểm tra tự động này là đáng tin cậy, có thể tin tưởng được và không tạo ra nhiều kết quả mang tính dương tính giả.
- Ensure that editors caught in a false positive have clear avenues to flag the error / have their edit reinstated.
Nghiên cứu trong quá trình thiết kế
Để biết thêm về quá trình nghiên cứu và thiết kế mà chúng tôi đã trải qua để xác định hành vi và giao diện của Kiểm tra tự động, xem /Design.
Mô hình
Kiểm tra tự động sử dụng mô hình học máy 'Xác xuất Nguy hại' được phát triển bởi nhóm nghiên cứu của Wikimedia Foundation. Có hai phiên bản của mô hình này:
- Mô hình đa ngôn ngữ, hỗ trợ lên tới 47 ngôn ngữ khác nhau.
- Mô hình không phụ thuộc vào ngôn ngữ. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Những mô hình này có thể tính toán điểm số cho mỗi sửa đổi để xem xét có nên lùi sửa những sửa đổi đó không. Each community can set their own threshold for this score, above which edits are reverted (see below).
Các mô hình trên hiện chỉ hỗ trợ Wikipedia, nhưng có thể được huấn luyện trên các dự án Wikimedia khác trong tương lai. Ngoài ra, công cụ này hiện chỉ được huấn luyện trên không gian trang chính (bài viết). We would like to investigate re-training the model on an ongoing basis as false positives are reported by the community. (T337501)
Before we moved forward with this project we provided opportunities for testing out the language-agnostic model against recent edits, so that patrollers could understand how accurate the model is and whether they felt confident using it in the way we proposed. Bạn có thể tìm thấy thông tin chi tiết và kết quả của cuộc thử nghiệm này tại Moderator Tools/Automoderator/Testing.
Chúng tôi cũng đang thử nghiệm Mô hình đa ngôn ngữ để xem liệu mô hình này có sử dụng tốt hơn Mô hình không phụ thuộc vào ngôn ngữ không. Xem Moderator Tools/Automoderator/Multilingual testing để giúp chúng tôi đánh giá điểm số của mô hình.
Chúng hoạt động như thế nào
| Để yêu cầu Kiểm tra tự động được triển khai trên dự án Wikimedia của bạn, vui lòng xem Extension:AutoModerator/Deploying. |
Automoderator scores every main namespace edit on a Wikimedia project, fetches a score for that edit based on how likely it is to be reverted, and reverts any edits which score above a threshold which can be configured by local administrators. The revert is carried out by a system account, so it looks and behaves like other accounts - it has a Contributions page, User page, shows up in page histories, etc.
To reduce false positives and other undesirable behaviour, Automoderator will never revert the following kinds of edits:
- An editor reverting one of their own edits
- Reverts of one of Automoderator's actions
- Those made by administrators or bots
- New page creations
Cấu hình
Automoderator is configured via a Community Configuration form located at Special:CommunityConfiguration/AutoModerator, which edits the page MediaWiki:AutoModeratorConfig.json (the latter can be watchlisted so that updates show up in your Watchlist). Sau khi triển khai, Automoderator sẽ không bắt đầu chạy ngay cho đến khi một bảo quản viên địa phương bật nó qua trang cấu hình. In addition to turning Automoderator on or off, there are a range of configurations which can be customised to fit your community's needs, including the revert threshold, minor and bot edit flags, and whether Automoderator sends a talk page message after reverting (see below).
Certain configuration, such as Automoderator's username, can only be performed by MediaWiki developers. To request such a change, or to request other kinds of customisation, please file a task on Phabricator.
Localisation of Automoderator should primarily be carried out via TranslateWiki, but local overrides can also be made by editing the relevant System message (Automoderator's strings all begin with automoderator-).
Caution levels
One of the most important configurations to set is the 'Caution level' or 'threshold' - this determines the trade-off Automoderator will make between coverage (how many bad edits are reverted) and accuracy (how frequently it will make mistakes). The higher the caution level, the fewer edits will be reverted, but the higher the accuracy; the lower the caution level, the more edit will be reverted, but the lower the accuracy. We recommend starting at a high caution level and gradually decreasing over time as your community becomes comfortable with how Automoderator is behaving.
Tin nhắn trên trang thảo luận
To ensure that reverted editors who were making a good faith change are well equipped to understand why they were reverted, and to report false positives, Automoderator has an optional feature to send every reverted user a talk page message.
Thông điệp này có thể được dịch thông qua TranslateWiki và được tùy chỉnh tại địa phương thông qua thông điệp hệ thống Automoderator-wiki-revert-message.
Văn bản mặc định (tiếng Anh) có dạng như sau:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
If the same user receives another revert soon after the first, they will be sent a shorter message under the same section heading. Văn bản mặc định (tiếng Anh):
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Báo cáo dương tính giả
Bởi vì không có mô hình học máy nào là hoàn hảo, Kiểm tra tự động đôi khi vô tình sẽ lùi sửa những sửa đổi thiện chí. When this happens we want to reduce friction for the user who was reverted, and give them clear next steps. Do đó, một bước quan trọng trong quá trình cấu hình Kiểm tra tự động là tạo một trang báo cáo kết quả dương tính giả. Đây là một trang wiki bình thường, được liên kết với Kiểm tra tự động trong thông điệp trang thảo luận, lịch sử sửa đổi trang và trang đóng góp của người dùng, đây có thể coi như là một hành động bổ sung đối với một sửa đổi, nút liên kết này nằm cạnh nút Lùi sửa hoặc Cảm ơn.
Metrics
You can track data about how Automoderator is behaving on Wikimedia projects at the Activity Dashboard.
For data on the expected number of reverts that Automoderator would make per day on your project, see the testing subpage. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.