Moderator Tools/Automoderator/テスト

自動モデレーター

測定計画

テスト

展開

コミュニティがAutomoderator の精度をテスト・評価できるように、過去の編集とAutomoderatorがそれをリバートしたかどうかのデータを含むテスト用スプレッドシートを用意しています。

Automoderatorソフトウェアの判断過程を示す図。

オートモデレーターの決定は、機械学習モデルによる採点と内部設定の組み合わせによって決まります。 モデルは再トレーニングにより時間とともに改善されますが、追加で内部ルールを定義することで、その精度を高めることを検討しています。 たとえば、Automoderatorは、利用者が自分の編集内容をリバートする行為を荒らしと誤認することしばしば観測されます。 こういった問題を改善するために、このボットの癖を探しています。同様の例の特定にご協力をお願いいたします。

このテストは必ずしもAutomoderatorの最終形式を反映しているわけではないことに注意してください。あくまでこのテストの結果を使用してテストを改善します。

Automoderatorのテスト方法

Screenshot of the spreadsheet, with example responses filled in.

• If you have a Google account:
  1. Use the Google Sheet link below and make a copy of it
     • You can do this by clicking File > Make a Copy ... after opening the link.
  2. After your copy has loaded, click Share in the top corner, then give any access to swaltonwikimedia.org (leaving 'Notify' checked), so that we can aggregate your responses to collect data on Automoderator's accuracy.
     • Alternatively, you can change 'General access' to 'Anyone with the link' and share a link with us directly or on-wiki.
• Alternatively, use the .ods file link to download the file to your computer.
  • After adding your decisions, please send the sheet back to us at swaltonwikimedia.org, so that we can aggregate your responses to collect data on Automoderator's accuracy.

After accessing the spreadsheet...

1. Follow the instructions in the sheet to select a random dataset, review 30 edits, and then uncover what decisions Automoderator would make for each edit.
   • Feel free to explore the full data in the 'Edit data & scores' tab.
   • If you want to review another dataset please make a new copy of the sheet to avoid conflicting data.
2. Join the discussion on the talk page.

Alternatively, you can simply dive in to the individual project tabs and start investigating the data directly.

---

Google Sheet .ods file (download)

We welcome translations of this sheet - if you would like to submit a translation please make a copy, translate the strings on the 'String translations' tab, and send it back to us at swaltonwikimedia.org.

If you want us to add data from another Wikipedia please let us know and we would be happy to do so.

Automoderatorについて

Automoderator’s model is trained exclusively on Wikipedia’s main namespace pages, limiting its dataset to edits made to Wikipedia articles. Further details can be found below:

内部コンフィグレーション

In the current version of the spreadsheet, in addition to considering the model score, Automoderator does not take actions on:

• Edits made by administrators
• Edits made by bots
• Edits which are self-reverts
• New page creations

The datasets contain edits which meet these criteria, but Automoderator should never say it will revert them. This behaviour and the list above will be updated as testing progresses if we add new exclusions or configurations.

注意度

In this test Automoderator has five 'caution' levels, defining the revert likelihood threshold above which Automoderator will revert an edit.

• At high caution, Automoderator will need to be very confident to revert an edit. This means it will revert fewer edits overall, but do so with a higher accuracy.

• At low caution, Automoderator will be less strict about its confidence level. It will revert more edits, but be less accurate.

The caution levels in this test have been set by the Moderator Tools team based on our observations of the models accuracy and coverage. To illustrate the number of reverts expected at different caution levels see below:

	日次編集	日次編集のリバート	Automoderatorによる1日の平均リバート
			とても注意深い >0.99	そこそこ注意深い >0.985	少しは注意している >0.98	不注意 >0.975	慎重でない >0.97
英語版ウィキペディア	140,000	14,600	152	350	680	1,077	1,509
フランス語版ウィキペディア	23,200	1,400	24	40	66	98	136
ドイツ語版ウィキペディア	23,000	1,670	14	25	43	65	89
スペイン語版ウィキペディア	18,500	3,100	57	118	215	327	445
ロシア語版ウィキペディア	16,500	2,000	34	57	88	128	175
日本語版ウィキペディア	14,500	1,000	27	37	48	61	79
中国語版ウィキペディア	13,600	890	9	16	25	37	53
イタリア語版ウィキペディア	13,400	1,600	40	61	99	151	211
ポーランド語版ウィキペディア	5,900	530	10	16	25	35	45
ポルトガル語版ウィキペディア	5,700	440	2	7	14	21	30
ヘブライ語版ウィキペディア	5,400	710	16	22	30	38	48
ペルシア語版ウィキペディア	5,200	900	13	26	44	67	92
韓国語版ウィキペディア	4,300	430	12	17	23	30	39
インドネシア語版ウィキペディア	3,900	340	7	11	18	29	42
トルコ語版ウィキペディア	3,800	510	4	7	12	17	24
アラビア語版ウィキペディア	3,600	670	8	12	18	24	31
チェコ語版ウィキペディア	2,800	250	5	8	11	15	20
ルーマニア語版ウィキペディア	1,300	110	2	2	4	6	9
クロアチア語版ウィキペディア	500	50	1	2	2	3	4
...	...	...	...	...	...	...	...
All Wikipedia projects			538	984	1,683	2,533	3,483

ウィキメディアの他のプロジェクトに関しても、このデータをこちらでご参照ください。

特定の編集を採点する

このユーザスクリプトをインポートすると、ツールメニューに新規に〈巻き戻しリスク・スコアを取得〉するボタンが追加されます。

簡単なユーザスクリプトを作成しましたので、個別の編集に対して巻き戻しリスク・スコア（Revert Risk score）を取得する場合に使ってください。 単に User:JSherman (WMF)/revertrisk.js をご自分が使用する commons.jsにインポートし、mw.loader.load( 'https://en.wikipedia.org/wiki/User:JSherman_(WMF)/revertrisk.js?action=raw&ctype=text/javascript' ); を指定します。

するとサイドバーのツールメニューに 'Get revert risk score' が表示されるはずです。 ここにはモデルの評点しか表示されないこと、またオートモデレータの内部設定を前述ほど詳しく示していないことにご留意ください。 上の得点表は、オートモデレータが偽陽性を正しく判定している確率を検出しようとして、当チームが設定した最低点を列記してあります。

Initial results

Quantitative

22 testing spreadsheets were shared back with us, totalling more than 600 reviewed edits from 6 Wikimedia projects. We have aggregated the data to analyse how accurate Automoderator would be at different caution levels:

Not cautious (0.97)	Low caution (0.975)	Somewhat cautious (0.98)	Cautious (0.985)	Very cautious (0.99)
75%	82%	93%	95%	100%

In our Moderator Tools/Automoderator/Measurement plan we said that we wanted the most permissive option Automoderator could be set at to have an accuracy of 90%. The ‘Not cautious’ and ‘Low caution’ levels are clearly below this, which isn’t surprising as we didn’t have clear data from which to select these initial thresholds. We will be removing the ‘Not cautious’ threshold, as a 25% error rate is clearly too low for any communities. We will retain ‘Low caution’ for now, and monitor how its accuracy changes as model and Automoderator improvements occur leading up to deployment. We want to err on the side of Automoderator not removing bad edits, so this is a priority for us to continue reviewing.

When we have real world accuracy data from Automoderator's pilot deployment we can investigate this further and consider changing the available thresholds further.

Qualitative

On the testing talk page and elsewhere we also received qualitative thoughts from patrollers.

Overall feedback about Automoderator’s accuracy was positive, with editors feeling comfortable at various thresholds, including some on the lower end of the scale.

Some editors raised concerns about the volume of edits Automoderator would actually revert being relatively low. This is something that we’ll continue to discuss with communities. From our analysis (T341857#9054727) we found that Automoderator would be operating at a somewhat similar capacity to existing anti-vandalism bots developed by volunteers, but we’ll continue to investigate ways to increase Automoderator’s coverage while minimising false positives.

Next steps

Based on the results above, we feel confident in the model’s accuracy and plan to continue our work on Automoderator. We will now start technical work on the software, while exploring designs for the user interface. We expect that the next update we share will contain configuration wireframes for feedback.

In the meantime please feel free to continue testing Automoderator via the process above - more data and insights will continue to have a positive impact on this project.